1.HDFS常用的操作命令(hdfs dfs)
1.列出子目录或子文件
列出/user/$ {USER}下的文件和目录(若目录不存在则会报错)
hdfs dfs -ls
列出根目录
hdfs dfs -ls /
2.创建目录(-p 表示会创建父目录)
hdfs dfs -mkdir /001
hdfs dfs -mkdir /001/mydemo2
hdfs dfs -mkdir -p /001/mydemo/x/y/z
hdfs dfs -mkdir /001/mydemo3 /001/mydemo4 /001/mydemo5
3.列出HDFS中/001/mydemo文件夹下的文件(-R表示列出所有子目录)
hdfs dfs -ls /001/mydemo
hdfs dfs -ls -R /001/mydemo
4.上传文件。将本地目录的txt1.txt、txt2.txt文件上传到HDFS上，并分别重命名为hdfs1.txt、hdfs2.txt。
hdfs dfs -put txt1.txt /001/mydemo/hdfs1.txt
hdfs dfs -copyFromLocal txt2.txt /001/mydemo/hdfs2.txt
5.将本地文件移动到HDFS
hdfs dfs -moveFromLocal txt3.txt /001/mydemo/hdfs3.txt
6.下载文件。将HDFS的文件hdfs1.txt、hdfs3.txt复制到本地系统，并分别命名为txt1.txt、txt3.txt
hdfs dfs -get /001/mydemo/hdfs1.txt txt11.txt
hdfs dfs -copyToLocal /001/mydemo/hdfs3.txt txt3.txt
7.查看文件。查看HDFS中/001/mydemo/hdfs2.txt 文件的内容
hdfs dfs -cat /001/mydemo/hdfs2.txt
hdfs dfs -text /001/mydemo/hdfs2.txt
8.删除文档。删除HDFS中名为file1的文件(参数r为递归删除)
hdfs dfs -rm -r /001/mydemo/hdfs3.txt
9.文件或文件夹复制
hdfs dfs -cp
10.文件或文件夹的移动
hdfs dfs -mv
11.使用touchz命令创建一个空文件file
hdfs dfs -touchz
12.追加数据到文件末尾的指令。
hdfs dfs -appendToFile
13.文件合并再下载。
hdfs dfs -getmerge
14.count统计(显示:目录个数、文件个数、文件总计大小、输入路径)。
hdfs dfs -count
15.查看文件大小.
hdfs dfs -du
16.设置扩展属性,获取扩展属性.
hdfs dfs -setfattr -n user.from -v http://www.baidu.com /001/mydemo/hdfs1.txt
hdfs dfs -getfattr -d /001/mydemo/hdfs1.txt
2.HDFS常用的管理命令(hdfs dfsadmin)
1.安全模式相关练习.
hdfs dfsadmin -safemode get
hdfs dfsadmin -safemode enter
hdfs dfsadmin -safemode leave
hdfs dfsadmin -safemode wait
2.快照相关练习.开启或禁用快照功能的命令如下:
hdfs dfsadmin -allowSnapshot <snapshotDir>
hdfs dfsadmin -disallowSnapshot <snapshotDir>
创建快照,删除快照,重命名快照:
hdfs dfsadmin -createSnapshot <snapshotDir> [<snapshotName>]
hdfs dfsadmin -deleteSnapshot <snapshotDir> <snapshotName>
hdfs dfsadmin -renameSnapshot <snapshotDir> <oldName> <newName>
3.配额相关.配额命令如下:
hdfs dfsadmin -setQuota <quota> <dirname> ... <dirname>
4.空间配额相关.空间配额命令如下:
hdfs dfsadmin -setSpaceQuota <quota> <dirname>...<dirname>
5.报告文件系统的基本信息和统计信息
hdfs dfsadmin -report
6.查看拓扑
hdfs dfsadmin -printTopology