实验2 通过Shell命令访问HDFS

由 天空David 发布

1.HDFS常用的操作命令(hdfs dfs)

1.列出子目录或子文件

列出/user/$ {USER}下的文件和目录(若目录不存在则会报错)
hdfs dfs -ls

列出根目录
hdfs dfs -ls /

2.创建目录(-p 表示会创建父目录)

hdfs dfs -mkdir /001
hdfs dfs -mkdir /001/mydemo2
hdfs dfs -mkdir -p /001/mydemo/x/y/z
hdfs dfs -mkdir /001/mydemo3 /001/mydemo4 /001/mydemo5

3.列出HDFS中/001/mydemo文件夹下的文件(-R表示列出所有子目录)

hdfs dfs -ls /001/mydemo
hdfs dfs -ls -R /001/mydemo

4.上传文件。将本地目录的txt1.txt、txt2.txt文件上传到HDFS上,并分别重命名为hdfs1.txt、hdfs2.txt。

hdfs dfs -put txt1.txt /001/mydemo/hdfs1.txt
hdfs dfs -copyFromLocal txt2.txt /001/mydemo/hdfs2.txt

5.将本地文件移动到HDFS

hdfs dfs -moveFromLocal txt3.txt /001/mydemo/hdfs3.txt

6.下载文件。将HDFS的文件hdfs1.txt、hdfs3.txt复制到本地系统,并分别命名为txt1.txt、txt3.txt

hdfs dfs -get /001/mydemo/hdfs1.txt txt11.txt
hdfs dfs -copyToLocal /001/mydemo/hdfs3.txt txt3.txt

7.查看文件。查看HDFS中/001/mydemo/hdfs2.txt 文件的内容

hdfs dfs -cat /001/mydemo/hdfs2.txt
hdfs dfs -text /001/mydemo/hdfs2.txt

8.删除文档。删除HDFS中名为file1的文件(参数r为递归删除)

hdfs dfs -rm -r /001/mydemo/hdfs3.txt

9.文件或文件夹复制

hdfs dfs -cp

10.文件或文件夹的移动

hdfs dfs -mv

11.使用touchz命令创建一个空文件file

hdfs dfs -touchz

12.追加数据到文件末尾的指令。

hdfs dfs -appendToFile

13.文件合并再下载。

hdfs dfs -getmerge

14.count统计(显示:目录个数、文件个数、文件总计大小、输入路径)。

hdfs dfs -count

15.查看文件大小.

hdfs dfs -du

16.设置扩展属性,获取扩展属性.

hdfs dfs -setfattr -n user.from -v http://www.baidu.com /001/mydemo/hdfs1.txt
hdfs dfs -getfattr -d /001/mydemo/hdfs1.txt

2.HDFS常用的管理命令(hdfs dfsadmin)

1.安全模式相关练习.
hdfs dfsadmin -safemode get
hdfs dfsadmin -safemode enter
hdfs dfsadmin -safemode leave
hdfs dfsadmin -safemode wait

2.快照相关练习.开启或禁用快照功能的命令如下:
hdfs dfsadmin -allowSnapshot <snapshotDir>
hdfs dfsadmin -disallowSnapshot <snapshotDir>
创建快照,删除快照,重命名快照:
hdfs dfsadmin -createSnapshot <snapshotDir> [<snapshotName>]
hdfs dfsadmin -deleteSnapshot <snapshotDir> <snapshotName>
hdfs dfsadmin -renameSnapshot <snapshotDir> <oldName> <newName>

3.配额相关.配额命令如下:
hdfs dfsadmin -setQuota <quota> <dirname> ... <dirname>

4.空间配额相关.空间配额命令如下:
hdfs dfsadmin -setSpaceQuota <quota> <dirname>...<dirname>

5.报告文件系统的基本信息和统计信息
hdfs dfsadmin -report

6.查看拓扑
hdfs dfsadmin -printTopology


暂无评论

发表评论