Hadoop学习笔记(六) HDFS常用命令总结

By | 2019年2月2日

1. 目录和文件管理

HDFS的命令和Linux的命令比较相似,所以也比较容易记忆。

1.1 创建目录 -mkdir

新部署的Hadoop的HDFS里是空的,需要创建当前用户权限能访问的目录。

命令 说明
hadoop fs -mkdir /user 在根目录(/)下面创建user目录
hadoop fs -mkdir /user/winter 在user目录下面创建winter目录 ,”winter”为当前系统用户名
hadoop fs -mkdir -p /user/winter 一次性在根目录(/)下创建/user/winter这2个目录

1.2 列出目录和文件 -ls

命令 说明
hadoop fs -ls 列出当前用户目录
hadoop fs -ls / 列出根目录(/)下目录和文件
hadoop fs -ls -R / 递归的列出根目录(/)下所有目录和文件

1.3 复制本地文件到HDFS -copyFromLocal

命令 说明
hadoop fs – copyFromLocal [localsrc] [dst] 复制本地文件到HDFS
hadoop fs – copyFromLocal -f [localsrc] [dst] 强制复制本地文件到HDFS,如果已存在,则直接覆盖

比如本机当前目录下有个文件叫test3.txt,现在需要把它拷到HDFS里的winter目录下的books目录下

1.3.1 在winter目录下创建books目录

hadoop fs -mkdir books

1.3.2 查看刚刚创建的目录

hadoop fs -ls

在这里插入图片描述

1.3.3 复制test3.txt到books目录下

hadoop fs -copyFromLocal test3.txt books

如图test3.txt已经复制到HDFS里了。
在这里插入图片描述

1.3.4 同时复制多个文件到HDFS

hadoop fs -copyFromLocal test4.txt test5.txt books

在这里插入图片描述

1.4 复制HDFS文件到本地 -copyToLocal

hadoop fs -copyToLocal books/test3.txt test7.txt

这个时候查看本机可以发现多了个文件test7.txt

1.7 复制HDFS文件 -cp

hadoop fs -cp books/test3.txt books/test6.txt

在这里插入图片描述

1.8 删除HDFS文件 -rm

hadoop fs -rm books/test6.txt

在这里插入图片描述

2. HDFS Web页面浏览HDFS

2.1 页面地址

http://localhost:50070
然后打开浏览文件系统
在这里插入图片描述

2.2 如果没有权限操作文件修改配置文件hdfs-site.xml

<property>
	<name>dfs.permissions.enabled</name>
	<value>false</value>
</property>
<property>
	<name>dfs.webhdfs.enabled</name>
	<value>true</value>
</property>

发表评论