Hadoop上路_05-HDFS中的文件操作

2018-11-26 19:07 

1.Hadoop操作:

1查看Hadoop版本:

2)自动开启Hadoop

?
1
hm@hm-ubuntu:~$
start-all.sh

3)手动开启Hadoop

2.HDFS操作:

1)查看HDFS上的文件:

?
1
hadoop
dfs -
ls

/ 等同于 hadoop fs -
ls

/

2)向HDFS上传文件:

(1)使用put命令:

?
1
hadoop
fs -put
test.txt
/home/fs-test.txt

2)使用copyFromLocal命令:

?
1
hadoop
fs -copyFromLocal 本地目录/本地文件
/HDFS目录/文件

3)从HDFS下载文件:

?
1
hadoop
fs -get
/HDFS目录/文件
本地目录/文件

(1)拷贝单个文件:

2)拷贝整个目录:


红色方框选中的hadoop-hm目录是之前我们在core-site.xml文件中配置的临时目录。红色椭圆选中的home是刚刚我们congHDFS下载的文件夹。

4)删除HDFS上的文件:

?
1
hadoop
fs -rmr
/home/*.txt

5)HDFS的更多命令:



3.MapReduce示例操作-统计字符

1)在HDFS上执行jar程序:

?
1
hadoop
jar hadoop-examples-1.1.2.jar wordcount
/test.txt
/result



警告:     
        13/05/11 16:43:29 INFO input.FileInputFormat: Total input paths to process : 1 
        13/05/11 16:43:29 INFO util.NativeCodeLoader: Loaded the native-hadoop library 
        13/05/11 16:43:29 WARN snappy.LoadSnappy: Snappy native library not loaded  

速度挺快的,页面上只看到完成的任务:

2)查看统计结果: 

- end

发表评论

您必须 登录 才能发表留言!