hadoop之MR Job案例

2018-11-26 19:07 

Linux 文件存储系统

HDFS 分布式文件存储系统

hdfs是架在linux上的分布式文件存储系统,如果要操作hdfs,必须在linux命令前加hdfs dfs

2.部署好hdfs,然后创建用户
在这里插入图片描述

3.bin/hdfs dfs -put etc/hadoop input (-put命令,把etc/hadoop这个目录放到input这个目录下,input就是指当前所在的目录即/uer/hadoop这个目录下)在这里插入图片描述

4.在这里插入图片描述

5.bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar grep input output ‘fs[a-z.]+’在这里插入图片描述

6.map和reduce在跑的过程中,并不是一个跑完另一个再跑,可同时进行,如下图在这里插入图片描述在这里插入图片描述

发表评论

您必须 登录 才能发表留言!