spark/hdfs..操作命令,常用

2019-04-19 00:03 

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ZHAOLEI5911/article/details/64514726

http://blog.csdn.net/lovehuangjiaju/article/details/48577281这里写图片描述

1.查看 hdfs 里文件
hadoop fs -ls -R /
2.在 hdfs中新建目录
hadoop fs -mkdir -p /data/wordcount
3.上传文件到hdfs
hadoop fs -put /usr/local/cluster/hadoop/etc/hadoop/slaves /data/wordcount/将slaves文件传到hdfs下的wordcount下。
4.spark 读取hdfs文件
val readli1=sc.textFile("hdfs://hadoop-master:8020/data/wordcount/read.txt")
5. intellij idea spark 开发(参见)
http://blog.csdn.net/u012587561/article/details/52167306

6.进入hdfs: 10.6.3.200:50070

7.hadoop fs -ls hdfs://10.6.3.200:8020/user/hadoop/output #查看指定目录下的文件和文件夹。/user/hadoop/output是HDFS上的目录,不是本地目录
hadoop fs -cat /data/wordcount/read2/part-00002
#查看文件内容

8./root/spark-1.0.0-bin-2.2.0/bin/spark-submit –master spark://10.6.3.200:7077 –class main.scala.sp –executor-memory 1g spw.jar hdfs://hadoop-master:8020/data/wordcount/1.txt hdfs://hadoop-master:8020/data/wordcount/read2

提交

发表评论

您必须 登录 才能发表留言!