spark 作业提交与hdfs调用

By | 2018年12月1日

local模式2个cpu提交CLASSNAME ( scala  class 的名字)

spark-submit   --class  "CLASSNAME"  --master local[2]    jar包路径

Standalone

spark-submit  --class "cCLASSNAME"  --master spark://*.*.*.*:7077   --executor-memory 2G  --total-executor-cores  10   jar包路径

yarn

spark-submit  --class "CLASSNAME"  -master yarn-cluster  --executor-memory 2G  --num-executors 10  jar包路径

hdfs路径通过SparkMaster:50070查看

如hdfs://SparkMaster:9000/user/hadoop/input/README.md

请关注公众号获取更多资料

发表评论