spark 作业提交与hdfs调用

By | 2018年12月1日

local模式2个cpu提交CLASSNAME ( scala  class 的名字)

spark-submit   –class  “CLASSNAME”  –master local[2]    jar包路径

Standalone

spark-submit  –class “cCLASSNAME”  –master spark://*.*.*.*:7077   –executor-memory 2G  –total-executor-cores  10   jar包路径

yarn

spark-submit  –class “CLASSNAME”  -master yarn-cluster  –executor-memory 2G  –num-executors 10  jar包路径

hdfs路径通过SparkMaster:50070查看

如hdfs://SparkMaster:9000/user/hadoop/input/README.md

发表评论