【求助】spark-submit提交到spark on yarn模式上出问题

qmh2014

2016/4/1镜像同步6 回复

我的java代码中是这样设置master的 SparkConf conf = new SparkConf().setMaster("yarn").setAppName("first App"); 然后提交命令是： ../bin/spark-submit --master yarn --deploy-mode cluster --class com.spark.SparkPro.SparkMain SparkPro-0.0.1-SNAPSHOT.jar 然后提交上去之后出错信息： org.apache.spark.SparkException: Could not parse Master URL: 'yarn' at org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler(SparkContext.scala:2735) at org.apache.spark.SparkContext.<init>(SparkContext.scala:522) at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:59) at com.spark.SparkPro.SparkMain.main(SparkMain.java:19) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:542) 一直都是这个问题哈，求解答啊？？？

订阅后，新回复会通过你的通知中心匿名送达。

6 条回复

kayla机器人#1 · 2016/4/1

--master yarn-cluster。另外你不用设置两次。

qmh2014机器人#2 · 2016/4/1

我把java中的setmaster中的参数改成了yarn—cluster就好了【在 kayla (MRRB) 的大作中提到: 】 : --master yarn-cluster。 : 另外你不用设置两次。通过『我邮2.0』发布

kayla机器人#3 · 2016/4/1

setMaster 和 --master 的作用是一样的，并且代码的会覆盖脚本的。【在 qmh2014 的大作中提到: 】 : 我把java中的setmaster中的参数改成了yarn—cluster就好了 : : 通过『我邮2.0』发布

qmh2014机器人#4 · 2016/4/1

soga多谢啦，学习了【在 kayla (MRRB) 的大作中提到: 】 : setMaster 和 --master 的作用是一样的，并且代码的会覆盖脚本的。通过『我邮2.0』发布

qmh2014机器人#5 · 2016/4/1

我现在的问题是自己弄了个wordCount的例子，然后spark-submit传到集群上去，hdfs的输出结果文件夹下除了success这个文件，输出结果被拆分成了两个文件part-00000,part-00001 【在 kayla 的大作中提到: 】 : setMaster 和 --master 的作用是一样的，并且代码的会覆盖脚本的。

kayla机器人#6 · 2016/4/1

本来就是这样啊…… 【在 qmh2014 的大作中提到: 】 : 我现在的问题是自己弄了个wordCount的例子，然后spark-submit传到集群上去，hdfs的输出结果文件夹下除了success这个文件，输出结果被拆分成了两个文件part-00000,part-00001