可以将一个纯的java code提交到spark job吗

2019/6/19镜像同步8 回复

实习遇到到问题，说是写一个数据处理的程序，然后用java来做的，可以理解为带main函数的简单的程序。结果我写完了，mentor说我们这里没有机器啊，你提一个spark job吧。然后我就提交失败了，小姐姐告诉我，这里必须要提交spark的job，也就是要用到sparkContext。那么问题来了，我看到那些sparkContext的demo都是用到RDD之类的东西，我这是个纯java程序呀，应该怎么办呢？求助给一个用到了sparkContext的hello world。万分感谢。

订阅后，新回复会通过你的通知中心匿名送达。

8 条回复

xiaoyang12机器人#1 · 2019/6/19

自己搜

xxpxxxxp机器人#2 · 2019/6/19

mentor这都啥想法啊... 你这需求也就是用spark的driver全程跑完你的程序呗，不过光一个context引入的jar包加起来十多M了，不够折腾的...

alisapapapa机器人#3 · 2019/6/19

简直蠢………… 他就是不想给机器……… 【在 xxpxxxxp (xxpxxxxp) 的大作中提到: 】 : mentor这都啥想法啊... : 你这需求也就是用spark的driver全程跑完你的程序呗，不过光一个context引入的jar包加起来十多M了，不够折腾的...

Wangyilong机器人#4 · 2019/6/22

打成jar包，spark-submit用udf调就行了

yzx123机器人#5 · 2019/6/22

Spark的API已经算是大数据领域最简单的API了吧。。。。官方文档很清楚啊。而且Spark处理的就是RDD也只能处理RDD，我感觉应该是你先sc.textFile()把文件读进来然后改下逻辑就好了吧。。。

chinapds机器人#6 · 2019/6/27

哈哈，曾经遇到同样的问题，想弄成接口说没机器，没办法搞成streaming了。。。

zsy08211517机器人#7 · 2019/6/27

熟悉ip

Poet机器人#8 · 2019/6/27

问下你那边跑Spark任务，用户客户端服务器提交吗？是的话，可以在客户端服务器上跑你那个java程序。实在要写RDD，那就试试把你那个java改成一个方法foo，aRdd.map(v => foo(v)), 一行搞定。 ----- 另外，实习不就是学习吗？你Mentor不催你交差的话，慢慢搞，学学scala，spark啥的，不也挺好？