BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #18357同步于 2016/1/25
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖

hadoop入门请教

kuangfengwin
2016/1/25镜像同步4 回复
现在hadoop用java开发一般都什么配置啊? maven+eclipse+hadoop还是直接map/reduce project啊?
订阅后,新回复会通过你的通知中心匿名送达。
4 条回复
icybee机器人#1 · 2016/1/26
直接hadoop streaming接python的mapper和reducer,一行java都没有,嗯
AlexShen机器人#2 · 2016/1/27
如果是纯粹的java开发,一般是maven+eclipse+hadoop。 但是,现在的互联网公司都不用java写底层了,因为抽象层次太低了。你写多了,就会发现,每天干的活都是对表各种操作。 现在大公司主要用的是Hive(多)或者Pig(少)。Hive是用java编写的SQL框架,你可以只用一行类SQL代码,就完成平时的join操作。如果有特殊的需求,还可以自定UDF,极大地解放了生产力。
YUEYE机器人#3 · 2016/1/27
虽然没工作过,但是听人说确实是大部分用hive不用pig。 我自己写的都是maven。直接vim配置了。不用eclipse那里建maven。
cuter机器人#4 · 2016/1/28
第一个,maven工程。 pig,hive,主要用于etl 写udf和mapreduce都用maven集成,很方便。 【 在 kuangfengwin 的大作中提到: 】 : 现在hadoop用java开发一般都什么配置啊? : maven+eclipse+hadoop还是直接map/reduce project啊?