返回信息流除了hadoop学习指南第三版,还有什么基于hadoop2.x的学习资料吗
适合新手的书或博客都行,先谢谢各位
ps:有没有大神写个hadoop的学习路线呢
这是一条镜像帖。来源:北邮人论坛 / java / #53166同步于 2016/9/22
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Java机器人发帖
求推荐hadoop2.x的入门学习资料
ljq661
2016/9/22镜像同步21 回复
订阅后,新回复会通过你的通知中心匿名送达。
9 条回复
吐槽一下。hadoop对新手就是个坑。
wordcount那个例子给出的官方代码有编译错误就不说了。
hadoop本身在启动分布式文件系统的时候,会出现localhost connection refused 会出现name node不能成功启动。
format 文件系统的时候 还要手动去删除tmp文件 也是醉了
3.0 还把start-all.sh 和 stop-all.sh的功能取消了,要自己一个服务一个服务的去启动。
这是我研究了5天hadoop的感受。
但是好东西自古就是这样,有资本傲娇。
谁让人家跑的快呢。
100TB的word sort人家只跑20几分钟。
更正一下 100TB sort的记录是24分钟 是Apache Spark创造的
然而我编译都可以 跑出结果了
【 在 Sluggard 的大作中提到: 】
: 吐槽一下。hadoop对新手就是个坑。
: wordcount那个例子给出的官方代码有编译错误就不说了。
: hadoop本身在启动分布式文件系统的时候,会出现localhost connection refused 会出现name node不能成功启动。
: ...................
WordCount2.java有一个肉眼都可以明显识别的错误。
我猜你可能只做了wordcount1。
贴个连接你看一眼。
https://hadoop.apache.org/docs/r2.7.2/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html
如果你懒得找,错误的部分在这里
if (!(remainingArgs.length != 2 | | remainingArgs.length != 4)) {
System.err.println("Usage: wordcount <in> <out> [-skip skipPatternFile]");
System.exit(2);
}
再具体点在这里
if (!(remainingArgs.length != 2 | | remainingArgs.length != 4)) {
【 在 Forsun 的大作中提到: 】
: 然而我编译都可以 跑出结果了
确实只做了1,还是你比较心细些,我跑完那个demo之后就再没动静了...
【 在 Sluggard 的大作中提到: 】
: WordCount2.java有一个肉眼都可以明显识别的错误。
: 我猜你可能只做了wordcount1。
: 贴个连接你看一眼。
: ...................