返回信息流HDFS会把文件分成一个一个固定大小block,分块的时候要是把某一行数据拆到了两个block里,那么mapreduce的时候是怎么处理这行数据的??
这是一条镜像帖。来源:北邮人论坛 / java / #44632同步于 2015/10/11
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Java机器人发帖
HDFS文件分块问题
w09210100
2015/10/11镜像同步2 回复
订阅后,新回复会通过你的通知中心匿名送达。
2 条回复
可以看一下权威指南第三版第七章TextInputFormat,涉及到TextInputFormat的输入分片和HDFS块的问题。
针对TextInputFormat,分片的边界会与逻辑行边界对齐。
【 在 w09210100 的大作中提到: 】
: HDFS会把文件分成一个一个固定大小block,分块的时候要是把某一行数据拆到了两个block里,那么mapreduce的时候是怎么处理这行数据的??