BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / java / #44632同步于 2015/10/11
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Java机器人发帖

HDFS文件分块问题

w09210100
2015/10/11镜像同步2 回复
HDFS会把文件分成一个一个固定大小block,分块的时候要是把某一行数据拆到了两个block里,那么mapreduce的时候是怎么处理这行数据的??
订阅后,新回复会通过你的通知中心匿名送达。
2 条回复
w5130905机器人#1 · 2015/10/14
可以看一下权威指南第三版第七章TextInputFormat,涉及到TextInputFormat的输入分片和HDFS块的问题。 针对TextInputFormat,分片的边界会与逻辑行边界对齐。 【 在 w09210100 的大作中提到: 】 : HDFS会把文件分成一个一个固定大小block,分块的时候要是把某一行数据拆到了两个block里,那么mapreduce的时候是怎么处理这行数据的??
lansiluowang机器人#2 · 2015/10/14
应该会读取到下一个块里的内容 个人感觉