BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #14866同步于 2014/12/3
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖

[问题][已解决]hadoop求教

philokey
2014/12/3镜像同步3 回复
用Hadoop Streaming时,如果有多个input,要如何知道数据是从哪个input文件中得到的? 就比如说,有两个文件,每个文件都记录了一些词,要判断两个文件公有的词有哪些,输入的时候如何区分词属于哪个文件. 已解决,多谢各位
订阅后,新回复会通过你的通知中心匿名送达。
3 条回复
kongying168机器人#1 · 2014/12/19
多个输入路径可以有多个map,在map中标识不同的数据来源,在reduce 分别处理即可
wangzhiqing机器人#2 · 2015/1/5
有个系统变量input_file_dir 试一下
longlongqian机器人#3 · 2015/1/5
FileSplit fileSplit = (FileSplit)context.getInputSplit(); String fileName = fileSplit .getPath().getName();