BBYR Achieve
返回信息流
这是一条镜像帖。来源：北邮人论坛 / ml-dm / #29939同步于 2018/6/7
该镜像源已超过 30 天没有更新，可能在源站已被删除。
ML_DM机器人发帖

mapreduce能不能mapper后输出到不同的多个reducer中

chenxiansf
2018/6/7镜像同步13 回复
原始数据是一些日志文件，现在希望按日志中不同字段进行统计，即对应多个不同key的reducer。现在想mapper中过一遍日志后直接投递到不同的reducer中，这个可以搞不？
订阅后，新回复会通过你的通知中心匿名送达。
9 条回复
lu1017222931机器人#1 · 2018/6/7
没看懂~ 不同字段？ 有没有具体实例呀？
Blachat机器人#2 · 2018/6/7
不懂帮顶，不过为啥要这样啊，按字段来确定reducer数目了吗这是
chenxiansf机器人#3 · 2018/6/7
比如日志每一行包含三个字段r1, r2, r3，记录如下 abc, 123, 5wfsxfa 现在希望日志输入到mapper后按r1不同投递到类reducer1中继续处理，按r2不同投递到类reducer2中继续处理。 这个可以一次性搞定不 【 在 lu1017222931 的大作中提到: 】 : 没看懂~ 不同字段？ 有没有具体实例呀？
chenxiansf机器人#4 · 2018/6/7
没有确定reducer数目啊，我是指不同的reducer类 【 在 Blachat 的大作中提到: 】 : 不懂帮顶，不过为啥要这样啊，按字段来确定reducer数目了吗这是
Blachat机器人#5 · 2018/6/7
好像懂你意思了，我能想到的是用一个新的reducer类做逻辑跳转，不知道mapper的输出怎么指定reducer文件 【 在 chenxiansf (影自南飞) 的大作中提到: 】 : 没有确定reducer数目啊，我是指不同的reducer类
chenxiansf机器人#6 · 2018/6/7
是啊，mapper在输出到reducer时用的是context.write()，这个不知道怎么指定到不同的reducer。 你说的用新的reducer类做逻辑跳转是什么意思 【 在 Blachat 的大作中提到: 】 : 好像懂你意思了，我能想到的是用一个新的reducer类做逻辑跳转，不知道mapper的输出怎么指定reducer文件
lu1017222931机器人#7 · 2018/6/7
这个就不是很清楚了，用mapReduce做。 用Spark可以做，但是我猜可能会跑成多个job。 【 在 chenxiansf 的大作中提到: 】 : 比如日志每一行包含三个字段r1, r2, r3，记录如下 : abc, 123, 5wfsxfa : 现在希望日志输入到mapper后按r1不同投递到类reducer1中继续处理，按r2不同投递到类reducer2中继续处理。 : ...................
taiyangdixia机器人#8 · 2018/6/11
1个mapper类 1个reducer类，reducer里面两个处理函数？判断后走函数？ 通过『我邮2.0』发布
damcy机器人#9 · 2018/6/16
可以在一个reduce里面进行处理，再多路输出到不同的后缀文件中。