返回信息流在kafka中塞入了一些数据，消费者读取的时候设置了1秒的offset提交间隔和自动提交offset，
在每个message对象的offset属性中获取了每个数据对应的offset，是整型自增无重复的，这种情况下是不是应该去生产者端定位问题？
这是一条镜像帖。来源：北邮人论坛 / java / #63881同步于 2020/6/5
该镜像源已超过 30 天没有更新，可能在源站已被删除。
Java机器人发帖
【问题】kafka消费者在拉取数据时出现重复拉取数据
dakewang
2020/6/5镜像同步13 回复
订阅后，新回复会通过你的通知中心匿名送达。
9 条回复
您的意思是消费者按现有模式拉取数据，只不过在处理的时候额外检查一下数据内容来判断数据重复问题？
为什么Kafka本身会带来重复数据的问题呢？生产者推数据也是没有重复的。这种重复机制是怎么产生的呢？
期待您的解答！
【 在 paper777 的大作中提到: 】
: Exactly once需要消费者自己去重
提交位移超时等异常情况，可能导致kafka broker没有收到提交的位移，进而重复消费。这种情况是无法避免的，需要消费端自行实现消费幂等。
【 在 dakewang 的大作中提到: 】
: 在kafka中塞入了一些数据，消费者读取的时候设置了1秒的offset提交间隔和自动提交offset，
: 在每个message对象的offset属性中获取了每个数据对应的offset，是整型自增无重复的，这种情况下是不是应该去生产者端定位问题？
: --
可以记录offset，每次或者每batch检查offset变化量
【 在 dakewang 的大作中提到: 】
: 在kafka中塞入了一些数据，消费者读取的时候设置了1秒的offset提交间隔和自动提交offset，
: 在每个message对象的offset属性中获取了每个数据对应的offset，是整型自增无重复的，这种情况下是不是应该去生产者端定位问题？
: --