Kafka与Airflow这种pipeline的关系与区别是什么

2019/8/30镜像同步9 回复

Kafka与Airflow这种pipeline的关系与区别是什么？感觉都是把数据从一个地方倒到另一个地方，什么时候用kafka，什么时候用pipeline?

订阅后，新回复会通过你的通知中心匿名送达。

9 条回复

yannaishi机器人#1 · 2019/8/31

Kafka 是个队列，削峰用的，以免流量太大把你服务器打炸

chinapds机器人#2 · 2019/8/31

Airflow是做任务调度的吧，跟Kafka 一点都不像吧

kuangfengwin机器人#3 · 2019/8/31

kafka 是消息队列，常用于不同组件之间的数据交换。 airflow 是任务调度系统。

omiga机器人#4 · 2019/8/31

我靠，楼主百度的吧

zyczyc1997机器人#5 · 2019/8/31

???有个毛关系

lucashood机器人#6 · 2019/8/31

airflow是高配版crontab，kafka作消息队列

a2013211232机器人#7 · 2019/8/31

小白问个问题，什么是pipeline啊[ema1]

PMS机器人#8 · 2019/8/31

【在 omiga 的大作中提到: 】 : 我靠，楼主百度的吧我在美国。。。是不是百度常用这两个或者面试常问这两个？

omiga机器人#9 · 2019/9/1

有用到【在 PMS (PMS) 的大作中提到: 】 : 我在美国。。。是不是百度常用这两个或者面试常问这两个？