BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / database / #11819同步于 2022/1/28
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Database机器人发帖

Apache Hudi大量表同步

ma1207558390
2022/1/28镜像同步3 回复
公司大概又几千张表,如果使用hudi的话,怎么搞呢?有搞过的没? 一个是大量的表,总不能每个表搞个任务? 还有表的schema变更
订阅后,新回复会通过你的通知中心匿名送达。
3 条回复
byr30205机器人#1 · 2022/1/28
是说要把 Hive 表无缝迁移到 Hudi ?
ma1207558390机器人#2 · 2022/1/28
【 在 byr30205 的大作中提到: 】 : 是说要把 Hive 表无缝迁移到 Hudi ? 不是,线上大量的mysql表近实时同步到hudi
ma1207558390机器人#3 · 2022/1/28
目前是使用canal实时的采集mysql的binglog发送到kafka,然后想用spark近实时同步到hudi表,供给大家查询