数仓搭建问题,百万级别的实时业务表会删除数据也会更新插入,怎么快速同步ODS层,5~10分钟调度周期

数仓搭建问题,百万级别的实时业务表会删除数据也会更新插入,怎么快速同步ODS层,5~10分钟调度周期,还是远程数据库服务器,查询较慢,有比较好的建议么,目前是通过先删除调度周期内的数据再插入调度周期内的数据,但是被删除的数据比如几个月或者几年前的数据被删除,就没办法实现ODS层同步删除,及时能删除也会特别慢。

其他问题 吾姓独孤 发布于 2022-8-6 15:39
1min目标场景问卷 立即参与
回答问题
悬赏:0 F币 + 添加悬赏
提示:增加悬赏、完善问题、追问等操作,可使您的问题被置顶,并向所有关注者发送通知
共1回答
最佳回答
0
radioliuLv5见习互助
发布于2022-8-7 08:56
不适合在ODS做删除更新,本身就是做记录历史数据详情的,你可以将变更的数据以插入的方式进入ODS,然后根据业务主键进行最近状态的更新
  • 1关注人数
  • 2208浏览人数
  • 最后回答于:2022-8-7 08:56
    请选择关闭问题的原因
    确定 取消
    返回顶部