数据抽取,历史数据发生变更,如何保证表数据最新?增量怎么处理,全量又怎么处理
  
FineReport 九五八七 发布于 2023-8-1 13:48
1min目标场景问卷 立即参与
回答问题
悬赏:3 F币 + 添加悬赏
提示:增加悬赏、完善问题、追问等操作,可使您的问题被置顶,并向所有关注者发送通知
共4回答
最佳回答
0
坚定的小帆薯Lv6高级互助
发布于2023-8-1 14:36

具体选择增量还是全量核心是看数据量的大小、同步时长和同步频率三方面

一般情况

历史数据量大、全量同步时长过长、同步频率要求高的话要选择增量更新

相反,则选择全量更新

同时,如果存在增量更新时,历史数据有变更,就要增量和全量结合,白天增量,晚上全量一次

尽量减轻服务器负载压力

详细增量或者全量的配置方法,参考文档【很详细的】

kettle数据加载&全量加载&增量加载&批量加载_mysql 批量加载_m0_63747104的博客-CSDN博客  https://blog.csdn.net/m0_63747104/article/details/128004357

最佳回答
0
用户k6280494Lv6资深互助
发布于2023-8-1 13:51

增量前先按时间段删除,在按时间段导入

全量就先清空表,在全量导入

最佳回答
0
IndustryPaysLv6见习互助
发布于2023-8-1 14:47(编辑于 2023-8-1 14:52)

1、在目标数据库新建中间表,通过kettle全量抽取数据到中间表,速度快,实测100万条数据,50列宽表,大约1分钟左右;2、通过sql语句编写update,从中间表更新数据到目标表;3、设置定时任务,比如半小时运行一次之类;4、以上采用kettle8.2版本,要先安装jdk;5、kettle下载镜像地址链接https://mirrors.bit.edu.cn/pentaho/Pentaho%208.2/

最佳回答
0
Gun鹏Lv4见习互助
发布于2023-8-8 10:47(编辑于 2023-8-8 10:48)
  • 5关注人数
  • 252浏览人数
  • 最后回答于:2023-8-8 10:48
    请选择关闭问题的原因
    确定 取消
    返回顶部