具体选择增量还是全量核心是看数据量的大小、同步时长和同步频率三方面
一般情况
历史数据量大、全量同步时长过长、同步频率要求高的话要选择增量更新
相反,则选择全量更新
同时,如果存在增量更新时,历史数据有变更,就要增量和全量结合,白天增量,晚上全量一次
尽量减轻服务器负载压力
详细增量或者全量的配置方法,参考文档【很详细的】
kettle数据加载&全量加载&增量加载&批量加载_mysql 批量加载_m0_63747104的博客-CSDN博客 https://blog.csdn.net/m0_63747104/article/details/128004357
增量前先按时间段删除,在按时间段导入
全量就先清空表,在全量导入
1、在目标数据库新建中间表,通过kettle全量抽取数据到中间表,速度快,实测100万条数据,50列宽表,大约1分钟左右;2、通过sql语句编写update,从中间表更新数据到目标表;3、设置定时任务,比如半小时运行一次之类;4、以上采用kettle8.2版本,要先安装jdk;5、kettle下载镜像地址链接https://mirrors.bit.edu.cn/pentaho/Pentaho%208.2/