业务场景:数据每周更新一次,一个月更新5次,同时有更改历史记录的可能,所以不能用增量更新,只能用全量更新
问题:帆软在实现这种定时任务更新时,任务数量巨多,后期运维很难,有没有好的方法做全量更新?
我是这么做的 通过一个定时任务里面的明细频率 没一分钟执行一次任务 每次任务获取时间 通过时间函数算出每次传的参数值,这样在前段就只有几条定时任务了
如果是直接抽取数据,直接写定时任务,找业务不影响时间做全量更新,BW中规定必须填年份与周次,就没法全量抽取了,只能按年份周次抽取,除非修改BW模型