增量更新-既有增量增加也有增量删除

想要增量更新近90天的数据，

然后增量增加和增量删除都配置了。

这个顺序是先删除近90天的数据，然后再增加近90天的数据么，

image.png

对比了就是这种增量更新，比全量更新还慢是怎么回事？

image.png
FineBI 帆软用户bENgRew36J 发布于 2024-5-16 10:43 （编辑于 2024-5-23 16:32）
1min目标场景问卷 立即参与
回答问题
悬赏：4 F币 + 添加悬赏
举报
提示：增加悬赏、完善问题、追问等操作，可使您的问题被置顶，并向所有关注者发送通知
共3回答
最佳回答
0
华莉星宸Lv6高级互助
发布于2024-5-16 10:45（编辑于 2024-5-16 10:46）

删除的不能是物理删除

要打标记删除，并记录删除时间

增量更新概述 https://help.fanruan.com/finebi/doc-view-92.html

举报 收起评论(2)
  • 帆软用户bENgRew36J 帆软用户bENgRew36J(提问者) 我是需要它每天定时更新的，这个怎么去做到不物理删除
    2024-05-16 11:08 
  • 华莉星宸 华莉星宸 回复 帆软用户bENgRew36J(提问者) 原始数据不能物理删除，在BI数据处理的时候，在过滤掉删除的数据
    2024-05-16 11:59 
最佳回答
0
JL98Lv6中级互助
发布于2024-5-16 11:17

增量删除SELECT 后面只保留 billDate 字段试一下
举报 收起评论(4)
  • 帆软用户bENgRew36J 帆软用户bENgRew36J(提问者) 可我是需要更新近90天所有的数据，，不仅仅是billdate那一列
    2024-05-16 13:10 
  • JL98 JL98 回复 帆软用户bENgRew36J(提问者) 他删除的是 billDate 对应的数据，不需要把全部字段都列出来的
    2024-05-16 13:37 
  • JL98 JL98 回复 帆软用户bENgRew36J(提问者) 你更新字段都列出来就行
    2024-05-16 13:38 
  • 帆软用户bENgRew36J 帆软用户bENgRew36J(提问者) 回复 JL98 试了一下，运行时间并没有减少
    2024-05-23 16:28 
最佳回答
0
CD20160914Lv8专家互助
发布于2024-5-16 11:25（编辑于 2024-5-16 11:29）

    直接全量更新也不慢1千万条数据，2分钟更新完成了。delete是一行行的去删除，它会产生日志与事务，当表中的量大的时候

你delete去删除肯定就慢了。

TRUNCATE清空表没有日志，这样清空整个表肯定快。

数据更新方案- FineBI帮助文档 FineBI帮助文档 (fanruan.com)

image.png
举报 收起评论(2)
  • 帆软用户bENgRew36J 帆软用户bENgRew36J(提问者) 涉及的表数据量将近一个亿，，需要每天更新，全量更新在2.5h，所以考虑做增量更新近90天的数据，但是现在不知道哪里出了问题，增量更新反而时间更长
    2024-05-23 16:30 
  • CD20160914 CD20160914 回复 帆软用户bENgRew36J(提问者) 问一下官方吧。这么大的量删除感觉就是很长时间，不然你在数据库去操作看删除要多久
    2024-05-23 16:32 
  • 4关注人数
  • 164浏览人数
    • 最后回答于：2024-5-23 16:32
    活动推荐 更多
    热门课程 更多
    请选择关闭问题的原因
    确定 取消
    隐私政策
    帆软用户服务协议
    联系管理员
    联系帆软
    Copyright© 帆软软件有限公司 版权所有
    苏ICP备18065767号
    返回顶部