找回密码
 立即注册

QQ登录

只需一步,快速开始

数据仓库ETL的瓶颈

FineReport非专业且编外人士
请问有大神乐意简述一下在做数据仓库之ETL的时候,遇到过增量这个问题,有什么好的解决方案吗?
除了时间戳,还有其他办法吗

发表于 2019-12-25 14:59:28
话题太高端嘛   年后就要开始做了  惨兮兮

使用道具 举报

发表于 2019-12-25 15:08:01
你要是想知道解决办法 其实可以在问答平台提问。要是想找一些人和你探讨,那可以发在这里

使用道具 举报

发表于 2019-12-25 15:16:00
用什么做的数据仓库

使用道具 举报

发表于 2019-12-25 15:17:46
个人愚见除了时间戳无解,触发器要动业务数据,不敢动。   期待下面大神高见

使用道具 举报

发表于 2019-12-25 15:38:35
什麼叫數據倉庫etl

使用道具 举报

发表于 2019-12-25 15:46:15
增量的,我用过时间戳,uuid以及MD5这三个形式。各有利弊。主要是根据甲方的数据情况进行选择。

使用道具 举报

发表于 2019-12-25 16:36:29
建议哈,数仓这东西很容易走弯路,建议找人咨询一下,可以不全程参与,但是必须要总体设计。
可以找帆软的商务聊聊,可能也就几人天,而且很有必要

使用道具 举报

发表于 2019-12-25 23:01:40
来自手机
时间戳没有,就写触发器就行了啊,一个表三个触发器,又不会动原表,抽取触发器生成的临时表数据

使用道具 举报

发表于 2019-12-27 11:06:04
用python能不能做

使用道具 举报

发表于 2019-12-27 11:06:46
记录上一次最后一个对比值,比如自增的id

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

28回帖数 1关注人数 5951浏览人数
最后回复于:2020-2-17 14:11

Array ( [id] => 15 [code] => 4301 [product] => [title] => 帖子详情页右侧banner [demand] => 334px * 410px [img_url] => /uploads/20220317/db6e2051e087603dfe539d790a5bca7e.png [click_url] => https://bbs.fanruan.com/thread-138689-1-1.html [status] => 1 [end_time] => 1659230632 [username] => Mia.Wang [edit_time] => 1647480237 )

联系社区管理员|联系帆软|《帆软社区协议》|手机版|帆软社区|Copyright © 帆软软件有限公司 ( 苏ICP备18065767号-7 )

GMT+8, 2022-5-28 06:41 , Processed in 0.123014 second(s), 65 queries , Gzip On.

返回顶部 返回列表