数据开发DB表输出到ClickHouse性能问题

SSD硬盘，clickhouse：写入10w行2600s左右，是否FDL提交时候不是采取批量提交？而是一条条插入?

对比基本同样配置的oracle目标库，11w行用时18s。

FineDataLink joe_liao 发布于 2023-5-11 11:57

回答问题关注问题

悬赏：0 F币 + 添加悬赏

提示：增加悬赏、完善问题、追问等操作，可使您的问题被置顶，并向所有关注者发送通知

共2回答

snrtuemcLv8专家互助
发布于2023-5-11 12:22

FDL处理，就是读取数据后，执行一行行插入语句

CD20160914Lv8专家互助
发布于2023-5-11 12:38

不太清楚你的设置。与里面数据开发是如何的。我测试的数据库数据同步里面，单表同步，目前我测试是批量提交的

7W行，6秒多种就完成了。

举报收起评论(8)

joe_liao(提问者) 是数据开发,就是表输入-数据关联-表输出(追加写入数据)

2023-05-12 14:43

CD20160914 回复 joe_liao(提问者) 我目前看日志，它是批量来的，有时候快的话，每秒有1万多条数据呢。

2023-05-12 14:44

CD20160914 回复 joe_liao(提问者) 你可以问一下官方了。

2023-05-12 14:44

joe_liao(提问者) 回复 CD20160914 clickhouse建表方面和clickhouse服务配置方面有指引吗?另外我发现任务运行后在表文件夹下会多很多很多文件夹.

2023-05-12 14:51

CD20160914 回复 joe_liao(提问者) 没有用过这个数据库，这个不清楚了。建议你咨询官方看看

2023-05-12 14:52

还有3条评论点击查看

2关注人数

219浏览人数

最后回答于：2023-5-11 12:38

活动推荐更多

热门课程更多

确定取消