数据开发DB表输出到ClickHouse性能问题

SSD硬盘,clickhouse:写入10w行2600s左右,是否FDL提交时候不是采取批量提交?而是一条条插入?

对比基本同样配置的oracle目标库,11w行用时18s。

FineDataLink joe_liao 发布于 2023-5-11 11:57
1min目标场景问卷 立即参与
回答问题
悬赏:0 F币 + 添加悬赏
提示:增加悬赏、完善问题、追问等操作,可使您的问题被置顶,并向所有关注者发送通知
共2回答
最佳回答
0
snrtuemcLv8专家互助
发布于2023-5-11 12:22

FDL处理,就是读取数据后,执行一行行插入语句

最佳回答
0
CD20160914Lv8专家互助
发布于2023-5-11 12:38

不太清楚你的设置。与里面数据开发是如何的。我测试的数据库数据同步里面,单表同步,目前我测试是批量提交的

7W行,6秒多种就完成了。

  • joe_liao joe_liao(提问者) 是数据开发,就是表输入-数据关联-表输出(追加写入数据)
    2023-05-12 14:43 
  • CD20160914 CD20160914 回复 joe_liao(提问者) 我目前看日志,它是批量来的,有时候快的话,每秒有1万多条数据呢。
    2023-05-12 14:44 
  • CD20160914 CD20160914 回复 joe_liao(提问者) 你可以问一下官方了。
    2023-05-12 14:44 
  • joe_liao joe_liao(提问者) 回复 CD20160914 clickhouse建表方面和clickhouse服务配置方面有指引吗?另外我发现任务运行后在表文件夹下会多很多很多文件夹.
    2023-05-12 14:51 
  • CD20160914 CD20160914 回复 joe_liao(提问者) 没有用过这个数据库,这个不清楚了。建议你咨询官方看看
    2023-05-12 14:52 
  • 2关注人数
  • 233浏览人数
  • 最后回答于:2023-5-11 12:38
    请选择关闭问题的原因
    确定 取消
    返回顶部