如何实现高性能的实时数据同步？数据管道告诉你！

1. 概述

1.1 应用场景

在在构建数仓和中间库时，如果企业业务数据量级较大，可能会面临以下问题：

• 如果使用数据同步批量定时同步，数据很难做到高性能的增量同步。
• 如果使用清空目标表再写入数据的方式，面临目标表一段时间不可用、抽取耗时长等问题。

因此希望能在数据库数据量大或表结构规范的情况下，实现高性能的实时数据同步。

 

1.2 功能说明

FineDataLink监听数据管道来源端的数据库日志变化，利用Kafka作为数据同步中间件，暂存来源数据库的增量部分，进而实现向目标端实时写入数据。

支持对数据源进行单表、多表、整库数据的实时全量和增量同步，可以根据数据源适配情况，配置实时同步任务。

2. 约束限制

• 管道任务仅支持在独立部署环境下使用。

• 管道任务不支持同步视图和索引。

 

3. 功能概述

功能	描述
多种数据源间的数据同步	实时同步支持多种数据源，可以将多种来源端及目标端数据源搭配组成同步链路进行数据实时同步。
数据同步场景	支持对数据源进行单表、多表、整库数据的实时全量和增量同步。 同步类型为存量+增量同步：先对所有存量数据完成同步，随后持续同步新增的变化数据（增/删/改）。
实时数据同步任务配置	实时同步任务配置无需编写代码，通过简单的任务配置即可实现单表、整库实时数据的同步。详情请参见：配置数据管道任务。
实时同步任务运维	支持对同步任务进行监控，详情请参见：管道任务运维。 支持对任务运行状态、同步数据量等进行监控。 并通过邮件、短信、电话和钉钉等方式将报警信息发送给报警接收人，方便您及时发现并处理任务异常。

4. 数据管道支持的数据源

1. MySQL
2. SQL Server
3. Oracle
4. GaussDB 200
5. PostgreSQL
6. Greenplum、Greenplum（并行装载）
7. Kafka
8. Doris...

具体支持版本和环境准备等详情请参见：帮助文档

 

 

点击此处，直接体验

想要学习更多技术和功能，请点击FineDataLink文档

由0到1，带您进入FineDataLink的世界