1、FDL最佳实践
1.1 导出管道任务中来源表及对应的目标表信息
应用场景:
用户的管道任务实现上百张表的实时同步,且存在部分来源表和目标表的表名不同、多张来源表同步到一张目标表等情况,导致用户在管理来源表和目标表的对应关系时(例如重构任务)较为困难。
参考文档:
详情请参见:导出管道任务中来源表及对应的目标表信息
2、FDL功能使用指导
2.1 补数据示例
应用场景:
用户设计的定时任务取数逻辑为:每天抽取当天调度时间往前推 24h 内的数据,汇集到目标数据库。
节假日期间 3 天,系统宕机,定时任务没有运行,导致目标数据库缺少 3 天的数据。
参考文档:
详情请参见:补数据示例
2.2 API取数使用说明
FDL 提供两个功能进行接口取数,区别如下:
功能 |
说明 |
数据同步-API功能 |
若接口返回值为较简单的 JSON 格式,不需要复杂的解析处理,可参考本文进行接口取数 |
API输入 算子 |
若用户希望取出 API 数据后做进一步的数据处理,此时,「数据同步-API」功能不能满足需求。需要使用 API输入 算子接口取数后,再继续使用其他算子对接口数据进行处理 |
本文介绍这两个功能在实际场景中如何使用。
详情请参见:API取数使用说明
2.3 数据开发能力说明
本文为您讲述 FDL 的数据开发模块可以做什么。
详情请参见:数据开发能力说明
2.4 数据连接使用说明
FineDataLink 的数据开发、数据管道、数据服务、库表管理模块支持连接多种数据源进行数据的处理操作。
在使用 FineDataLink 处理、同步数据前,您需要先定义数据连接,以便在执行数据处理操作时,通过「数据库>数据连接名称>数据表」,来确定数据的读取和写入位置。
本文为您介绍配置数据连接时,您需要了解的信息。
详情请参见:数据连接概述
|