如何使用FDL进行数据开发?

我是社区第1753786位番薯,欢迎点我头像关注我哦~

FineDataLink的数据开发模块支持在可视化界面使用各个节点和算子进行数据的抽取、转换和装载,并通过定义周期调度任务实现数据定时同步,帮助您轻松构建离线数仓,保证数据生产的高效稳定。

1. 功能概述

功能 描述
多种数据源间的ETL、ELT 处理 数据开发支持多种数据源,可以将多种来源数据进行数据处理和集成。

详情请参见:定时任务支持的数据源

定时任务管理

数据开发中通过定时任务存放设计好的业务流程。

通过文件夹对定时任务进行管理。

任务开发

功能丰富

  • 提供数据同步数据转换节点,实现数据高效灵活的 ETL 和 ELT 。

  • 提供SQL脚本Shell 脚本节点,实现脚本控制。

  • 提供多种流程节点,可结合数据同步数据转换进行复杂逻辑处理。例如条件分支、循环执行、输出结果传递等复杂流程控制。

操作简单

  • 提供业务流程可视化开发机制,可通过拖拽组件方式快速实现数据开发。

  • 提供智能化的SQL编辑器。使用SQL编辑器时,提供复制和格式美化功能。

任务调试

通过手动执行任务,根据任务运行日志进行任务调试。

运行日志详情参见:运行日志介绍

任务调度

提供了定时调度功能,可以定期自动运行定时任务,以保证数据能够及时更新。

  • 开始时间:设置任务开始执行时间

  • 执行频率:任务执行频率

  • 结束时间:设置任务结束执行时间

  • 结果通知:对调度任务运行后的执行结果,如果执行失败会进行通知

任务运维

 

任务支持灵活调度、运行状态实时监控,便捷的操作将会释放运维人员巨大的工作量

  • 运行记录:可以通过筛选和搜索的方式查看任务运行状态、运行耗时以及任务运行的历史日志。

  • 任务管理:查看任务调度配置情况。

  • 资源控制:限制数据平台占用的内存和带宽,减弱在集成部署下对 FineReport 或 FineBI 服务的影响。同时在独立部署时,可控制数据开发所占用的内存资源。

2. 数据开发介绍

2.1 界面介绍

可通过数据开发界面介绍快捷键介绍解数据开发操作界面。

 

2.2 功能介绍

节点是组成定时任务的基本单位,多个节点通过线条连接后可确定执行流程,进而组成一个完整的定时任务。FineDataLink目前有如下节点:

3.png

 

将鼠标悬浮至节点列表,会出现节点的用法解释,您可快速查看当前节点任务用法:

4.png

 

节点基本介绍和数据开发操作流程等详情请参见:帮助文档

 

点击此处,直接体验

想要学习更多技术和功能,请点击FineDataLink文档

由0到1,带您进入FineDataLink的世界

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

0回帖数 1关注人数 276浏览人数
最后回复于:2023-5-26 10:43

Array ( )

返回顶部 返回列表