FineDataLink实战案例分享【2024-05-20周】

楼主
我是社区第567266位番薯,欢迎点我头像关注我哦~

历史案例:FineDataLink实战案例分享【2024-03-04周】

1、客户案例

简道云输入算子:清空目标表,再写入数据

应用场景:

简道云输出算子 不能选择「清空目标表,再写入数据」写入方式。

用户在以下场景时,希望能先清空简道云表单再写入数据:

  • 简道云表单数据发生全面更新,不仅仅是部分更新或增量更新时。

  • 需要将数据迁移到某张简道云表单。

  • 为了避免数据重复或冲突,出于安全考虑,希望先清空目标表再写入数据。

参考文档:

Ø 详情请参见:简道云输出算子:清空目标表,再写入数据

文件拆分:只保留最新拆分的文件

应用场景:

文件输出算子 可将数据按行数拆分至多个文件,但存在以下问题:

场景 问题
每次运行后,被拆分的文件存在重名情况

用户多次运行任务,根据数据量不同,被拆分的文件个数可能不同

若用户第一次运行任务,数据被拆分为 5 个文件,第二次运行任务数据被拆分为 3 个文件,上一次被拆分的文件依然存在,影响用户查看文件数据

每次运行后,被拆分的文件不存在重名情况

若被拆分的文件以日期和时间命名,文件不重名,但随着运行次数增多,生成的拆分文件过多,占用空间

本文提供方案解决上述问题。

参考文档:

Ø详情请参见:文件拆分:只保留最新拆分的文件

部署Kafka:KRaft模式

新增 Kafka KRaft 模式的部署方案。

配置管道任务前,需要部署 KafKa,FDL帮助文档提供两种部署 KafKa 的方式:部署Kafka:ZooKeeper模式部署Kafka:KRaft模式

KRaft 模式相比 ZooKeeper 模式的主要优势如下:

  • 运维简化:只需部署 Kafka,不再依赖 ZooKeeper。

  • 横向扩展能力提升:Kafka 集群能支持的 Partition 数量是衡量其横向扩展能力的重要指标。此前这个值受 ZooKeeper 与 Controller 之间传递元数据的限制,只能到十万量级,而 KRaft 模式不需要这种传递, 因此可以提升到百万量级。

  • 元数据传播提效:元数据通过 Kafka 的 Topic 管理,并利用 Topic 的生产消费传播,集成性更好的同时也提升了一些底层实现的性能。

一条消息提醒一个人,可发送多条消息

应用场景:

群通知中,用户希望:

  • 每条消息对应一个通知人。

  • 某个人对应的通知内容中,文字使用颜色代表事务的紧急程度。

  • 通知内容中包含链接,用户点击即可跳转到详情页面。

如下图所示:

实现方案:

Ø详情请参见:一条消息提醒一个人,可发送多条消息

循环往复执行定时任务

应用场景:

用户创建两个定时任务(调用关系)处理数据,处理后的数据被用于大屏展示。

由于对数据的实时性要求较高,希望任务执行后立刻被拉起,且任务运维界面不希望看到任务出现排队的情况。

实现思路:

问题:

  • 若设置子任务定期执行,子任务会出现排队的情况。

  • 若设置父任务定期执行,通过「调用任务」节点父任务拉起子任务的执行,子任务运行过程中父任务会出现排队的情况。

本文方案:

父任务中,使用内置参数 ${workname.opresult} 判断子任务是否执行成功,若子任务上次运行状态为成功:

运行情况为:子任务运行成功→父任务到达运行时间判断子任务上次运行是否成功,若运行成功:运行子任务、运行父任务→子任务运行成功→循环执行

所以,不会出现排队情况。

参考方案:

Ø详情请参见:循环往复执行定时任务

2、功能使用指导

关闭或重启FDL工程

应用场景:

  • FDL 手动进行升级后,需要重启工程。

  • FDL 工程修改某些配置后,需要重启工程。

参考文档:

Ø详情请参见:关闭或重启FineDataLink工程

确认HDFS地址中的IP和端口

应用场景:

配置 星环 TRANSWARP INCEPTOR 数据源Hive 数据源 时,存在设置项 HDFS 地址。如下图所示:

HDFS 地址介绍:

  • 是 Hadoop HDFS 文件系统处于活跃状态的节点地址。

  • 格式为 "hdfs://ip:port";例如:hdfs://192.168.101.119:8020。

本文将介绍确定 HDFS 地址中 IP 和端口的方法。

参考文档:

Ø详情请参见:确认HDFS地址中的IP和端口

3、扩展阅读

1)数据开发模块与数据管道模块的区别请参见:数据管道与数据开发区别

2)4.1.6.2 版本,对JSON解析算子进行了优化,详情请参见:JSON解析算子功能说明

  • 支持同时解析一个JSON源字段的数组部分和非数组部分

  • 所有生成JsonPath默认从根节点开始,生成完整的绝对路径,用户可手动修改

  • 在「选择JSON节点」时,用户可以通过粘贴JSON文本的方式修改选择节点的内容,以防止出现上游有多行 JSON 文本流进时,因为第一行的JSON属性较少,导致其他json属性无法直接选择的情况

  • JSON解析生成同名字段进行提示

  • JSON解析支持同时解析多个字段,减少「简道云输入」多个复杂字段的解析成本,在「JSON解析」中添加解析多个字段的能力。

3)FDL 新增功能请参见:更新日志索引

 

 

 

 

分享扩散:

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

0回帖数 1关注人数 1690浏览人数
最后回复于:2024-5-20 20:13

返回顶部 返回列表