1、客户案例
简道云输入算子:清空目标表,再写入数据
应用场景:
简道云输出算子 不能选择「清空目标表,再写入数据」写入方式。
用户在以下场景时,希望能先清空简道云表单再写入数据:
参考文档:
Ø 详情请参见:简道云输出算子:清空目标表,再写入数据
文件拆分:只保留最新拆分的文件
应用场景:
文件输出算子 可将数据按行数拆分至多个文件,但存在以下问题:
场景 |
问题 |
每次运行后,被拆分的文件存在重名情况 |
用户多次运行任务,根据数据量不同,被拆分的文件个数可能不同
若用户第一次运行任务,数据被拆分为 5 个文件,第二次运行任务数据被拆分为 3 个文件,上一次被拆分的文件依然存在,影响用户查看文件数据
|
每次运行后,被拆分的文件不存在重名情况 |
若被拆分的文件以日期和时间命名,文件不重名,但随着运行次数增多,生成的拆分文件过多,占用空间
|
本文提供方案解决上述问题。
参考文档:
Ø详情请参见:文件拆分:只保留最新拆分的文件
部署Kafka:KRaft模式
新增 Kafka KRaft 模式的部署方案。
配置管道任务前,需要部署 KafKa,FDL帮助文档提供两种部署 KafKa 的方式:部署Kafka:ZooKeeper模式、部署Kafka:KRaft模式
KRaft 模式相比 ZooKeeper 模式的主要优势如下:
-
运维简化:只需部署 Kafka,不再依赖 ZooKeeper。
-
横向扩展能力提升:Kafka 集群能支持的 Partition 数量是衡量其横向扩展能力的重要指标。此前这个值受 ZooKeeper 与 Controller 之间传递元数据的限制,只能到十万量级,而 KRaft 模式不需要这种传递, 因此可以提升到百万量级。
-
元数据传播提效:元数据通过 Kafka 的 Topic 管理,并利用 Topic 的生产消费传播,集成性更好的同时也提升了一些底层实现的性能。
一条消息提醒一个人,可发送多条消息
应用场景:
群通知中,用户希望:
如下图所示:
实现方案:
Ø详情请参见:一条消息提醒一个人,可发送多条消息
循环往复执行定时任务
应用场景:
用户创建两个定时任务(调用关系)处理数据,处理后的数据被用于大屏展示。
由于对数据的实时性要求较高,希望任务执行后立刻被拉起,且任务运维界面不希望看到任务出现排队的情况。
实现思路:
问题:
本文方案:
父任务中,使用内置参数 ${workname.opresult} 判断子任务是否执行成功,若子任务上次运行状态为成功:
运行情况为:子任务运行成功→父任务到达运行时间判断子任务上次运行是否成功,若运行成功:运行子任务、运行父任务→子任务运行成功→循环执行
所以,不会出现排队情况。
参考方案:
Ø详情请参见:循环往复执行定时任务
2、功能使用指导
关闭或重启FDL工程
应用场景:
-
FDL 手动进行升级后,需要重启工程。
-
FDL 工程修改某些配置后,需要重启工程。
参考文档:
Ø详情请参见:关闭或重启FineDataLink工程
确认HDFS地址中的IP和端口
应用场景:
配置 星环 TRANSWARP INCEPTOR 数据源、Hive 数据源 时,存在设置项 HDFS 地址。如下图所示:
HDFS 地址介绍:
本文将介绍确定 HDFS 地址中 IP 和端口的方法。
参考文档:
Ø详情请参见:确认HDFS地址中的IP和端口
3、扩展阅读
1)数据开发模块与数据管道模块的区别请参见:数据管道与数据开发区别
2)4.1.6.2 版本,对JSON解析算子进行了优化,详情请参见:JSON解析算子功能说明
-
支持同时解析一个JSON源字段的数组部分和非数组部分
-
所有生成JsonPath默认从根节点开始,生成完整的绝对路径,用户可手动修改
-
在「选择JSON节点」时,用户可以通过粘贴JSON文本的方式修改选择节点的内容,以防止出现上游有多行 JSON 文本流进时,因为第一行的JSON属性较少,导致其他json属性无法直接选择的情况
-
JSON解析生成同名字段进行提示
-
JSON解析支持同时解析多个字段,减少「简道云输入」多个复杂字段的解析成本,在「JSON解析」中添加解析多个字段的能力。
3)FDL 新增功能请参见:更新日志索引
|