FineDataLink文档月刊【2023年10月】

FineDataLink 产品月报汇集了每月的产品更新、客户案例以及文档活动，通过产品月报，您可以快速学习本月的新知识、新内容！

1、产品新功能

定时任务支持设置调度依赖和优先级

1）支持为定时任务设置事件调度。

例如：数仓构建过程中 ODS 层有 a、b、c 任务互不影响、DW 层有 d 、f 任务，需要 a、b 任务执行完触发 d 任务，来减少 DW 层对 ODS 层完全更新完等待的时间；若 a、b 执行失败则不触发，来避免数据准确性的问题。

Ø 详情请参见：定时任务调度配置 2.2 节内容。

2）支持设置定时任务的执行优先级。当线程数不足时，优先执行队列中级别高的流，相同优先级的任务按照先进先出的顺序执行。

Ø 详情请参见：定时任务调度配置 第五章内容。

定时任务支持设置全局参数

当多个定时任务需要使用相同的参数时，如果参数需要修改，每个定时任务都需要进行修改，实现过程比较麻烦。支持设置全局参数，该参数可在多个定时任务中使用。如下图所示：

Ø 详情请参见：全局参数

管道任务支持仅增量同步

数据管道任务初次运行时，采取全量+增量同步策略：

• 全量阶段：查询任务运行时刻数据来源表的所有数据，输出至数据目标表。

• 增量阶段：全量同步完成后，通过监听数据管道来源端的数据库日志变化，获取数据来源表的增量数据，将增量数据变化同步至数据目标表。

当以下场景中，用户希望进增量同步：

• 用户源库删除留存数据后，目标库仍保留完整数据。

• 希望仅增量同步源表中近期有效数据。

• 历史数据量很大的用户，为满足数据导入时间窗和导入成功率，历史数据往往要通过特定的高速装载方式或者分多次多批导入。

新版本的管道任务支持从指定的起点开始，持续同步新增的变化数据（增删改）。如下图所示：

Ø 详情请参见：配置管道任务 3.3 节内容。

定时任务内置参数优化并提供参数管理功能

1）新增两个内置参数：

• ${workname}：取当前任务名称。

• ${workname.jobname.opresult}：获取其他任务节点最近一次运行结果。

Ø 详情请参见：内置参数

2）「参数列表」界面中，可查看该任务可用的参数。

Ø 详情请参见：自定义参数

3）任务内配置参数支持下拉选择。

参数赋值体验优化

支持批量生成/修改/删除参数；自动填充参数默认值。Ø 详情请参见：参数赋值

数据源分类优化和支持按量售卖

1）新增「容量」、「用户」、「节点」三个维度的注册限制。

当前的注册产品注册维度分为：「容量」、「时间」、「用户」、「功能点」、「节点」五个，控制维度最终结果取交集，用户可选择适合自己的注册维度。

Ø 详情请参见：注册简介

2）FineDataLink license可以单独控制数据开发、数据服务、数据管道三个模块的到期时间。

3）新增数据开发用户类型，便于从用户维度进行 FineDataLink 的注册管理。

Ø 详情请参见：用户管理 第五章

4）对于注册功能点，也进行了梳理和优化。

Ø 详情请参见：FineDataLink支持的数据源

5）优化数据源类型的注册功能点。

Ø 详情请参见：注册简介 第六章

更多功能

1）支持单个任务跨环境导入导出，包括：定时任务、管道任务、API任务。

2）处理好的数据支持输出为 Excel 形式。

3）支持可视化展示定时任务的调用关系/依赖关系。

4）数据管道和数据服务适配集群。

5）数据转换支持上下合并算子。

更多详情请参见：4.0.30更新日志、4.1.0更新日志

2、文档上新

高频指标借助参数实现轻量化修改

应用场景：

用户需要对活跃客户的占比进行分析，但由于不断变化的业务需求，活跃客户的定义会不定期修改。

例如，上半年活跃客户被定义为在过去 3 个月内至少在商城下单 2 次的连锁客户，而下半年的定义则是在过去 6 个月内至少下单 3 次的客户。这种指标变化需要 IT 团队重新评估相关数据的计算逻辑，可能会带来繁重的工作量。

参考文档：

Ø 详情请参见：高频指标借助参数实现轻量化修改

将包含两个子表单的简道云表单数据落库

应用场景：

简道云表单中包含两个子表单，其中一个子表单中包含成员单选、部门单选控件。如下图所示：

已有数据如下图所示，现希望将该表单的数据落库。

参考文档：

Ø 详情请参见：将包含两个子表单的简道云表单数据落库

API取数-计算总页数并按页取数

应用场景：

某企业现在需要将某业务数据全部取出以供业务分析使用。

由于数据量比较大，不可能一次性取全量数据，因此需要使用参数。

接口文档中 pageNum 表示数据页数；pageSize 表示在每一页的数据条数。

和API取数-按页数取数 不同的是，接口返回值中没有总页数 total_pages，需要手动计算。

参考文档：

Ø 详情请参见：API取数-计算总页数并按页取数

零售业务场景方案

业务背景

超市等零售行业对卖场效率等要求越来越高，因此提升客户体验，同时如何快速扩充门店、智能化经营也是当前的主要目标。

零售企业的数据量普遍较大，高速增长的数据量和高时效性要求，需要强大的业务系统和工具支撑业务运作，来提升业务人员统计分析、查询等的工作效率。

受限于工具，x零售企业整体数据应用效率和应用水平不高，为业务服务不够，数据价值得不到充分的发挥。

数据层面：

1）数据孤岛，公司NEC平台等多个业务系统，数据未全部打通，无法关联进行全量报表展示

2）数据质量低，业务人员前端填报未做校验，表中存在作废数据，不合法数据，空值等，无法进行准确的数据统计

3）开源ETL工具无法满足高安全性，运维成本低，数据实时同步的需求，存在以下问题：

• 安全性问题：在需要手动执行抽数时，会需要进入服务器去更改执行文件，在未知的网络环境下，会给服务器带来风险；

• 运维成本高：缺少运维管理，无法快速定位出日志，带来极高的运维成本

• 高实时性要求：对于抽取频率较高的数据表，或需要实时同步的数据，开源ETL无法实现，对于后期业务需求，无法支撑数据时效性

应用层面：

• 数据不可用：NEC系统性能不好，通过基础数据通过SQL查询生成的报表，经常因为查询量大导致平台崩溃，降低了业务人员对报表的使用频率。

• 移动端无法查看：NEC平台无法与企微集成，需下载软件但对收集性能有较高要求，外出人员不能做到及时点击及时查询。

解决方案

文档：零售便利店场景应用方案、零售便利店新品监控

Demo：参见：案例体验