前言 文档系统搜索框投票，可到末尾进行投票（最多可选3项） 涉及文档系统： https://help.fanruan.com/finedatalink/ https://help.fanruan.com/finereport/ https://help.fanruan.com/finebi/ https://help.fanruan.com/jiushuyun/ https://help.fanruan.com/dvg/ 等（可能涉及海外文档）   1、目录树搜索框 投票是否新增 左侧目录树处搜索文档名称 实现效果参考： https://support.huaweicloud.com/intl/zh-cn/usermanual-dataartsstudio/dataartsstudio_01_5099.html https://help.aliyun.com/zh/analyticdb-for-postgresql/getting-started/overview-getting-started?spm=a2c4g.11174283.0.i7   2、当前页搜索 投票是否新增 每篇文档右上角输入关键字搜索，搜索结果在当前页展示 效果：https://help.aliyun.com/zh/analyticdb-for-postgresql/getting-started/configure-an-ip-address-whitelist-instances-with-vector-engine-optimization-enabled?spm=a2c4g.11186623.0.0.67d627c3Jj3Na7   3、目前搜索框 投票是否保留 效果：输入关键字后，跳转到搜索页面，显示搜索出的结果 https://help.fanruan.com/finedatalink/doc-view-203.html

FineDataLink文档系统：https://help.fanruan.com/finedatalink/ 1、前言 23年 发布了 FineDataLink 文档共创活动，但由于当时 FDL 产品刚发布不久，使用用户较少，效果并不理想；24 年重新启动该活动，每周五审核，审核通过后奖励多多，审核结果可点击链接查询到，有问题可联系Wendy123456（社区搜索私聊即可） 2、介绍 文档活动介绍：FineDataLink 文档反馈 由于FDL未对外开放安装包，可以在https://demo.finedatalink.com/中体验产品 2.1 文档问题反馈 无门槛，奖励F币：2-150F币 鼓励大家直接编辑文档，只反馈问题，奖励较少，发现问题编辑后，奖励较多 只要您觉得某篇文档有问题（BUG、描述不清晰、图片老旧、写的不够好应该XXXX等），都可反馈给我们（不限制问题类型），审核通过后发放F币 查看详情：FineDataLink文档问题反馈-最高150F币 2.2 文档搜索反馈 无门槛，奖励F币：2-10F币 搜不到？有想要的内容不知道搜什么？感觉文档搜索太垃圾，有建议等，反馈给我们 查看详情：FineDataLink文档搜索反馈-最高10F币 2.3 文档内容调研 有门槛：近一年内阅读FDL文档篇数超过 40 篇，奖励F币：4F币 查看详情：FineDataLink文档内容问卷调研-4F币 3、额外奖励 截止到 2024-07-01，若参与 FDL 共创人数超过 30 人，下面奖励生效： 1）审核通过次数前三名用户，额外奖励：200 140 80 2）得到F币最多的前三名用户（高价值用户），额外奖励：300 200 100 奖励不叠加，若用户重复，选择最高值进行奖励            

1、客户案例 按日期分表，每天保存当天数据 应用场景： API 接口中每天有 20 多万的数据，若落库到同一张表中，随着时间该表数据不断累积，可能造成查询慢的问题。 希望能按日期分表，每天创建一个新的数据表，保存该天数据。 参考文档： Ø 详情请参见：按日期分表，每天保存当天数据 使用FDL接口形式实现阿里云服务器数据监听 应用场景： 用户需要对阿里云产品进行数据监控，实时掌握服务器性能情况。由于阿里云服务器签名认证很复杂，官方文档仅提供代码形式来获取签名。比如python或者java，且由于代码是开源的，扫描会有安全漏洞的风险。 因此用户希望能提供更简便安全的方式对产品进行数据监控。 参考文档： Ø 详情请参见：使用FDL接口形式实现阿里云服务器数据监听 FineReport接收并使用数据服务发布的数据 应用场景： 用户为保证数据安全，不希望直接将数据仓库账号开发给第三方使用，且拥有 FineDataLink 作为数据中台，想使用「数据服务」功能，统一分发数据给第三方使用，同时想要使用 FineReport 直接接收数据制作看板。 参考文档： Ø 详情请参见：FineReport接收并使用数据服务发布的数据 FTP/SFTP/本地服务器附件传输至API接口 应用场景： 用户想要将 FTP/SFTP服务器/本地FineDataLink 工程中的文件输出至指定的业务系统 API 接口。 参考文档： Ø 详情请参见：FTP/SFTP/本地服务器附件传输至API接口 简道云附件传输至FTP/SFTP/服务器本地 应用场景： 用户需要将简道云上传的附件根据保密安全规定做归档，同步至FTP服务器/本地/业务管理系统。 客户有大量带有附件的简道云数据，同时需要做数据的查询需要用FR做，所以需要将简道云附件同步到 FTP 服务器。 参考文档： Ø 详情请参见：简道云附件传输至FTP/SFTP/服务器本地 2、功能使用指导 数据开发并发数与脏数据说明 简介： 并发数、脏数据、任务重试的说明与使用。 参考文档： Ø 详情请参见：数据开发并发数与脏数据说明 定时任务运维指导 简介： 列举定时任务的常见运维操作。 参考文档： Ø 详情请参见：定时任务运维指导 API 相关 API 入门 文档进行翻新，用户有问题/建议可在文档下评论。 API取数概述 文档中，对不同取数场景进行分类，便于用户查看，用户有问题/建议可在文档下评论。 3、扩展阅读 FDL 新增功能请参见：更新日志索引    

FineDataLink 产品月报汇集了每月的产品更新、客户案例以及文档活动，通过产品月报，您可以快速学习本月的新知识、新内容！ 1、产品新功能 新增分组汇总算子 新增「分组汇总」算子，对原始数据根据条件将相同的数据先合并到一组，然后按照分组后的数据进行汇总计算。如下图所示： Ø 详情请参见：分组汇总算子 新增字段拆行、字段拆列算子 用户可用可视化的配置方式实现按分隔符对数据的行列拆分，避免写大量 SQL ，提升数据处理效率。 1）新增「字段拆行」算子，字段值按照特定规则（分隔符）拆分，拆分后的结果形成新的一列字段和值。如下图所示： Ø 详情请参见：字段拆行 2）新增「字段拆列」算子，字段值按照特定规则（分隔符或字符数）拆分，拆分后的结果形成新的多列字段和值。如下图所示： Ø 详情请参见：字段拆列 定时任务支持调用数据库存储过程 数据源是 MySQL、Oracle、SQLServer ，定时任务的SQL脚本、数据同步、数据转换>DB表输入、参数赋值中支持调用数据库存储过程。如下图所示： Ø 详情请参见：定时任务调用数据库存储过程 读取、创建、写入分区表 详情请参见：读取、创建、写入分区表 1）数据写入Hive、星环 TRANSWARP INCEPTOR数据库时，支持创建、写入分区表。如下图所示： 2）支持读取 PostgreSQL 数据库的分区表。 定时任务支持直接选表功能&并发读取功能 「数据源」中选择DB表输入类型时，支持直接选表功能，用户可在下拉框中选择某张数据库表读取数据，且能为这张表添加过滤条件。 使用直接选表功能，才可开启并发读取功能。在数据量很大时，开启「并行取数」，可提高读取数据的速度。 如下图所示： Ø 详情请参见：数据同步功能说明 将BI公共数据作为数据连接 FineBI 和 FineDataLink 中支持新建「远程公共数据」数据连接。 配置需要远程访问的 FineBI 工程后，可在 FineDataLink 定时任务「数据同步」「参数赋值」「DB表输入」、数据服务（仅支持独立部署环境下）中作为数据源读取数据使用。如下图所示： Ø 详情请参见：配置远程公共数据源 提供通用JDBC对接取数和执行SQL的能力 当用户想要使用FineDataLink支持的数据源以外的其他的 JDBC 类型数据库作为 FineDataLink 中的定时任务数据源进行SQL 取数和执行 SQL等操作，可以使用该插件。 Ø 详情请参见：通用JDBC取数插件 API输入自带分页取数功能 需要使用 FineDataLink 取出 API 数据时，由于数据量限制或者接口响应时间，有时需要分页取数。FineDataLink 提供了 API 分页功能。如下图所示： Ø 详情请参见：API输入-分页取数 数据服务支持更多数据源 数据服务API支持发布Starrocks、GaussDB、MaxCompute数据源。 Doris、StarRocks 作为写入端，支持自动建表 管道任务&定时任务中，Doris、StarRocks 数据源作为写入端，支持自动建表。如下图所示： Ø 详情请参见：配置管道任务-表字段映射、数据同步功能说明 更多功能 更多更新功能请参见：4.1.3更新日志、4.1.2更新日志 2、最佳实践 以起始行数作为参数的API接口取数 应用场景： 从 金蝶 k3Cloud 系统接口 进行分页报表取数时，接口中没有提供页码参数，因此不能使用API取数-按页数取数方案。 但是接口中会返回所取数据的总行数，且接口请求参数中有开始行索引参数（从哪一行开始取数）、返回行数限制参数。 参考文档： Ø 详情请参见：API取数-以起始行数作为参数 API取数-钉钉获取部门用户信息 应用场景： 用户想要同步钉钉通信录中的用户信息。 API取数-获取部门通讯录数据 中获取钉钉用户信息的方案，只适用于部门下用户数量不超过 100 的场景；若某部门中用户数超过 100，可参考本文方案获取用户信息。 参考文档： Ø 详情请参见：方案二 数仓拉链表（来源表数据大于10000） 应用场景： 数仓拉链表 文档中提供的方案，使用「参数赋值」节点将来源表中的 ID 字段输出为参数，但「参数赋值」节点要求输出的参数不能超过 10000 个，若来源表数据超过 10000 条，该方案将不适用。 本文提供数据量较大场景（来源表数据超过 10000）下拉链表的实现方案。 参考文档： Ø 详情请参见：数仓拉链表（来源表数据大于10000）      

本周上新两个新方案，快来查看吧!!！ 1、FR调用定时任务后轮询是否完成 1.1 应用场景 FR 通过任务名/任务ID运行定时任务的接口中，可设置延迟参数，在等待设置的 X 秒后可以返回任务运行状态。如下图所示： 但某些定时任务运行时间较长且不稳定，当 FDL 执行到接口设置的时间但任务还未结束时，FR 会接收到 RUNNING 的返回信息。用户无法确定后续定时任务是否运行成功。 1.2 实现思路 通过调用任务接口返回的实例 ID ，再结合根据实例 ID 查询任务状态的功能，使用 JS 定时器去轮询任务状态，当确认任务完成后再刷新 FR 的查看页面。最终效果如下图所示： 1.3 实现过程 请参见文档：FR调用定时任务后轮询是否完成 2、API取数-钉钉获取部门用户信息 2.1 应用场景 用户想要同步钉钉通信录中的用户信息。 API取数-获取部门通讯录数据 中获取钉钉用户信息的方案，只适用于部门下用户数量不超过 100 的场景；若某部门中用户数超过 100，可参考本文方案获取用户信息。 2.2 实现过程 请参见文档：API取数-钉钉获取部门用户信息      

FineDataLink 产品月报汇集了每月的产品更新、客户案例以及文档活动，通过产品月报，您可以快速学习本月的新知识、新内容！ 1、产品新功能 支持设置业务日志-诊断日志的级别 业务日志-诊断日志介绍： 记录各业务模块使用过程中产生的过程日志。 对于FDL，包括： 数据管道：读写过程日志\异常和错误日志。 定时任务：读写过程日志\异常和错误日志。 1）可为管道任务单独设置日志输出级别，满足用户按需查看日志、调试和排错的需求；可以在更细粒度的日志等级里，打印详细的日志，供用户查看。如下图所示： Ø 详情请参见：配置管道任务-管道控制 2）可为定时任务单独设置日志输出级别，满足用户按需查看日志、调试和排错的需求；可以在更细粒度的日志等级里，打印详细的日志，供用户查看。如下图所示： Ø 详情请参见：定时任务调度配置 3）可统一为定时任务和管道任务设置日志输出级别。如下图所示： 4）日志输出内容优化： 增加：实例等待运行日志的打印。 增加：INFO级别，打印更加详细的日志，包括参数值、执行脚本、API请求、API分页取数。 优化：明确各条日志的等级，将日志级别打印到日志中。 读数类节点，统一增加删除数据的统计。 Ø 详情请参见：运行日志介绍 支持手动/自动清理任务运行记录 任务的运行记录在持续累加，大量的运行记录，导致任务运维界面打开时卡顿严重，并且一些无价值的数据干扰用户分析，期望支持清理。 操作日志和业务日志支持手动/自动统一清理。如下图所示： 本版本可清理管道任务的运行记录、数据服务的调用记录。Ø 详情请参见：日志简介 过滤/条件分支里的判断逻辑统一和优化 优化前： 1）各个功能内的判断逻辑不一致，且与 FineBI 里的过滤判断逻辑也不一致，包括： 「数据过滤」-添加条件 &「数据分发」-分发条件。 「条件分支」-添加条件 &「循环容器」-执行条件-配置条件。 「简道云输入」-筛选条件。 「MongoDB输入」-条件查询-配置条件。 2）存在一些逻辑偏离大众理解。 优化后： 1）统一产品内判断逻辑。 2）修正不合理的逻辑。 详情请参见：条件判断逻辑说明 定时任务API对接取数优化 优化前： API 输出不支持 PATCH 方法。 postman 不可以添加自签名证书。 不支持设置调用 API 的时间间隔。 当一次循环执行抛错，整个循环都会停掉，但用户希望能够继续执行。 优化后： 1）完善 API 调用的能力，比如： 自签名证书 解析 header 信息 自定义编码等 2）优化循环调用场景下的问题，比如： 大数据量循环调用 访问 API 频率控制 分页读取 API 具体优化内容： 1）若用户有自签名证书，可开启自签名证书。并手动上传证书并输入密码。如下图所示： Ø 详情请参见：数据同步-API、API输入、API输出逻辑说明 2）当用户设置当前API调用的频率限制时，可在一次执行实例中控制该API的调用频率。如下图所示： 3）API 输出支持 patch 请求方式。Ø 详情请参见：API输出逻辑说明 4）当数据源为 API 时，支持获取 API 响应的 header、body、http 状态码，便于后续将其设置为参数。如下图所示： Ø 详情请参见：参数赋值节点 5）循环容器支持设置容错机制；当循环容器中有节点报错时（例如API循环取数时取出数据为空），支持继续执行循环。如下图所示： Ø 详情请参见：循环容器逻辑说明 管道任务支持无主键表的同步 管道任务支持在源表无主键时，在目标表也不配置逻辑主键，实现实时同步。 1）Oracle、GP、SQLServer 数据源作为源表，支持无主键同步。如下图所示： Ø 详情请参见：配置管道任务-选择数据去向 2）支持对要同步的来源端数据进行管理，筛选无主键或者表配置异常的表。如下图所示： Ø 详情请参见：配置管道任务-表字段映射 更多功能 更多详情请参见：4.1.1更新日志 2、场景方案 2.1 电商经营场景 业务背景： 电商经营由于通常涉及多个自营店铺和其他各种分销店铺，销售渠道链路长、各类数据繁杂零碎，数据监控和取用相对困难，因此对数据的管理和整合就显得非常重要。 x电商公司在数据的整合和管理方面，主要遇到两个问题： 1）通过旺店通取数，然后在 Excel 中整合，各部门根据自己的口径进行取数和即时分析，数据口径不统一，出现大量重复工作。 2）由于采用 Excel 做了大量的数据分析，但由于电商数据庞杂，遇到了性能瓶颈限制。 3）电商全平台的分析过程中除了销售额、利润等常见指标，还有一些难以量化和对比的因素，Excel 分析存在瓶颈，无法将货盘趋势整合进来，不能敏锐捕获市场变化，导致对电商数据监控不足，为业务服务不够，数据价值得不到充分的发挥。 解决思路： 要解决上述问题，更好的管理电商经营数据，让数据充分发挥价值，就必须： 将处理好的庞杂的数仓数据统一存储数据库，并提供高性能、能够即时分析的 BI 平台进行数据分析和展示，解决各部门 Excel 分析带来的数据不统一、分析无法溯源、数据无法共享、重复工作多等问题；避免大数据量 Excel  造成的性能问题。 根据数仓数据制作全平台销售库存货盘分析，监控全平台整体销售等情况，敏锐监控市场变化。 因此采取以下方案： 1）优化获取业务数据流程：利用 FineDataLink 数据集成工具，对接旺店通等电商经营数据平台并入库，结合填报的数据，建立数据仓库，助力形成数据分析架构线上化，实现数据口径的统一。 2）搭建数据仓库框架：使用FDL搭建数仓，将各业务系统数据统一梳理到数仓，整合维度表，并建设好DW、DM层的逻辑框架； 3）提供统一的分析平台：提供统一的 BI 分析平台，将数仓处理好的统一口径的数据对外提供，便于业务进行即时分析，避免使用 Excel 带来的性能问题和重复工作，同时可实现数据共享。 解决方案： 文档：电商经营场景 Demo：参见：案例体验 财务收入核算场景 业务背景： 财务是企业发展的关键命脉，企业只有盘算清楚家底，才能打牢经济发展基础。财务数据表现是衡量一个企业发展是否良好的关键指标。 通过有效利用财务数据能够帮助企业了解、控制费用、降低消耗，为企业目标的实现提供根本保证。 财务分析的第一步就是盘点企业的收入。 x原料销售公司财务部门虽然建立了以财务数据为核心的指标导向、以 Excel 为核心建立了一系列报表，完成了简单的数据利用，但由于： 正在使用的数仓搭建工具运维监控管理太差、经常出现财务收入规整数据出错、数仓不稳定的情况，数仓维护困难； 由于收入单据编制工作量大，数据更新不及时，且利用 Excel 进行透视分析，不但步骤繁杂、加载缓慢，耗时耗力； Excel 、EAS 系统的数据无法溯源，不方便追踪分析问题； 缺乏智能化数据分析平台，数据无法共享。 等等问题，财务收入清算和梳理非常困难，为业务服务不够，数据价值得不到充分的发挥。 解决思路： 要解决上述问题，让财务收入数据充分发挥价值，就必须解决以下问题： 替换原先的数据仓库搭建工具，保证任务运维的稳定性并降低维护成本； 将处理好的数仓数据统一存储数据库，并提供统一的报表分析平台，避免各部门 Excel 分析带来的数据不统一、分析无法溯源、数据无法共享等问题。 因此采取以下方案： 1）通过统一调度运维工具 FineDataLink 搭建数仓，提升任务稳定性，同时便于统一数据来源，实现数据统一和定时更新。 2）使用统一的 FineReport 平台进行报表处理、展现、数据分析，同时「收入调账」的填报数据也通过该平台统一实现，便于快速溯源数据来源，实现分析数据人人共享。 解决方案： 文档：财务收入核算场景 Demo：参见：案例体验                

本周上新六个新方案，快来查看吧!!！ 1、高频指标借助参数实现轻量化修改 1.1 应用场景 用户需要对活跃客户的占比进行分析，但由于不断变化的业务需求，活跃客户的定义会不定期修改。 例如，上半年活跃客户被定义为在过去 3 个月内至少在商城下单 2 次的连锁客户，而下半年的定义则是在过去 6 个月内至少下单 3 次的客户。这种指标变化需要 IT 团队重新评估相关数据的计算逻辑，可能会带来繁重的工作量。 1.2 实现思路 将业务指标中的数值参数化，例如本文 1.1 节场景中的活跃客户指标：近 X 个月，下单次数，可作为参数进行自定义修改。 1.3 实现过程 请参见文档：高频指标借助参数实现轻量化修改 2、新增/修改宜搭表单数据 2.1 应用场景 用户希望根据业务数据库中的数据，更新、新增宜搭表单的数据。 2.2 实现思路 调用 新增或更新表单实例 接口，来更新、新增宜搭表单的数据。 注：「第三方个人应用」不支持调用上述接口。 2.3 实现过程 请参见文档：新增/修改宜搭表单数据 3、循环多次读取Windows环境文件同步数据 3.1 应用场景 用户 Windows 系统中有多个相同格式的 Excel 文件，需要读取所有文件数据并进行 行转列 操作。 由于 文件输入 算子批量读取文件时，是将所有文件数据上下合并，合并后的数据会存在重复值，行转列时会报错（行转列算子中，要求「待行转列」的字段名称不能重复）。 3.2 实现思路 每次读取一个 Excel 文件，并对读取后的数据进行处理，循环执行该过程，避免一次性读取所有文件，导致出现数据重复无法进行行转列操作问题。 注：本文方案适用于 4.0.29 及之后版本。 3.3 实现过程 请参见文档：循环多次读取Windows环境文件同步数据 4、【Linux环境】PostgreSQL环境准备 4.1 应用场景 FDL 工程部署在 Linux 环境中，通过数据管道实时同步 PostgreSQL 数据前，需要参考本文在数据源中进行一些配置，为后续的数据同步做好准备。 4.2 实现过程 请参见文档：【Linux环境】PostgreSQL环境准备 5、BI仪表板展示管道任务信息 5.1 应用场景 用户想了解某个管道任务是谁编辑的、编辑时间、断点相关信息等，FDL 工程内的 管道任务运维 无法满足需求。 5.2 实现思路 用户可根据实际需求，使用 FineDB 数据库中的数据管道表 ，筛选出需要的字段，最后将多张表进行关联即可。 5.3 实现过程 请参见文档：BI仪表板展示管道任务信息 6、批量修改定时任务中的数据连接名 6.1 应用场景 FDL 中原先采用的数据连接名为demo1，已在大量定时任务中使用。为了规范数据连接命名，需将此数据连接名更改为fdl_demo，目前需要逐个打开定时任务并手动重新选择新命名的数据连接，操作过程比较麻烦。 鉴于定时任务数量较多，手动选择过于繁琐，本文提供一种批量替换的解决方案。 6.2 实现思路 定时任务中的数据连接名保存在 dp 文件内，来源是fromConnectionName，去向是toConnectionName。如下图所示： 6.3 实现过程 请参见文档：批量修改定时任务中的数据连接名        

FineDataLink 产品月报汇集了每月的产品更新、客户案例以及文档活动，通过产品月报，您可以快速学习本月的新知识、新内容！ 1、产品新功能 定时任务支持设置调度依赖和优先级 1）支持为定时任务设置事件调度。 例如：数仓构建过程中 ODS 层有 a、b、c 任务互不影响、DW 层有 d 、f 任务，需要 a、b 任务执行完触发 d 任务，来减少 DW 层对 ODS 层完全更新完等待的时间；若 a、b 执行失败则不触发，来避免数据准确性的问题。 Ø 详情请参见：定时任务调度配置 2.2 节内容。 2）支持设置定时任务的执行优先级。当线程数不足时，优先执行队列中级别高的流，相同优先级的任务按照先进先出的顺序执行。 Ø 详情请参见：定时任务调度配置 第五章内容。 定时任务支持设置全局参数 当多个定时任务需要使用相同的参数时，如果参数需要修改，每个定时任务都需要进行修改，实现过程比较麻烦。支持设置全局参数，该参数可在多个定时任务中使用。如下图所示： Ø 详情请参见：全局参数 管道任务支持仅增量同步 数据管道任务初次运行时，采取全量+增量同步策略： 全量阶段：查询任务运行时刻数据来源表的所有数据，输出至数据目标表。 增量阶段：全量同步完成后，通过监听数据管道来源端的数据库日志变化，获取数据来源表的增量数据，将增量数据变化同步至数据目标表。 当以下场景中，用户希望进增量同步： 用户源库删除留存数据后，目标库仍保留完整数据。 希望仅增量同步源表中近期有效数据。 历史数据量很大的用户，为满足数据导入时间窗和导入成功率，历史数据往往要通过特定的高速装载方式或者分多次多批导入。 新版本的管道任务支持从指定的起点开始，持续同步新增的变化数据（增删改）。如下图所示： Ø 详情请参见：配置管道任务 3.3 节内容。 定时任务内置参数优化并提供参数管理功能 1）新增两个内置参数： ${workname}：取当前任务名称。 ${workname.jobname.opresult}：获取其他任务节点最近一次运行结果。 Ø 详情请参见：内置参数 2）「参数列表」界面中，可查看该任务可用的参数。 Ø 详情请参见：自定义参数 3）任务内配置参数支持下拉选择。 参数赋值体验优化 支持批量生成/修改/删除参数；自动填充参数默认值。Ø 详情请参见：参数赋值 数据源分类优化和支持按量售卖 1）新增「容量」、「用户」、「节点」三个维度的注册限制。 当前的注册产品注册维度分为：「容量」、「时间」、「用户」、「功能点」、「节点」五个，控制维度最终结果取交集，用户可选择适合自己的注册维度。 Ø 详情请参见：注册简介 2）FineDataLink license可以单独控制数据开发、数据服务、数据管道三个模块的到期时间。 3）新增数据开发用户类型，便于从用户维度进行 FineDataLink 的注册管理。 Ø 详情请参见：用户管理 第五章 4）对于注册功能点，也进行了梳理和优化。 Ø 详情请参见：FineDataLink支持的数据源 5）优化数据源类型的注册功能点。 Ø 详情请参见：注册简介 第六章 更多功能 1）支持单个任务跨环境导入导出，包括：定时任务、管道任务、API任务。 2）处理好的数据支持输出为 Excel 形式。 3）支持可视化展示定时任务的调用关系/依赖关系。 4）数据管道和数据服务适配集群。 5）数据转换支持上下合并算子。 更多详情请参见：4.0.30更新日志、4.1.0更新日志 2、文档上新 高频指标借助参数实现轻量化修改 应用场景： 用户需要对活跃客户的占比进行分析，但由于不断变化的业务需求，活跃客户的定义会不定期修改。 例如，上半年活跃客户被定义为在过去 3 个月内至少在商城下单 2 次的连锁客户，而下半年的定义则是在过去 6 个月内至少下单 3 次的客户。这种指标变化需要 IT 团队重新评估相关数据的计算逻辑，可能会带来繁重的工作量。 参考文档： Ø 详情请参见：高频指标借助参数实现轻量化修改 将包含两个子表单的简道云表单数据落库 应用场景： 简道云表单中包含两个子表单，其中一个子表单中包含成员单选、部门单选控件。如下图所示： 已有数据如下图所示，现希望将该表单的数据落库。 参考文档： Ø 详情请参见：将包含两个子表单的简道云表单数据落库 API取数-计算总页数并按页取数 应用场景： 某企业现在需要将某业务数据全部取出以供业务分析使用。 由于数据量比较大，不可能一次性取全量数据，因此需要使用参数。 接口文档中 pageNum 表示数据页数；pageSize 表示在每一页的数据条数。 和API取数-按页数取数 不同的是，接口返回值中没有总页数 total_pages，需要手动计算。 参考文档： Ø 详情请参见：API取数-计算总页数并按页取数 零售业务场景方案 业务背景 超市等零售行业对卖场效率等要求越来越高，因此提升客户体验，同时如何快速扩充门店、智能化经营也是当前的主要目标。 零售企业的数据量普遍较大，高速增长的数据量和高时效性要求，需要强大的业务系统和工具支撑业务运作，来提升业务人员统计分析、查询等的工作效率。 受限于工具，x零售企业整体数据应用效率和应用水平不高，为业务服务不够，数据价值得不到充分的发挥。 数据层面： 1）数据孤岛，公司NEC平台等多个业务系统，数据未全部打通，无法关联进行全量报表展示 2）数据质量低，业务人员前端填报未做校验，表中存在作废数据，不合法数据，空值等，无法进行准确的数据统计 3）开源ETL工具无法满足高安全性，运维成本低，数据实时同步的需求，存在以下问题： 安全性问题：在需要手动执行抽数时，会需要进入服务器去更改执行文件，在未知的网络环境下，会给服务器带来风险； 运维成本高：缺少运维管理，无法快速定位出日志，带来极高的运维成本 高实时性要求：对于抽取频率较高的数据表，或需要实时同步的数据，开源ETL无法实现，对于后期业务需求，无法支撑数据时效性 应用层面： 数据不可用：NEC系统性能不好，通过基础数据通过SQL查询生成的报表，经常因为查询量大导致平台崩溃，降低了业务人员对报表的使用频率。 移动端无法查看：NEC平台无法与企微集成，需下载软件但对收集性能有较高要求，外出人员不能做到及时点击及时查询。 解决方案 文档：零售便利店场景应用方案、零售便利店新品监控 Demo：参见：案例体验          

FineDataLink 产品月报汇集了每月的产品更新、客户案例以及文档活动，通过产品月报，您可以快速学习本月的新知识、新内容！ 1、产品新功能 定时任务支持脏数据配置 用户可设置「脏数据阈值」，使任务具备一定容错性。当任务运行时遇到脏数据，达到「脏数据阈值」前将继续执行定时任务，达到「脏数据阈值」后再报错。 Ø详情请参见：定时任务调度配置 定时任务中可调用 Bat 脚本 支持通过 SSH 连接，调用远程 Windows 环境中的 Bat 脚本文件 Ø详情请参见：Bat脚本 数据发布API支持摘要认证方式 数据发布 API 支持摘要签名认证方式，避免认证信息和请求信息在传输过程中被截获和篡改，提升认证安全性 Ø详情请参见：摘要签名认证方式 更多功能 1）管道任务中 PostgreSQL 作为来源端时，支持设置同步源表结构变化。 2）「数据转换」节点中新增「Python 算子」，可调用 Python 脚本进行复杂数据处理。 3）支持将 BI SQL 数据集中的参数作为 API 请求参数；BI SQL 数据集参数支持在定时任务中使用。 更多详情请参见：4.0.29更新日志 2、最佳实践 使用高德接口获取城市天气数据 应用场景： FR 日报表中需要填写对应城市的天气信息，包括日期、天气、最高温度、最低温度等，目前只能通过城市名人工查询后获得这些信息。 FineDataLink 可简化上述操作流程：根据数据库表存储的城市数据，调用高德 API 接口，获取对应天气数据并存储到数据库，FR 报表直接取数即可。 参考文档： Ø 详情请参见：使用高德接口获取城市天气数据 FR模板调用定时任务接口 应用场景： 本文介绍 FR 模板调用定时任务接口的示例。 参考文档： Ø 详情请参见：FR模板调用定时任务接口示例 活动日程信息更新至企业微信日程 应用场景： 用户有些日程信息是通过 FR 填报到数据库或者保存到简道云中，原始信息可能会被其他部门进行增删改操作，因此用户希望将日程数据在企业微信中记录，方便在活动开始前对相关的同学做到自动提醒。 参考文档： Ø 详情请参见：活动日程信息更新至企业微信日程 更多方案请参见：最佳实践合集      

本周新增四个方案： 活动日程信息更新至企业微信日程 仅在工作日执行定时任务 订单补录数据按日汇总增量更新方案 解析并关联多个JSON数组字段 1、活动日程信息更新至企业微信日程 1.1 应用场景 用户有些日程信息是通过 FR 填报到数据库或者保存到简道云中，原始信息可能会被其他部门进行增删改操作，因此用户希望将日程数据在企业微信中记录，方便在活动开始前对相关的同学做到自动提醒。 1.2 实现思路 准备工作： 1）将简道云或线下收集的日程信息，保存到数据库中，为后续更新到企业微信日程做准备。 2）应用在调用日程接口前，需要先获得日程的使用权限，本文示例是通过「自建应用」调用日程接口。 3）通过 创建日历接口 创建一个全新的日历，且记下该日程的 cal_id 参数，在调用日程相关接口时会用到该参数。 FineDataLink 定时任务实现思路： 1）调用 日程 相关接口时，需要用到 access_token 参数，因此通过 调用 access_token 接口，获取 access_token 值。 2）将保存到数据库中的日程信息整合到一张表中，作为来源表；通过 获取日历下的日程列表 接口，获取日程详细信息，作为目标表；比对来源表和目标表的数据： 新增日程数据：输出某些字段作为参数，这些参数可拼接为 创建日程 接口的 body 数据。 修改日程数据：输出到 changed 表。 删除日程数据：输出到 deleted 表。 3）拼接 创建日程 接口的 body 信息，输出为参数，调用 创建日程 接口，新增日程信息。 4）通过 deleted 表中的日程名称字段，从 获取日历下的日程列表 接口信息中过滤出要删除的日程信息，将 schedule_id 字段输出为参数，调用 删除日程参与者 接口，删除日程。 5）将 changed 表中的日程名称字段输出为参数，从 获取日历下的日程列表 接口信息中过滤出要修改的日程信息，再与 changed 表数据进行关联，生成 更新日程 接口的 Body 数据，并作为参数输出；调用 更新日程 接口，修改日程。 1.3 实现过程 请参见文档：活动日程信息更新至企业微信日程 2、仅在工作日执行定时任务 2.1 应用场景 用户希望定时任务仅在工作日运行。 2.2 实现思路 调用判断当天是否为工作日的接口，若当天是工作日，进行常规后续节点运行；若当天不是工作日，可运行「虚拟节点」。如下图所示： 2.3 实现过程 请参见文档：仅在工作日执行定时任务 3、订单补录数据按日汇总增量更新方案 3.1 应用场景 用户业务系统订单表包含：订单ID、订单金额、订单交易日期、订单创建日期。正常情况下「订单交易日期」和「订单创建日期」在同一天，但可能会存在业务人员补录订单的情况，比如原本 9.1号交易的数据，在 9.10 号才补录进系统，此时订单创建日期为 9.10 号，订单交易日期为 9.1 号。 在搭建数仓的时候，ODS 层数据按照订单创建日期做增量更新，可正常进行更新； DM 层数据按照「交易日期」按日汇总每日的订单金额，并设置每次调度增量更新订单交易日期前五天的数据，但是由于补录数据不确定补录时间，例如 9.21 日更新前 5 天的数据，但9.21日补录了「订单交易日期」为 9.1、9.2 日的数据，此时先删后更新的增量更新方案无法对补录的数据进行增量同步。 注：标黄为 9.21 补录的历史交易数据。 3.2 解决思路 首先对于没有补录的对应「订单交易日期」数据增量更新近 5 天的数据。 筛选出「订单创建日期」>「订单交易日期」的订单，取出其中的交易日期，代表此交易日期补录了数据，需要重新计算按日汇总订单金额。 3.3 实现过程 请参见文档：订单补录数据按日汇总增量更新方案 4、解析并关联多个JSON数组字段 4.1 应用场景 用户的 JSON 数据中包含多个数组字段，如下图所示： 希望解析数组字段，且解析后的字段一一对应。如下图所示： 4.2 实现思路 「JSON 解析」算子中，选择要解析的 JSON 字段后，修改 JSON 路径。 4.3 实现过程 请参见文档：解析并关联多个JSON数组字段      

本周更新： 1）新增方案：FR模板调用定时任务接口示例 2）整理一些新手问题 1、FR模板调用定时任务接口 1.1 应用场景 本文介绍 FR 模板调用定时任务接口的示例。 1.2 实现过程 请参见文档：FR模板调用定时任务接口示例 1.3 功能扩展 查看以下两篇文档，了解更多调用接口相关知识，可在简道云和外部系统中调用定时任务相关接口。 定时任务相关接口介绍 调用定时任务相关接口说明 2、新手FAQ 分类 文档 收集 FineDataLink 部署升级、产品模块的常见问题 工程部署FAQ 收集数据开发模块的常见问题 数据开发FAQ 收集数据管道模块的常见问题 数据管道FAQ 收集管理系统的常见问题 管理系统FAQ        

本周上新两个新方案，快来查看吧!!！ 1、API取数-钉钉获取部门通讯录数据 1.1 应用场景 用户想要同步钉钉通信录中的部门信息和用户信息。 1.2 接口说明 接口文档详情参见：获取部门列表、获取企业内部应用的access_token、获取部门用户详情 1.3 实现思路 由于接口只能获取当前部门的下一级部门基础信息，不支持获取当前部门下所有层级子部门。因此需要依次根据父部门ID循环获取子部门ID，然后遍历循环部门ID，获取用户信息。 新建部门ID 数据表，赋值最上层部门ID为 1，开始循环 获取部门access_token 根据父部门 ID 循环取出所有部门ID 设置停止循环条件，得到部门ID信息表 通过接口和部门ID数据，获取部门用户详情 将部门ID信息表和部门用户详情数据表根据 dept_id 合并。 1.4 实现过程 请参见文档：API取数-钉钉获取部门通讯录数据 2、使用高德接口获取城市天气数据 1.1 应用场景 FR 日报表中需要填写对应城市的天气信息，包括日期、天气、最高温度、最低温度等，目前只能通过城市名人工查询后获得这些信息。 FineDataLink 可简化上述操作流程：根据数据库表存储的城市数据，调用高德 API 接口，获取对应天气数据并存储到数据库，FR 报表直接取数即可。 1.2 实现思路 使用 地理/逆地理编码接口 接口，根据城市名获得对应的城市编码。 使用 天气查询 接口，根据城市编码获取对应城市天气数据。 1.3 实现过程 请参见文档：使用高德接口获取城市天气数据  

本周上新三个新方案，快来查看吧!!！ 目前「循环容器」节点不支持嵌套循环，文档提供了替代方案，可具体参见本帖第三个方案。 1、使用数据服务对数据分权限管控 1.1 应用场景 某公司旗下各个地区有多个分公司和分店，且使用的同一套业务系统。 业务数据会全部汇总到总部的数据库内，分店只能在业务系统上看到特定的分析和数据，无法实现自定义分析。 总部希望对数据进行分权限管控：总部按照地区提供数据，一个地区分店和分公司只能看到自己地区的数据，不允许看到其他地区的数据，各地区自行获取数据后在不同工具中进行数据分析和使用。 1.2 实现思路 总部使用 FineDataLink 的数据服务功能，将各个地区的业务数据通过设置 API 接口不同的请求参数，分发给各自区域； 各地区公司使用 FineDataLink 数据开发功能，将 API 接口数据处理落库； 各地区根据获取的数据自行在不同工具中进行数据分析和使用。 1.3 实现过程 请参见文档：使用数据服务对数据分权限管控 2、将经纬度数据转换为中文地址 2.1 应用场景 用户数据库存储了经纬度数据，希望转换成对应的中文地址（国家、省份、城市、区县、街道等），最后将转换后的数据保存到数据库中。 2.2 实现思路 可以调用高德或百度地址转换的 API 接口实现。 2.3 实现过程 请参见文档：将经纬度数据转换为中文地址 3、API取数-慧策接口获取库存全量数据（嵌套循环） 3.1 应用场景 某企业现在需要将某业务工单数据全部取出以供业务分析使用。 API取数-按页数取数 中可以使用页数和内置参数 loopTimes 进行取数。 但是如果遇到接口中需要使用业务参数，并且由于数据量大需要分页取出，由于每个业务参数都有不同的页码数，因此页码需要遍历，若条件循环中包含页码数参数，则无法将数据取出。 3.2 接口说明 接口文档详情参见：慧策-WMS库存全量查询接口 3.3 实现思路 从数据库或者接口中获取库存编码和仓库编码的所有编码值，并使用循环容器从 API 中取出所有的编码值对应的数据总条数 total； 使用公式计算每个编码值按照指定的page_size 得到的总页码数； 使用 SaprkSQL 获取所有编码值对应的页码列表page_no，方便后续作为遍历参数遍历进行 API 取数； 将page_size、page_no、两个编码字段作为请求参数，在 API 中进行取数，设置为遍历这些参数，取出所有的数据。 3.4 实现过程 请参见文档：API取数-慧策接口获取库存全量数据          

FineDataLink 产品月报汇集了每月的产品更新、客户案例以及文档活动，通过产品月报，您可以快速学习本月的新知识、新内容！ 1、产品新功能 数据服务可通过应用管理 API 基于多客户（客户的客户）、多部门、多分子公司客户的数据发布场景，FDL 可为每个客户、部门、分子公司建立应用，针对不同的应用，可进行独立的访问控制、认证管理与访问监控。 功能亮点： 一个应用可绑定多个 API ，一个 API 可被多个应用绑定。 可针对不同应用配置不同的认证方式。 可针对绑定关系实现限时授权、频率限制等功能。 Ø 详情请参见：配置发布环境 追加/更新/删除数据场景功能优化 目前用户要想实现数据的增删改操作，流程如下图所示： 流程较为繁琐，在用户没有目标表、已有标识字段等场景下，该流程增加使用成本。 4.0.28 版本优化数据的增删改实现方式，降低使用成本；使产品逻辑更加符合实际业务逻辑，主要做以下改动： Ø 详情请参见：数据同步节点、数据比对功能说明 数据同步节点新增「基于标识字段，追加/更新/删除数据」的写入方式，帮助用户灵活实现数据的增删改。 调整「写入方式」和「字段映射」的顺序，更加符合实际业务逻辑。 快速查看并处理脏数据 支持快速查看脏数据，快速定位单条脏数据产生原因并对脏数据进行灵活处理。 Ø 详情请参见：单个管道任务管理 功能亮点： 对脏数据进行分表和分类，可统一处理某张表同原因脏数据。 展示实时数据与近期统计数据，使用图表提升数据趋势可读性。 支持批量配置和管理调度 支持批量设置调度和结果通知。 Ø 详情请参见：定时任务运维 功能亮点： 通过任务和调度计划视角分别展示范围内的调度计划和运行记录。 操作简单，无需多次设置。 BI 公共数据支持落库和发布为 API BI 公共数据可被其他系统使用或输出到数据库。 Ø 详情请参见：独立部署下读取FineBI公共数据、使用FineBI公共数据发布API 支持调用 Python 脚本 定时任务支持调用 Python 脚本处理数据。 Ø 详情请参见：Python脚本 更多功能： 数据开发模块适配集群，满足高可用、高并发。 管道任务中，若已知表名，可通过粘贴表名快速选表。 卡片、文件夹形式展示管道任务，适配不同设备以及满足不同使用偏好。 强化消息通知节点并新增飞书渠道。 数据发布 API 支持 GET 请求方式和更多 Body 格式。 管道任务与定时任务的结果通知，功能优化并新增钉钉/企微/飞书通知渠道。   更多详情请参见：4.0.28更新日志、4.0.27更新日志 2、最佳实践 提取简道云表单多值字段并显示为一行 应用场景： 公司人员信息保存在简道云表单中，在公司内部，有些人可能会同时担任多个职位，如王小明既是总经理又在财务部工作。在王小明出差时，为了方便报销，需要将他所在的多个部门展示出来，方便后续各部门的报销费用分摊。 参考文档： Ø 详情请参见：提取简道云表单多值字段并显示为一行 API取数-获取当月企微月报打卡数据 应用场景： 公司内部使用企业微信，行政部门想要统计每月员工的打卡数据，将这些数据取出至指定数据库使用。 参考文档： Ø 详情请参见：API取数-获取当月企微月报打卡数据 FR模板展示定时任务信息 应用场景： 公司中有许多成员使用 FineDataLink 开发定时任务，若成员 A 修改了定时任务 1 没有通知成员 B，成员 B 运行定时任务 1 的时候运行报错或数据不对，B 不知道是谁做的修改以及修改原因。成员 B 若是对定时任务 1 再做修改，不知道会对成员 A 造成什么影响。 因此，希望使用看板展示所有定时任务的运行信息，可通过搜索对应的任务名称，查看该任务编辑人员、最近编辑时间。 参考文档： Ø 详情请参见：FR模板展示FDL定时任务信息 更多方案请参见：最佳实践合集      

本周上新三个新方案，快来查看吧!!！ 1、自动清理FineDataLink运行记录 1.1 应用场景 随着 FineDataLink 工程使用时间的增长，fine_dp_work_exec_record（记录定时任务的执行情况）表中的数据会不断积累，导致数据量逐渐增多。当数据量过大时，打开「任务运维>定时任务>运行记录」页面可能会变得缓慢，需要耗时 10 秒以上。 希望能定期清理 fine_dp_work_exec_record 表数据。 1.2 实现思路 使用 FineDataLink 定期清理 30 天前的定时任务的运行记录数据。 1.3 实现过程 请参见文档：自动清理FineDataLink运行记录 2、API取数-金蝶云星空销售报价单 2.1 应用场景 公司内部使用金蝶云星空进行供应链管理。 希望将 销售报价单的单据查询接口 中的数据取出，以便进行数据分析。 2.2 接口说明 接口文档详情参见：销售报价单的单据查询接口 2.3 实现思路 FilterString 参数中使用日期区间作为参数，获取一段时间（开始时间和结束时间）作为日期参数，取出该段时间内的数据，后续通过定时调度任务进行追加。 如何取出该时间段数据：先清空日期区间内的数据，然后通过循环容器循环次数来确定每次取数的开始行数，直到结果数据行数无法整除每次区数量，再跳出循环。 2.4 实现过程 请参见文档：API取数-金蝶云星空销售报价单 3、API取数-易流云MD5加密 3.1 应用场景 公司内部使用易流云进行车辆管理。希望从接口获取用户车辆最新位置信息。 3.2 接口说明 接口描述：获取用户车辆的最新位置信息 使用场景：其他系统需要免登易流云平台时，可使用此接口实现。免登的凭证有时效性，时效为获取凭证时传入的timestamp之后的10分钟内有效。所以最好在点击跳转易流云链接时实时获取凭证信息使用，以保证可以正常跳转。 更多说明点击 3.4 节文档链接，访问文档查看详情 3.3 实现思路 3.4 实现过程 请参见文档：API取数-易流云MD5加密        

本周上新三个新方案，快来查看吧!!！ 1、FR模板展示定时任务信息 1.1 应用场景 公司中有许多成员使用 FineDataLink 开发定时任务，若成员 A 修改了定时任务 1 没有通知成员 B，成员 B 运行定时任务 1 的时候运行报错或数据不对，B 不知道是谁做的修改以及修改原因。成员 B 若是对定时任务 1 再做修改，不知道会对成员 A 造成什么影响。 因此，希望使用看板展示所有定时任务的运行信息，可通过搜索对应的任务名称，查看该任务编辑人员、最近编辑时间。 1.2 实现思路 对 FineDB 数据库的 fine_dp_conf_entity_x、fine_dp_operate_history 表进行数据处理。 取出 fine_dp_conf_entity_x 表中的定时任务文件相关配置数据（ namespace 字段为 DPFileEntityStore），解析 entity_value 字段得到 createTime（定时任务创建时间）字段。其中 createTime 为时间戳格式，为方便查看需转化为日期格式。 取出 fine_dp_conf_entity_x 表中的定时任务定时调度配置数据（ namespace 字段为 DPAttributeStore），解析 entity_value 字段得到 scheduleOpen（是否开启调度）字段。 取出 fine_dp_operate_history 表中编辑定时任务的数据（operate_type 字段为 EDIT），得到 operate_user（编辑人员）、task_name（任务名称）、task_path（任务路径）、operate_time（任务保存或修改时间）字段。其中 operate_time 为时间戳格式，为方便查看需转化为日期格式。 将上面三张表数据关联，筛选出有效数据后，进行输出。 使用最终输出的表数据制作 FineReport 模板。 1.3 任务展示 FineDataLink 中的数据处理过程，详情参见：https://demo.finedatalink.com/ 「场景案例>最新场景>FR模板展示定时任务信息」。 使用 FDL 输出的数据，制作的FineReport 模板如下图所示： 1.4 实现过程 请参见文档：FR模板展示定时任务信息 2、API 取数-获取当月企微月报打卡数据 2.1 应用场景 公司内部使用企业微信，行政部门想要统计每月员工的打卡数据，将这些数据取出至指定数据库使用。 2.2 接口信息 首先将「通讯录同步」的企业微信人员 userid 和 department 信息从接口中取出，使用 获取成员ID列表 接口直接获取用户的 userid 和 department 数据。 然后调用 获取打卡月报数据 接口，获取指定员工指定时间段内的打卡月报统计数据。 2.3 实现思路 2.4 实现过程 请参见文档：API取数-获取当月企微月报打卡数据 3、解析 XML 文件数据 3.1 应用场景 用户希望将离线 XML 文件内的数据解析成二维表并落库。 3.2 实现思路 将 XML 文件放置在 FTP 环境或者 FineDataLink 工程的 webroot 下； 然后使用 API输入功能，访问 XML 文件，并使用 XML解析算子将数据解析数据并落库。 3.3 实现过程 请参见文档：解析XML文件数据

本周上新两个新方案，快来查看吧!!! 1、数据比对后更新目标表时间列 1.1 应用场景 用户希望来源表的增删改同步到目标表的同时，目标表的 update 字段能记录数据变化时间。 例如：来源表中删除了「甘蔗」和「冻梨」的数据，增加了「葡萄」的数据，更新了「菠萝」的数据。希望将最新数据同步到目标表表中，且数据变化的时间更新到目标表的 update 字段。 1.2 实现思路 1）将来源表的增删改同步到目标表。 使用「数据比对」算子。 2）目标表的 update 字段能记录数据变化时间。 「数据比对」算子中会自动生成 fdl_comparison_type 标记列，记录标识值。标记值被记录在 fdl_comparison_type 字段中，无法更新目标表中的 update 字段。 因此使用「新增计算列」算子，新增 update 字段，值为当次任务运行时间；使用「数据分发」算子，把标记 Added、Changed 的数据在「DB 表输出」算子中做插入更新；把标记 Removed 的数据在「DB 表输出」算子中做更新操作。如下图所示： 最后效果如下图所示： 注：本文方案，目标表中的删除数据，除逻辑主键、update、fdl_comparison_type 字段外，其他字段值为空（下图 ID 为1005、1006 的数据）。用户根据实际需求选择是否使用本文方案。 1.3 实现过程 请参见文档：数据比对后更新目标表时间列 2、提取简道云表单多值字段并显示为一行 2.1 应用场景 公司人员信息保存在简道云表单中，在公司内部，有些人可能会同时担任多个职位，如王小明既是总经理又在财务部工作。在王小明出差时，为了方便报销，需要将他所在的多个部门展示出来，方便后续各部门的报销费用分摊。 2.2 实现思路 若一个人担任多个职位，使用「简道云输入」算子读取表单数据后，字段值示例如下： 若使用「JSON 解析」算子直接解析该字段，一个人有多个部门时，数据将会被拆成多行，例如： 因此本文使用 regexp_replace 函数提取 department 字段中的中文即可，将部门名称提取出来。 注：若部门名称包含英文，本文方案不适用。 2.3 实现过程 请参见文档：提取简道云表单多值字段并显示为一行 3、专题文档更新 3.1 数据更新模块 根据用户的数据结构和更新需求，整理了不同场景下 FineDataLink 推荐的更新方案，方便用户更好地进行数据处理和维护。 参见文档：数据更新专题概述 3.2 数据清洗模块 说明 文档 在搭建数据仓库时，可能需要对重复的脏数据进行去重 数据去重 在进行数据处理时，经常需要对数据进行排序，介绍如何使用 Spark SQL 进行排序 数据排序 进行数据处理时，经常需要将数据表进行连接，本文介绍在 FineDataLink 中的多种连接方式 表连接与联合 数仓需要接收来自不同源的大量数据，数据之间可能存在格式、口径、数值上的差异。 因此不可避免会出现缺失数据，本文介绍如何对缺失值进行处 缺失值处理 用户有时需清洗掉数据中的一些不需要的字符。 例如，括号型(负数)，特殊货币符号(¥)，千分位(数值型自带千分位)等 字符串清洗 用户需要需要根据某些条件对数据进行分类赋值处理，形成新增列 新增列_条件赋值 新增列_条件赋值 支持根据指定条件进行赋值，形成新的数据列。 如果用户只想对已有数据进行分组赋值，不需要设置判断条件，可以直接使用内置公式 SWITCH-分组赋值 新增列_分组赋值 在进行数据处理时，数据的截取、合并必不可少。 数据中有字段结构为用某些分隔符连接起来的字符串，使用时需要拆分开只提取固定位置的字符串，或者整体拆分为多列。FineDataLink 支持使用「新增计算列」对数据进行截取拆分和拼接   字符串拼接和截取        

FineDataLink 致力于为企业、为数据开发者、为数据分析师、为数据资产管理者，结合数据库、上层通用协议、文件、消息队列、平台系统、应用等各类数据源，打造一个具备开放的、一站式、标准化、可视化、高性能和可持续交付的数据调度与治理平台。 FineDataLink 赋予用户仅通过单一平台，即可实现实时数据传输、数据调度、数据治理等各类复杂组合场景的能力。 感兴趣的同学可按照本贴内容系统性学习 FineDataLink，少走弯路。 1、环境准备 方式一：可在 对外 Demo 中，按照本文学习路径学习和实践。 方式二：点击链接申请试用工具：FineDataLink试用申请，填写申请后，工作人员在三个工作日内会联系您。 ​2、学习路径 喜欢看视频学习的用户可通过 视频​ 系统学习。 基础入门：2-3天 1、零基础入门教程 （1）FineDataLink 产品了解：FineDataLink产品简介 （2）FineDataLink 部署与启动：企业中已经部署好的用户，可忽略此步骤，FineDataLink部署概述 （3）了解 FineDataLink 每个功能面板：FineDataLink界面介绍 （4）第一个定时任务示例：学习如何创建一个定时任务，第一个定时任务开发 （5）第一个管道任务：学习如何创建一个实时同步任务，数据管道概述       2、学习参考： 如果在学习过程中遇到问题，您可以： （1）查看帮助文档 （2）问答平台提问（合作客户可联系帆软技术支持） FDL 文档有文档反馈活动，参加可领F币哦!!!   如果对文档内容有问题： （1）直接在文档下评论，会有同学定期回复 （2）在文档中划词反馈：       3、习题检测 通过习题检测学习成果：快速入门习题 进阶学习：1-3月 数据开发模块： （1）数据开发模块简单介绍：可大概阅读了解数据开发模块，数据开发概述 （2）数据同步与数据转换的区别：什么时候用数据同步节点？什么时候用数据转换节点？数据同步与数据转换的区别 （3）数据同步节点学习：数据同步节点介绍与了解，数据同步概述 （4）数据开发节点学习：数据开发模块，各个节点的介绍与使用，数据转换概述 （5）其他节点学习：其他步骤流节点学习，步骤流节点学习 （6）设置任务定时执行：设置任务执行频率、任务失败进行通知等，定时任务调度配置 （7）任务运维：通过任务运维，了解整体任务的执行情况，定时任务运维       数据管道模块： （1）管道任务运维：管道任务运维       数据服务模块： （1）了解数据服务功能：数据服务概述 （2）配置数据服务：将数据通过 FineDataLink 发布为一个 API，具体步骤       习题检测： 通过习题检测学习成果：夯实基础习题 大神修炼：1-2月 了解 Spark SQL 语法 Spark SQL 语法学习 客户案例学习 函数 模块学习 产品&文档&Demo动态更新  

FineDataLink 产品月报汇集了每月的产品更新、最佳实践以及文档活动，通过产品月报，您可以快速学习本月的新知识、新内容！ 1、产品新功能 7月 FineDataLink 发布 4.0.24 版本和 4.0.26 版本。详情可参见：4.0.24更新日志、4.0.26更新日志 数据服务正式上线 数据服务提供数据共享能力，可以将加工、融合后的数据封装发布为规范化 API 接口数据，供外部系统调用，实现数据价值输出及共享开放。 Ø 详情请参见：数据服务概述 支持将数据输出为文件形式 数据同步节点中：数据去向中可选择 FTP/SFTP 和服务器本地目录，可将数据输出为文件形式。若数据不需要进行复杂处理加工，可在数据同步节点中实现。 数据转换节点中：「文件输出」算子可将处理后的数据输出到指定目标与路径的结构化文件中。 Ø 详情请参见：文件输出 文件输入优化 在使用文件输入读取和处理文件数据时，会出现如下问题：无法批量读取文件夹下的多个同格式文件；文件字段类型采样不准确时，无法校准输出字段类型；无法跳过CSV头部包含特定的文件信息读取后面的数据。无法读取 TXT 格式文件；无法忽略文件后缀名大小写。 优化后支持以下功能： Ø 详情请参见：文件输入 支持批量读取同格式的Excel和CSV文件。可以批量读取文件夹下同格式的所有文件，提升读取文件的效率。 支持 Excel 和 CSV 文件自定义输出字段类型。当文件字段类型取数不准确时，用户可以校准输出字段类型，提升文件取数质量。 支持CSV文件跳过前N行取数。当使用 SAP 应用定时导出的CSV头部包含特定的文件信息，需要跳过后读取后面的数据时，可以选择此设置项读取文件。 支持TXT文件读取，选择 CSV 类型支持 TXT 文件读取。 支持忽略后缀名大小写读取，不需要手动修改文件后缀即可自动识别读取，更加便捷。 定时任务支持失败重跑和超时限制 定时任务「调度配置」中，新增「超时限制」和「失败重试」功能。 失败重试：由于当时的网络波动或者其他原因，导致任务运行中断，过段时间重新运行任务即可成功执行。针对此场景，可在「失败重试」中设置重跑次数和两次重跑之间的间隔，任务在失败之后会进行自动重试。 超时限制：当一个任务长时间运行，该任务可能属于非正常状态，且会导致资源的占用。针对此场景，可在「超时限制」中配置任务的超时时间，运行时间超过设置的时间后正在执行的任务会被强制杀死。 Ø 详情请参见：定时任务调度配置 管道任务支持失败重跑 若管道任务由于当时的网络波动或者其他原因，运行中断，过段时间网络即可恢复正常，希望管道任务可自动重新运行。可在「失败重试」中设置重跑次数和间隔时间。 Ø 详情请参见：设置管道控制 定时任务和数据服务支持复制 适用场景： 任务流程相似度高，通过复制任务更改部分配置项即可使用。 管理员建立标准模板，普通开发人员复用标准模板。 为便于用户进行任务开发，支持复制定时任务和 API 任务。 Ø 详情请参见：数据开发界面介绍、服务运维 支持在 WebSphere 和 Weblogic 中部署 为满足用户多种部署方式，FineDataLink 支持在 Weblogic 和 WebSphere 容器中部署。 Ø 详情请参见：FineDataLink部署概述 定时任务支持 MaxCompute  数据源 定时任务支持读取 MaxCompute 数据。 Ø 详情请参见：配置MaxCompute数据源 支持 StarRocks 数据源 支持使用 StarRocks 数据库作为「数据开发」定时任务的读写端； 支持使用 StarRocks 数据库作为「数据管道」管道任务的写入端； Ø 详情请参见：配置StarRocks数据源 支持 TRANSWARP INCEPTOR 数据源 支持使用星环 TRANSWARP INCEPTOR 数据库作为「数据开发」定时任务的读写端； Ø 详情请参见：配置TRANSWARP INCEPTOR数据源 2、最佳实践 SparkSQL构建日期序列取数 在 API 取数中有时需要日期序列作为 body 值输入（例如 body 中使用 date 值按照日期依次取出当月1号到任务运行当天中每天的数据）此时就需要构建自定义开始时间为当月1号，结束时间为任务运行当天的日期序列。 用户当然可以使用 SQL 语句构建日期序列，但 SQL 语句受数据库语法限制各有不同，不够通用，因此提供使用 SparkSQL 算子构建日期序列的通用方式。 Ø 详情请参见：使用SparkSQL构建日期列并循环取数 API取数-企业微信通讯录同步快速取出微信成员信息 API取数-获取企业微信人员信息 可以将自建应用的企业微信人员信息数据从接口中取出。 但如果用户只是想要将「通讯录同步」的企业微信人员 userid 和 department 信息从接口中取出，则可以有更简便的方式。   可以使用 获取成员ID列表 接口直接获取用户的 userid 和 department 数据。 Ø 详情请参见：API取数-使用通讯录同步获取企业微信userid和部门 3、文档活动 所有活动奖励都以 F币形式发放（1F 币=1 元），F币可在 帆软商城 兑换周边京东卡，也可以直接提现哦，积少成多大家积极参与呀~ 文档满意度调研（3F币） 为了给您提供更便捷高效的帮助文档，我们诚邀您参与此次问卷调研，参与到帮助中心的建设中来 您的建议和意见将成为我们努力和改进的方向，问卷填写戳这里：FineDataLink文档内容调研 完成后可通过接取 社区任务 获得 3F币 奖励哦~ 文档反馈活动 截止到 2023 年 5 月 1 日，FineDataLink 文档已有 18 万+的阅读量和 9000+ 的用户覆盖，帮助许多用户学习和解决问题。然而，我们也认识到文档内容仍需要不断补充和优化，以便更好地满足用户的需求和期望。 我们希望收集大家的建议，共同为创建更加细致、完备、实用的文档下一番努力，让更多人更快更好地了解 FineDataLink 产品，更好地解决问题。 参与方式： FineDataLink场景收集-最高150F币 FineDataLink文档搜索反馈-最高10F币 FineDataLink文档问题反馈-最高150F币  

本贴可查看所有 FineDataLink 历史文档月刊哦，点击「下方图片」即可打开对应月刊啦~ 2024 3月 2月 1月 2023                 2022