请上传宽度大于 1200px,高度大于 164px 的封面图片
    调整图片尺寸与位置
    滚轮可以放大缩小图片尺寸,按住图片拖动可调整位置,多余的会自动被裁剪掉
取消
知识库(uid:567266)
职业资格认证:尚未取得认证
FineDataLink实战案例分享【2024-11-18周】
1、FDL最佳实践 1.1 使用偏移量从XML接口取数 1)应用场景 用户有一接口返回 XML 格式数据(数据量较多),希望从该接口中取出所有数据。 存在问题如下: 需要循环取数,但接口没有分页结束标识。 API输入-分页取数 功能目前不支持 xpath 路径。 2)实现思路 使用「循环容器」节点自带的 loopTimes 参数构建偏移量,从 API 取数,并将接口非空的字段进行参数输出。 「循环容器」节点设置执行方式为条件执行,执行条件为该参数值不为空,即可实现循环取数,直至参数值为空,说明数据以全部取完,循环结束。 3)参考文档 详情请参见:使用偏移量从XML接口取数 1.2 解析多层嵌套JSON并实现1:n关系 1)应用场景 用户的 JSON 数据结构是多层数组嵌套,如下图所示: 现需要解析上层数组元素和下层数组元素,实现 1:n 的关系。 例如:希望 titles 数组中的字段,能与 items 数组中(items 数组又包含 drivers 数组)的字段关联起来。如下图所示: titles 中的字段,与 items 中 drivers 包含的元素是 1:n 关系。 2)参考文档 详情请参见:解析多层嵌套JSON并实现1:n关系 1.3 SAP RFC:日期+偏移量双重循环取数 1)应用场景 SAP RFC 一次性取数过大时,驱动可能会崩溃,FDL 也可能会宕机。部分 RFC 函数提供了 ROWCOUNT、ROWSKIPS 和 date 参数,分别用于控制每次取多少行、从第几行开始取,以及按日期过滤数据。这些参数的逻辑与 API 获取数据时的偏移量类似。 然而,「SAP ERP输入」 并没有像「API 输入」算子那样提供高级设置来自动实现偏移量。 2)参考文档 详情请参见:SAP RFC:日期+偏移量双重循环取数 1.4 加密函数实现摘要签名认证方式 1)应用场景 Java代码实现摘要签名认证方式 文档使用 Java 代码实现摘要签名认证方式,但存在一定操作难度。 2)参考文档 将 Java代码实现摘要签名认证方式 文档中的 Java 代码函数化,FDL 中调用函数就能生成签名。 详情请参见:加密函数实现摘要签名认证方式 1.5 大数据量分区分页并发查询增量同步 1)应用场景 用户从吉客云读取一张 1300W 数据量的表存储到阿里云的 ApsaraDB for MySQL。 「数据转换」节点中处理数据时,由于数据量过大,数据读取的时间超过了数据库允许 SQL 执行的最大时间(最大时间为 30 分钟);面对如此大的数据量,单纯的增加数据库查询等待时间解决不了问题,并且单并发的数据同步也满足不了数据同步的时间要求。 2)参考文档 详情请参见:大数据量分区分页并发查询增量同步   2. 功能使用指导 2.1 FDL工程运维说明  部署好 FDL 后,我们还需配置项目,让平台完成自动运维。 对于关键项目要定期手动检查,平台出现异常项时,及时进行处理,保证工程的健康运行。 详情请参见:FDL工程运维说明 2.2 工程备份还原 迁移/升级前,手动对工程进行整体异机备份,便于迁移/升级失败后快速回退。 若服务器资源不足,webroot 文件夹过大,给出必要备份的文件说明。 详情请参见:工程备份还原      
FineDataLink实战案例分享【2024-09-19周】
1、FDL最佳实践 1.1 获取目录下符合条件的文件,按写入方式读取入库并记录状 1)应用场景 用户业务流程中下发的文件,有特定的文件生成则代表下发完成。比如:文件下发完成后,目录下会生成与文件同名的 .ok 文件(用来判断文件是否下发完成)、.del 文件(根据值的不同判断写入方式)、.sql 文件。 现需要将已经下发完成(生成 .ok 文件)的 csv 文件按照 .del 记录的方式进行读取入库,并且读取文件后,需要记录已经读取完成的文件,以便在任务异常重启时避免重复写入。 2)实现思路 1)将需要遍历的目录生成参数,「Shell 脚本」节点使用该参数获取指定目录下的 .ok、.sql、.del 文件,将文件名和文件路径输入到 output.csv 中,然后根据 output.csv 文件数据,拼接出待读取的 csv 文件路径,将数据保存到到数据库表中。 2)根据第一步输出的数据库表,将 .del 文件(需要根据该文件判断写入方式)路径、待读取 csv 文件路径输出为参数。 3)遍历第二步的参数,执行以下步骤: 判断文件是否已读取,若未读取,执行下面步骤。 读取 del 文件数据并输出为参数,根据参数值的不同,判断写入方式,根据不同的写入方式,将数据写入不同的表中。 记录已写入 csv 文件的路径、写入表、写入时间。 3)参考文档 详情请参见:获取目录下符合条件的文件,按写入方式读取入库并记录状态 1.2 FTP服务器中白名单文件自动传输与解压 1)应用场景 用户的业务数据以压缩包的形式每日进行下发,存储在 FTP 文件服务器对应的日期目录下,已经下发完成的压缩包文件会生成同名的 .ok 文件。 用户需要将部分压缩包文件传输到另外一个位置,并进行解压,希望已经传输成功的文件,下次任务运行时不会再重复传输。 2)参考文档 详情请参见:FTP服务器中白名单文件自动传输与解压 2、功能使用指导 2.1 如何打堆栈 用户在使用 FDL 时,可能会出现宕机而导致无法使用的情况,此时可以打堆栈进行排查,本文将说明如何打堆栈。 详情请参见:如何打堆栈 2.2 不同写入方式效果说明 1)应用场景 数据同步-写入方式 文档中,介绍了三种写入方式:直接将数据写入目标表、清空目标表,再写入数据、基于标识字段,新增/修改/删除数据。 本文为您展示这三种写入方式的实际效果。 2)参考文档 详情请参见:不同写入方式效果说明 2.3 新增计算列算子中获取当月天数 1)应用场景 用户想使用 新增计算列 算子,获取当月天数。 2)参考文档 详情请参见:新增计算列获取当月天数          
FineDataLink实战案例分享【2024-08-27周】
1、FDL最佳实践 1.1 PI数据库API循环取数 1)什么是PI数据库 PI 数据库是由美国 OSIsoft 公司开发的一种适用于实时数据管理的系统。它提供了高性能的数据采集、存储和检索服务,通常用于工业自动化、过程控制、能源管理等领域。 2)取数方式 PI Web API 是 PI System 提供的基于 Web 的应用程序编程接口(API),允许开发人员通过网络请求的方式访问 PI 数据,并与 PI System 进行集成。 PI Web API 支持常见的网络协议,如 HTTP 和 HTTPS,可以使用各种编程语言和开发框架来发出请求并处理响应。使用 PI Web API 时,开发人员可以使用认证方式获得对 PI 系统的访问权限,并通过发送适当的 HTTP 请求来获取数据、执行操作或执行其他功能。 PI Web API 的返回结果通常以常见的数据格式,如 XML 或 JSON 格式进行表示,以便可以轻松地进行解析和处理。 3)取数思路 在 PI 系统中,每个装置都有对应的位号,位号不能直接取值,需要用位号获取对应的 web_id ,再用 web_id 通过 API 取数的方式,返回需要的值。 注:装置对应的位号与 WEBID 可能存在变化,所以每次取数前需要进行更新。 4)参考文档 详情请参见:PI数据库API循环取数 1.2 多个逗号分隔的字段按照分组顺序匹配 应用场景: 从接口取数后,数据保存格式为:{{主数据},{子数据1,子数据2}{子数据a,子数据b}};其中,子数据中包含多个字段,以逗号分割存储。如下图所示: 实际业务场景中,每个子数据相当于一个分组,希望所有子数据按照分组内的数据顺序进行匹配(上图相同颜色的在同行展示)。希望得到的数据如下图所示: 使用两个「字段拆行」算子分别拆分职务、分公司字段时,出现笛卡尔积。如下图所示: 黄色标记的字段非实际需要数据。 参考文档: 详情请参见:多个逗号分隔的字段按照分组顺序匹配 2、功能使用指导 2.1 FineDataLink与Kettle的区别 很多新手用户使用 FDL 前,想了解 FDL 与 Kettle 的区别,可参见文档:FineDataLink与Kettle的区别 2.2 「包含」和「属于」的区别 应用场景: 条件判断逻辑说明 文档中,简单介绍了属于、不属于、包含、不包含这四种条件判断逻辑;很多用户不清楚属于与包含、不属于与不包含的区别,本文将对此进行详细解释。 参考文档: 详情请参见:「包含」和「属于」的区别 2.3 不同写入方式效果说明 应用场景: 数据同步-写入方式 文档中,介绍了三种写入方式:直接将数据写入目标表、清空目标表,再写入数据、基于标识字段,新增/修改/删除数据。 本文为您展示这三种写入方式的实际效果。 参考文档: 详情请参见:不同写入方式效果说明          
FineDataLink实战案例分享【2024-08-01周】
1、FDL最佳实践 1.1 导出管道任务中来源表及对应的目标表信息 应用场景: 用户的管道任务实现上百张表的实时同步,且存在部分来源表和目标表的表名不同、多张来源表同步到一张目标表等情况,导致用户在管理来源表和目标表的对应关系时(例如重构任务)较为困难。 参考文档: 详情请参见:导出管道任务中来源表及对应的目标表信息 2、FDL功能使用指导 2.1 补数据示例 应用场景: 用户设计的定时任务取数逻辑为:每天抽取当天调度时间往前推 24h 内的数据,汇集到目标数据库。 节假日期间 3 天,系统宕机,定时任务没有运行,导致目标数据库缺少 3 天的数据。 参考文档: 详情请参见:补数据示例 2.2 API取数使用说明 FDL 提供两个功能进行接口取数,区别如下: 功能 说明 数据同步-API功能 若接口返回值为较简单的 JSON 格式,不需要复杂的解析处理,可参考本文进行接口取数 API输入 算子 若用户希望取出 API 数据后做进一步的数据处理,此时,「数据同步-API」功能不能满足需求。需要使用 API输入 算子接口取数后,再继续使用其他算子对接口数据进行处理 本文介绍这两个功能在实际场景中如何使用。 详情请参见:API取数使用说明 2.3 数据开发能力说明 本文为您讲述 FDL 的数据开发模块可以做什么。 详情请参见:数据开发能力说明 2.4 数据连接使用说明 FineDataLink 的数据开发、数据管道、数据服务、库表管理模块支持连接多种数据源进行数据的处理操作。 在使用 FineDataLink 处理、同步数据前,您需要先定义数据连接,以便在执行数据处理操作时,通过「数据库>数据连接名称>数据表」,来确定数据的读取和写入位置。 本文为您介绍配置数据连接时,您需要了解的信息。 详情请参见:数据连接概述          
FineDataLink实战案例分享【2024-07-15周】
本周新增三个最佳实践,快来看看吧!! 1、读取单Excel多Sheet文件数据 应用场景: 财务报表、销售数据表、学生成绩表等 Excel 表格中,往往包含多个 Sheet,用户希望使用 FDL 读取单 Excel 多 Sheet 文件数据。 参考文档: 详情请参见:读取单Excel多Sheet文件数据 2、FDL调用FR/BI的定时调度任务 应用场景: 某公司的 FineReport/FineBI 工程每月都会通过 定时调度任务 给销售发送月报数据。月报发送前,需要使用 FDL 处理月报数据。 若分别设置 FDL 的定时任务和 FineReport/FineBI 工程的定时调度任务的执行频率,需要保证 FDL 的定时任务优先执行,用户觉得较为麻烦,希望使用 FDL 去管理 FineReport/FineBI 定时调度任务的运行。 参考文档: 详情请参见:FDL调用FR/BI的定时调度任务 3、增删改数据同步方案 应用场景: 用户在定时任务进行数据同步时,如果源数据库同时有增删改变化,可以使用数据比对,但是如果数据量很大,想要提高同步效率,就可以使用本文的方案进行数据同步。 时间戳和业务时间说明: 时间戳:一般是记录数据的增删改时间 业务时间:一般是记录业务发生的时间(如果数据修改,业务的发生时间还是不变的) 例如下图的数据表,order_business_date 为业务时间,也就是订单交易时间;order_timestamp 为时间戳,即记录数据增删改的时间。 方案: 增删改数据同步至目标表(MD5校验) 增删改数据同步(非数据比对且有时间戳) 增删改数据同步(非数据比对且无时间戳,有业务时间)      
FineDataLink实战案例分享【2024-05-31周】
FDL近期上新一些最佳实践&问题排查&功能使用指导文档,快来看下吧!!! 若觉得FDL应该补充XX文档,可私聊告诉小编,若采纳有F币奖励哟 1、客户案例 JSON解析前过滤出不合法的数据 应用场景: 大数据量场景下的 json 数据解析,存在问题如下: 如果存在几条不合法的 json 格式数据,解析时会导致整个定时任务运行终止。 json 解析是数据处理过程,定时任务的脏数据容忍没办法排除 json 不合法数据对任务的影响。 用户希望: 过滤出不合法的 json 格式数据,使其不影响定时任务的运行。 大数据量场景下,快速找出不合法的 json 格式数据。 参考文档: 详情请参见:JSON解析前过滤出不合法的数据 多个简道云子表单增删改输出 应用场景: 用户想要将数据库系统数据输出到简道云多个子表单中,实现子表单数据的新增、更新和删除。 简道云表单改动前后变化: 注:需要保证主表单数据是不重复唯一的,且子表单是单条的。 参考文档: 详情请参见:多个简道云子表单增删改输出 2、功能使用指导 分类 说明 文档 数据连接 ★★★★★ 配置 星环 TRANSWARP INCEPTOR 数据源、Hive 数据源 时,存在设置项 HDFS 地址 本文将介绍确定 HDFS 地址中设置 IP 和端口的方法 确认HDFS地址中的IP和端口 工程运维 本文提供 Linux 系统中,关闭和重启 FDL 工程的方法 关闭或重启FineDataLink工程 FDL 工程的端口默认为 8068,若部署 FDL 工程前,8068 端口被占用,将无法成功启动 FDL 工程,本文介绍如何查看端口是否被占用 端口占用查看 功能使用指导 定时任务、管道任务中,介绍物理删除、逻辑删除以及他俩的区别 物理删除和逻辑删除的区别 ★★★★★ 数据管道和数据开发的区别,便于用户快速理解这俩模块 数据管道与数据开发区别 ★★★★★ 介绍参数在FDL中的应用场景、定时任务中如何配置和使用参数 参数在FDL中的典型应用场景 如何配置并使用参数 ★★★ 管道任务运行后,用户常常有以下问题: 我的工程最多能同时运行多少个管道任务 管道任务手动暂停、异常终止后怎么处理 管道任务运行后,怎么新增/删除表 原任务无法运行,需要重新配置任务,进入编辑任务界面,发现某设置项不能修改怎么办 怎么处理脏数据 怎么查看管道任务日志 本文为您解答这些问题 数据管道运维指导 ★★★★ 数据服务、数据管道模块的简单示例,帮助用户快速了解这俩模块的使用及效果 数据服务示例 管道任务示例 ★★★★★   介绍数据管道功能的使用流程;数据管道中,不同场景下的同步逻辑 数据管道使用说明 3、问题排查 说明 文档 XML 解析相关的报错及解决方案 XML解析问题排查 JSON 解析相关的报错及解决方案 JSON解析问题排查 管理系统使用相关的报错及解决方案 管理系统问题排查 数据转换、数据服务的常见问题整理 数据转换FAQ 数据服务FAQ 4、历史方案 FineDataLink实战案例分享【2024-03-04周】 FineDataLink实战案例分享【2024-05-20周】  
FineDataLink实战案例分享【2024-05-20周】
历史案例:FineDataLink实战案例分享【2024-03-04周】 1、客户案例 简道云输入算子:清空目标表,再写入数据 应用场景: 简道云输出算子 不能选择「清空目标表,再写入数据」写入方式。 用户在以下场景时,希望能先清空简道云表单再写入数据: 简道云表单数据发生全面更新,不仅仅是部分更新或增量更新时。 需要将数据迁移到某张简道云表单。 为了避免数据重复或冲突,出于安全考虑,希望先清空目标表再写入数据。 参考文档: Ø 详情请参见:简道云输出算子:清空目标表,再写入数据 文件拆分:只保留最新拆分的文件 应用场景: 文件输出算子 可将数据按行数拆分至多个文件,但存在以下问题: 场景 问题 每次运行后,被拆分的文件存在重名情况 用户多次运行任务,根据数据量不同,被拆分的文件个数可能不同 若用户第一次运行任务,数据被拆分为 5 个文件,第二次运行任务数据被拆分为 3 个文件,上一次被拆分的文件依然存在,影响用户查看文件数据 每次运行后,被拆分的文件不存在重名情况 若被拆分的文件以日期和时间命名,文件不重名,但随着运行次数增多,生成的拆分文件过多,占用空间 本文提供方案解决上述问题。 参考文档: Ø详情请参见:文件拆分:只保留最新拆分的文件 部署Kafka:KRaft模式 新增 Kafka KRaft 模式的部署方案。 配置管道任务前,需要部署 KafKa,FDL帮助文档提供两种部署 KafKa 的方式:部署Kafka:ZooKeeper模式、部署Kafka:KRaft模式 KRaft 模式相比 ZooKeeper 模式的主要优势如下: 运维简化:只需部署 Kafka,不再依赖 ZooKeeper。 横向扩展能力提升:Kafka 集群能支持的 Partition 数量是衡量其横向扩展能力的重要指标。此前这个值受 ZooKeeper 与 Controller 之间传递元数据的限制,只能到十万量级,而 KRaft 模式不需要这种传递, 因此可以提升到百万量级。 元数据传播提效:元数据通过 Kafka 的 Topic 管理,并利用 Topic 的生产消费传播,集成性更好的同时也提升了一些底层实现的性能。 一条消息提醒一个人,可发送多条消息 应用场景: 群通知中,用户希望: 每条消息对应一个通知人。 某个人对应的通知内容中,文字使用颜色代表事务的紧急程度。 通知内容中包含链接,用户点击即可跳转到详情页面。 如下图所示: 实现方案: Ø详情请参见:一条消息提醒一个人,可发送多条消息 循环往复执行定时任务 应用场景: 用户创建两个定时任务(调用关系)处理数据,处理后的数据被用于大屏展示。 由于对数据的实时性要求较高,希望任务执行后立刻被拉起,且任务运维界面不希望看到任务出现排队的情况。 实现思路: 问题: 若设置子任务定期执行,子任务会出现排队的情况。 若设置父任务定期执行,通过「调用任务」节点父任务拉起子任务的执行,子任务运行过程中父任务会出现排队的情况。 本文方案: 父任务中,使用内置参数 ${workname.opresult} 判断子任务是否执行成功,若子任务上次运行状态为成功: 调用 基于任务ID运行任务接口,来运行子任务。 执行父任务的后续节点。 运行情况为:子任务运行成功→父任务到达运行时间判断子任务上次运行是否成功,若运行成功:运行子任务、运行父任务→子任务运行成功→循环执行 所以,不会出现排队情况。 参考方案: Ø详情请参见:循环往复执行定时任务 2、功能使用指导 关闭或重启FDL工程 应用场景: FDL 手动进行升级后,需要重启工程。 FDL 工程修改某些配置后,需要重启工程。 参考文档: Ø详情请参见:关闭或重启FineDataLink工程 确认HDFS地址中的IP和端口 应用场景: 配置 星环 TRANSWARP INCEPTOR 数据源、Hive 数据源 时,存在设置项 HDFS 地址。如下图所示: HDFS 地址介绍: 是 Hadoop HDFS 文件系统处于活跃状态的节点地址。 格式为 "hdfs://ip:port";例如:hdfs://192.168.101.119:8020。 本文将介绍确定 HDFS 地址中 IP 和端口的方法。 参考文档: Ø详情请参见:确认HDFS地址中的IP和端口 3、扩展阅读 1)数据开发模块与数据管道模块的区别请参见:数据管道与数据开发区别 2)4.1.6.2 版本,对JSON解析算子进行了优化,详情请参见:JSON解析算子功能说明 支持同时解析一个JSON源字段的数组部分和非数组部分 所有生成JsonPath默认从根节点开始,生成完整的绝对路径,用户可手动修改 在「选择JSON节点」时,用户可以通过粘贴JSON文本的方式修改选择节点的内容,以防止出现上游有多行 JSON 文本流进时,因为第一行的JSON属性较少,导致其他json属性无法直接选择的情况 JSON解析生成同名字段进行提示 JSON解析支持同时解析多个字段,减少「简道云输入」多个复杂字段的解析成本,在「JSON解析」中添加解析多个字段的能力。 3)FDL 新增功能请参见:更新日志索引        
帆软文档系统搜索框样式投票
前言 文档系统搜索框投票,可到末尾进行投票(最多可选3项) 涉及文档系统: https://help.fanruan.com/finedatalink/ https://help.fanruan.com/finereport/ https://help.fanruan.com/finebi/ https://help.fanruan.com/jiushuyun/ https://help.fanruan.com/dvg/ 等(可能涉及海外文档)   1、目录树搜索框 投票是否新增 左侧目录树处搜索文档名称 实现效果参考: https://support.huaweicloud.com/intl/zh-cn/usermanual-dataartsstudio/dataartsstudio_01_5099.html https://help.aliyun.com/zh/analyticdb-for-postgresql/getting-started/overview-getting-started?spm=a2c4g.11174283.0.i7   2、当前页搜索 投票是否新增 每篇文档右上角输入关键字搜索,搜索结果在当前页展示 效果:https://help.aliyun.com/zh/analyticdb-for-postgresql/getting-started/configure-an-ip-address-whitelist-instances-with-vector-engine-optimization-enabled?spm=a2c4g.11186623.0.0.67d627c3Jj3Na7   3、目前搜索框 投票是否保留 效果:输入关键字后,跳转到搜索页面,显示搜索出的结果 https://help.fanruan.com/finedatalink/doc-view-203.html
24年FineDataLink文档共创来了!!
FineDataLink文档系统:https://help.fanruan.com/finedatalink/ 1、前言 23年 发布了 FineDataLink 文档共创活动,但由于当时 FDL 产品刚发布不久,使用用户较少,效果并不理想;24 年重新启动该活动,每周五审核,审核通过后奖励多多,审核结果可点击链接查询到,有问题可联系Wendy123456(社区搜索私聊即可) 2、介绍 文档活动介绍:FineDataLink 文档反馈 由于FDL未对外开放安装包,可以在https://demo.finedatalink.com/中体验产品 2.1 文档问题反馈 无门槛,奖励F币:2-150F币 鼓励大家直接编辑文档,只反馈问题,奖励较少,发现问题编辑后,奖励较多 只要您觉得某篇文档有问题(BUG、描述不清晰、图片老旧、写的不够好应该XXXX等),都可反馈给我们(不限制问题类型),审核通过后发放F币 查看详情:FineDataLink文档问题反馈-最高150F币 2.2 文档搜索反馈 无门槛,奖励F币:2-10F币 搜不到?有想要的内容不知道搜什么?感觉文档搜索太垃圾,有建议等,反馈给我们 查看详情:FineDataLink文档搜索反馈-最高10F币 2.3 文档内容调研 有门槛:近一年内阅读FDL文档篇数超过 40 篇,奖励F币:4F币 查看详情:FineDataLink文档内容问卷调研-4F币 3、额外奖励 截止到 2024-07-01,若参与 FDL 共创人数超过 30 人,下面奖励生效: 1)审核通过次数前三名用户,额外奖励:200 140 80 2)得到F币最多的前三名用户(高价值用户),额外奖励:300 200 100 奖励不叠加,若用户重复,选择最高值进行奖励            
FineDataLink实战案例分享【2024-03-04周】
1、客户案例 按日期分表,每天保存当天数据 应用场景: API 接口中每天有 20 多万的数据,若落库到同一张表中,随着时间该表数据不断累积,可能造成查询慢的问题。 希望能按日期分表,每天创建一个新的数据表,保存该天数据。 参考文档: Ø 详情请参见:按日期分表,每天保存当天数据 使用FDL接口形式实现阿里云服务器数据监听 应用场景: 用户需要对阿里云产品进行数据监控,实时掌握服务器性能情况。由于阿里云服务器签名认证很复杂,官方文档仅提供代码形式来获取签名。比如python或者java,且由于代码是开源的,扫描会有安全漏洞的风险。 因此用户希望能提供更简便安全的方式对产品进行数据监控。 参考文档: Ø 详情请参见:使用FDL接口形式实现阿里云服务器数据监听 FineReport接收并使用数据服务发布的数据 应用场景: 用户为保证数据安全,不希望直接将数据仓库账号开发给第三方使用,且拥有 FineDataLink 作为数据中台,想使用「数据服务」功能,统一分发数据给第三方使用,同时想要使用 FineReport 直接接收数据制作看板。 参考文档: Ø 详情请参见:FineReport接收并使用数据服务发布的数据 FTP/SFTP/本地服务器附件传输至API接口 应用场景: 用户想要将 FTP/SFTP服务器/本地FineDataLink 工程中的文件输出至指定的业务系统 API 接口。 参考文档: Ø 详情请参见:FTP/SFTP/本地服务器附件传输至API接口 简道云附件传输至FTP/SFTP/服务器本地 应用场景: 用户需要将简道云上传的附件根据保密安全规定做归档,同步至FTP服务器/本地/业务管理系统。 客户有大量带有附件的简道云数据,同时需要做数据的查询需要用FR做,所以需要将简道云附件同步到 FTP 服务器。 参考文档: Ø 详情请参见:简道云附件传输至FTP/SFTP/服务器本地 2、功能使用指导 数据开发并发数与脏数据说明 简介: 并发数、脏数据、任务重试的说明与使用。 参考文档: Ø 详情请参见:数据开发并发数与脏数据说明 定时任务运维指导 简介: 列举定时任务的常见运维操作。 参考文档: Ø 详情请参见:定时任务运维指导 API 相关 API 入门 文档进行翻新,用户有问题/建议可在文档下评论。 API取数概述 文档中,对不同取数场景进行分类,便于用户查看,用户有问题/建议可在文档下评论。 3、扩展阅读 FDL 新增功能请参见:更新日志索引    
FineDataLink文档月刊【2023年12月】
FineDataLink 产品月报汇集了每月的产品更新、客户案例以及文档活动,通过产品月报,您可以快速学习本月的新知识、新内容! 1、产品新功能 新增分组汇总算子 新增「分组汇总」算子,对原始数据根据条件将相同的数据先合并到一组,然后按照分组后的数据进行汇总计算。如下图所示: Ø 详情请参见:分组汇总算子 新增字段拆行、字段拆列算子 用户可用可视化的配置方式实现按分隔符对数据的行列拆分,避免写大量 SQL ,提升数据处理效率。 1)新增「字段拆行」算子,字段值按照特定规则(分隔符)拆分,拆分后的结果形成新的一列字段和值。如下图所示: Ø 详情请参见:字段拆行 2)新增「字段拆列」算子,字段值按照特定规则(分隔符或字符数)拆分,拆分后的结果形成新的多列字段和值。如下图所示: Ø 详情请参见:字段拆列 定时任务支持调用数据库存储过程 数据源是 MySQL、Oracle、SQLServer ,定时任务的SQL脚本、数据同步、数据转换>DB表输入、参数赋值中支持调用数据库存储过程。如下图所示: Ø 详情请参见:定时任务调用数据库存储过程 读取、创建、写入分区表 详情请参见:读取、创建、写入分区表 1)数据写入Hive、星环 TRANSWARP INCEPTOR数据库时,支持创建、写入分区表。如下图所示: 2)支持读取 PostgreSQL 数据库的分区表。 定时任务支持直接选表功能&并发读取功能 「数据源」中选择DB表输入类型时,支持直接选表功能,用户可在下拉框中选择某张数据库表读取数据,且能为这张表添加过滤条件。 使用直接选表功能,才可开启并发读取功能。在数据量很大时,开启「并行取数」,可提高读取数据的速度。 如下图所示: Ø 详情请参见:数据同步功能说明 将BI公共数据作为数据连接 FineBI 和 FineDataLink 中支持新建「远程公共数据」数据连接。 配置需要远程访问的 FineBI 工程后,可在 FineDataLink 定时任务「数据同步」「参数赋值」「DB表输入」、数据服务(仅支持独立部署环境下)中作为数据源读取数据使用。如下图所示: Ø 详情请参见:配置远程公共数据源 提供通用JDBC对接取数和执行SQL的能力 当用户想要使用FineDataLink支持的数据源以外的其他的 JDBC 类型数据库作为 FineDataLink 中的定时任务数据源进行SQL 取数和执行 SQL等操作,可以使用该插件。 Ø 详情请参见:通用JDBC取数插件 API输入自带分页取数功能 需要使用 FineDataLink 取出 API 数据时,由于数据量限制或者接口响应时间,有时需要分页取数。FineDataLink 提供了 API 分页功能。如下图所示: Ø 详情请参见:API输入-分页取数 数据服务支持更多数据源 数据服务API支持发布Starrocks、GaussDB、MaxCompute数据源。 Doris、StarRocks 作为写入端,支持自动建表 管道任务&定时任务中,Doris、StarRocks 数据源作为写入端,支持自动建表。如下图所示: Ø 详情请参见:配置管道任务-表字段映射、数据同步功能说明 更多功能 更多更新功能请参见:4.1.3更新日志、4.1.2更新日志 2、最佳实践 以起始行数作为参数的API接口取数 应用场景: 从 金蝶 k3Cloud 系统接口 进行分页报表取数时,接口中没有提供页码参数,因此不能使用API取数-按页数取数方案。 但是接口中会返回所取数据的总行数,且接口请求参数中有开始行索引参数(从哪一行开始取数)、返回行数限制参数。 参考文档: Ø 详情请参见:API取数-以起始行数作为参数 API取数-钉钉获取部门用户信息 应用场景: 用户想要同步钉钉通信录中的用户信息。 API取数-获取部门通讯录数据 中获取钉钉用户信息的方案,只适用于部门下用户数量不超过 100 的场景;若某部门中用户数超过 100,可参考本文方案获取用户信息。 参考文档: Ø 详情请参见:方案二 数仓拉链表(来源表数据大于10000) 应用场景: 数仓拉链表 文档中提供的方案,使用「参数赋值」节点将来源表中的 ID 字段输出为参数,但「参数赋值」节点要求输出的参数不能超过 10000 个,若来源表数据超过 10000 条,该方案将不适用。 本文提供数据量较大场景(来源表数据超过 10000)下拉链表的实现方案。 参考文档: Ø 详情请参见:数仓拉链表(来源表数据大于10000)      
FineDataLink实战案例分享【1204周】
本周上新两个新方案,快来查看吧!!! 1、FR调用定时任务后轮询是否完成 1.1 应用场景 FR 通过任务名/任务ID运行定时任务的接口中,可设置延迟参数,在等待设置的 X 秒后可以返回任务运行状态。如下图所示: 但某些定时任务运行时间较长且不稳定,当 FDL 执行到接口设置的时间但任务还未结束时,FR 会接收到 RUNNING 的返回信息。用户无法确定后续定时任务是否运行成功。 1.2 实现思路 通过调用任务接口返回的实例 ID ,再结合根据实例 ID 查询任务状态的功能,使用 JS 定时器去轮询任务状态,当确认任务完成后再刷新 FR 的查看页面。最终效果如下图所示: 1.3 实现过程 请参见文档:FR调用定时任务后轮询是否完成 2、API取数-钉钉获取部门用户信息 2.1 应用场景 用户想要同步钉钉通信录中的用户信息。 API取数-获取部门通讯录数据 中获取钉钉用户信息的方案,只适用于部门下用户数量不超过 100 的场景;若某部门中用户数超过 100,可参考本文方案获取用户信息。 2.2 实现过程 请参见文档:API取数-钉钉获取部门用户信息      
FineDataLink文档月刊【2023年11月】
FineDataLink 产品月报汇集了每月的产品更新、客户案例以及文档活动,通过产品月报,您可以快速学习本月的新知识、新内容! 1、产品新功能 支持设置业务日志-诊断日志的级别 业务日志-诊断日志介绍: 记录各业务模块使用过程中产生的过程日志。 对于FDL,包括: 数据管道:读写过程日志\异常和错误日志。 定时任务:读写过程日志\异常和错误日志。 1)可为管道任务单独设置日志输出级别,满足用户按需查看日志、调试和排错的需求;可以在更细粒度的日志等级里,打印详细的日志,供用户查看。如下图所示: Ø 详情请参见:配置管道任务-管道控制 2)可为定时任务单独设置日志输出级别,满足用户按需查看日志、调试和排错的需求;可以在更细粒度的日志等级里,打印详细的日志,供用户查看。如下图所示: Ø 详情请参见:定时任务调度配置 3)可统一为定时任务和管道任务设置日志输出级别。如下图所示: 4)日志输出内容优化: 增加:实例等待运行日志的打印。 增加:INFO级别,打印更加详细的日志,包括参数值、执行脚本、API请求、API分页取数。 优化:明确各条日志的等级,将日志级别打印到日志中。 读数类节点,统一增加删除数据的统计。 Ø 详情请参见:运行日志介绍 支持手动/自动清理任务运行记录 任务的运行记录在持续累加,大量的运行记录,导致任务运维界面打开时卡顿严重,并且一些无价值的数据干扰用户分析,期望支持清理。 操作日志和业务日志支持手动/自动统一清理。如下图所示: 本版本可清理管道任务的运行记录、数据服务的调用记录。Ø 详情请参见:日志简介 过滤/条件分支里的判断逻辑统一和优化 优化前: 1)各个功能内的判断逻辑不一致,且与 FineBI 里的过滤判断逻辑也不一致,包括: 「数据过滤」-添加条件 &「数据分发」-分发条件。 「条件分支」-添加条件 &「循环容器」-执行条件-配置条件。 「简道云输入」-筛选条件。 「MongoDB输入」-条件查询-配置条件。 2)存在一些逻辑偏离大众理解。 优化后: 1)统一产品内判断逻辑。 2)修正不合理的逻辑。 详情请参见:条件判断逻辑说明 定时任务API对接取数优化 优化前: API 输出不支持 PATCH 方法。 postman 不可以添加自签名证书。 不支持设置调用 API 的时间间隔。 当一次循环执行抛错,整个循环都会停掉,但用户希望能够继续执行。 优化后: 1)完善 API 调用的能力,比如: 自签名证书 解析 header 信息 自定义编码等 2)优化循环调用场景下的问题,比如: 大数据量循环调用 访问 API 频率控制 分页读取 API 具体优化内容: 1)若用户有自签名证书,可开启自签名证书。并手动上传证书并输入密码。如下图所示: Ø 详情请参见:数据同步-API、API输入、API输出逻辑说明 2)当用户设置当前API调用的频率限制时,可在一次执行实例中控制该API的调用频率。如下图所示: 3)API 输出支持 patch 请求方式。Ø 详情请参见:API输出逻辑说明 4)当数据源为 API 时,支持获取 API 响应的 header、body、http 状态码,便于后续将其设置为参数。如下图所示: Ø 详情请参见:参数赋值节点 5)循环容器支持设置容错机制;当循环容器中有节点报错时(例如API循环取数时取出数据为空),支持继续执行循环。如下图所示: Ø 详情请参见:循环容器逻辑说明 管道任务支持无主键表的同步 管道任务支持在源表无主键时,在目标表也不配置逻辑主键,实现实时同步。 1)Oracle、GP、SQLServer 数据源作为源表,支持无主键同步。如下图所示: Ø 详情请参见:配置管道任务-选择数据去向 2)支持对要同步的来源端数据进行管理,筛选无主键或者表配置异常的表。如下图所示: Ø 详情请参见:配置管道任务-表字段映射 更多功能 更多详情请参见:4.1.1更新日志 2、场景方案 2.1 电商经营场景 业务背景: 电商经营由于通常涉及多个自营店铺和其他各种分销店铺,销售渠道链路长、各类数据繁杂零碎,数据监控和取用相对困难,因此对数据的管理和整合就显得非常重要。 x电商公司在数据的整合和管理方面,主要遇到两个问题: 1)通过旺店通取数,然后在 Excel 中整合,各部门根据自己的口径进行取数和即时分析,数据口径不统一,出现大量重复工作。 2)由于采用 Excel 做了大量的数据分析,但由于电商数据庞杂,遇到了性能瓶颈限制。 3)电商全平台的分析过程中除了销售额、利润等常见指标,还有一些难以量化和对比的因素,Excel 分析存在瓶颈,无法将货盘趋势整合进来,不能敏锐捕获市场变化,导致对电商数据监控不足,为业务服务不够,数据价值得不到充分的发挥。 解决思路: 要解决上述问题,更好的管理电商经营数据,让数据充分发挥价值,就必须: 将处理好的庞杂的数仓数据统一存储数据库,并提供高性能、能够即时分析的 BI 平台进行数据分析和展示,解决各部门 Excel 分析带来的数据不统一、分析无法溯源、数据无法共享、重复工作多等问题;避免大数据量 Excel  造成的性能问题。 根据数仓数据制作全平台销售库存货盘分析,监控全平台整体销售等情况,敏锐监控市场变化。 因此采取以下方案: 1)优化获取业务数据流程:利用 FineDataLink 数据集成工具,对接旺店通等电商经营数据平台并入库,结合填报的数据,建立数据仓库,助力形成数据分析架构线上化,实现数据口径的统一。 2)搭建数据仓库框架:使用FDL搭建数仓,将各业务系统数据统一梳理到数仓,整合维度表,并建设好DW、DM层的逻辑框架; 3)提供统一的分析平台:提供统一的 BI 分析平台,将数仓处理好的统一口径的数据对外提供,便于业务进行即时分析,避免使用 Excel 带来的性能问题和重复工作,同时可实现数据共享。 解决方案: 文档:电商经营场景 Demo:参见:案例体验 财务收入核算场景 业务背景: 财务是企业发展的关键命脉,企业只有盘算清楚家底,才能打牢经济发展基础。财务数据表现是衡量一个企业发展是否良好的关键指标。 通过有效利用财务数据能够帮助企业了解、控制费用、降低消耗,为企业目标的实现提供根本保证。 财务分析的第一步就是盘点企业的收入。 x原料销售公司财务部门虽然建立了以财务数据为核心的指标导向、以 Excel 为核心建立了一系列报表,完成了简单的数据利用,但由于: 正在使用的数仓搭建工具运维监控管理太差、经常出现财务收入规整数据出错、数仓不稳定的情况,数仓维护困难; 由于收入单据编制工作量大,数据更新不及时,且利用 Excel 进行透视分析,不但步骤繁杂、加载缓慢,耗时耗力; Excel 、EAS 系统的数据无法溯源,不方便追踪分析问题; 缺乏智能化数据分析平台,数据无法共享。 等等问题,财务收入清算和梳理非常困难,为业务服务不够,数据价值得不到充分的发挥。 解决思路: 要解决上述问题,让财务收入数据充分发挥价值,就必须解决以下问题: 替换原先的数据仓库搭建工具,保证任务运维的稳定性并降低维护成本; 将处理好的数仓数据统一存储数据库,并提供统一的报表分析平台,避免各部门 Excel 分析带来的数据不统一、分析无法溯源、数据无法共享等问题。 因此采取以下方案: 1)通过统一调度运维工具 FineDataLink 搭建数仓,提升任务稳定性,同时便于统一数据来源,实现数据统一和定时更新。 2)使用统一的 FineReport 平台进行报表处理、展现、数据分析,同时「收入调账」的填报数据也通过该平台统一实现,便于快速溯源数据来源,实现分析数据人人共享。 解决方案: 文档:财务收入核算场景 Demo:参见:案例体验                
FineDataLink实战案例分享【1120周】
本周上新六个新方案,快来查看吧!!! 1、高频指标借助参数实现轻量化修改 1.1 应用场景 用户需要对活跃客户的占比进行分析,但由于不断变化的业务需求,活跃客户的定义会不定期修改。 例如,上半年活跃客户被定义为在过去 3 个月内至少在商城下单 2 次的连锁客户,而下半年的定义则是在过去 6 个月内至少下单 3 次的客户。这种指标变化需要 IT 团队重新评估相关数据的计算逻辑,可能会带来繁重的工作量。 1.2 实现思路 将业务指标中的数值参数化,例如本文 1.1 节场景中的活跃客户指标:近 X 个月,下单次数,可作为参数进行自定义修改。 1.3 实现过程 请参见文档:高频指标借助参数实现轻量化修改 2、新增/修改宜搭表单数据 2.1 应用场景 用户希望根据业务数据库中的数据,更新、新增宜搭表单的数据。 2.2 实现思路 调用 新增或更新表单实例 接口,来更新、新增宜搭表单的数据。 注:「第三方个人应用」不支持调用上述接口。 2.3 实现过程 请参见文档:新增/修改宜搭表单数据 3、循环多次读取Windows环境文件同步数据 3.1 应用场景 用户 Windows 系统中有多个相同格式的 Excel 文件,需要读取所有文件数据并进行 行转列 操作。 由于 文件输入 算子批量读取文件时,是将所有文件数据上下合并,合并后的数据会存在重复值,行转列时会报错(行转列算子中,要求「待行转列」的字段名称不能重复)。 3.2 实现思路 每次读取一个 Excel 文件,并对读取后的数据进行处理,循环执行该过程,避免一次性读取所有文件,导致出现数据重复无法进行行转列操作问题。 注:本文方案适用于 4.0.29 及之后版本。 3.3 实现过程 请参见文档:循环多次读取Windows环境文件同步数据 4、【Linux环境】PostgreSQL环境准备 4.1 应用场景 FDL 工程部署在 Linux 环境中,通过数据管道实时同步 PostgreSQL 数据前,需要参考本文在数据源中进行一些配置,为后续的数据同步做好准备。 4.2 实现过程 请参见文档:【Linux环境】PostgreSQL环境准备 5、BI仪表板展示管道任务信息 5.1 应用场景 用户想了解某个管道任务是谁编辑的、编辑时间、断点相关信息等,FDL 工程内的 管道任务运维 无法满足需求。 5.2 实现思路 用户可根据实际需求,使用 FineDB 数据库中的数据管道表 ,筛选出需要的字段,最后将多张表进行关联即可。 5.3 实现过程 请参见文档:BI仪表板展示管道任务信息 6、批量修改定时任务中的数据连接名 6.1 应用场景 FDL 中原先采用的数据连接名为demo1,已在大量定时任务中使用。为了规范数据连接命名,需将此数据连接名更改为fdl_demo,目前需要逐个打开定时任务并手动重新选择新命名的数据连接,操作过程比较麻烦。 鉴于定时任务数量较多,手动选择过于繁琐,本文提供一种批量替换的解决方案。 6.2 实现思路 定时任务中的数据连接名保存在 dp 文件内,来源是fromConnectionName,去向是toConnectionName。如下图所示: 6.3 实现过程 请参见文档:批量修改定时任务中的数据连接名        
FineDataLink文档月刊【2023年10月】
FineDataLink 产品月报汇集了每月的产品更新、客户案例以及文档活动,通过产品月报,您可以快速学习本月的新知识、新内容! 1、产品新功能 定时任务支持设置调度依赖和优先级 1)支持为定时任务设置事件调度。 例如:数仓构建过程中 ODS 层有 a、b、c 任务互不影响、DW 层有 d 、f 任务,需要 a、b 任务执行完触发 d 任务,来减少 DW 层对 ODS 层完全更新完等待的时间;若 a、b 执行失败则不触发,来避免数据准确性的问题。 Ø 详情请参见:定时任务调度配置 2.2 节内容。 2)支持设置定时任务的执行优先级。当线程数不足时,优先执行队列中级别高的流,相同优先级的任务按照先进先出的顺序执行。 Ø 详情请参见:定时任务调度配置 第五章内容。 定时任务支持设置全局参数 当多个定时任务需要使用相同的参数时,如果参数需要修改,每个定时任务都需要进行修改,实现过程比较麻烦。支持设置全局参数,该参数可在多个定时任务中使用。如下图所示: Ø 详情请参见:全局参数 管道任务支持仅增量同步 数据管道任务初次运行时,采取全量+增量同步策略: 全量阶段:查询任务运行时刻数据来源表的所有数据,输出至数据目标表。 增量阶段:全量同步完成后,通过监听数据管道来源端的数据库日志变化,获取数据来源表的增量数据,将增量数据变化同步至数据目标表。 当以下场景中,用户希望进增量同步: 用户源库删除留存数据后,目标库仍保留完整数据。 希望仅增量同步源表中近期有效数据。 历史数据量很大的用户,为满足数据导入时间窗和导入成功率,历史数据往往要通过特定的高速装载方式或者分多次多批导入。 新版本的管道任务支持从指定的起点开始,持续同步新增的变化数据(增删改)。如下图所示: Ø 详情请参见:配置管道任务 3.3 节内容。 定时任务内置参数优化并提供参数管理功能 1)新增两个内置参数: ${workname}:取当前任务名称。 ${workname.jobname.opresult}:获取其他任务节点最近一次运行结果。 Ø 详情请参见:内置参数 2)「参数列表」界面中,可查看该任务可用的参数。 Ø 详情请参见:自定义参数 3)任务内配置参数支持下拉选择。 参数赋值体验优化 支持批量生成/修改/删除参数;自动填充参数默认值。Ø 详情请参见:参数赋值 数据源分类优化和支持按量售卖 1)新增「容量」、「用户」、「节点」三个维度的注册限制。 当前的注册产品注册维度分为:「容量」、「时间」、「用户」、「功能点」、「节点」五个,控制维度最终结果取交集,用户可选择适合自己的注册维度。 Ø 详情请参见:注册简介 2)FineDataLink license可以单独控制数据开发、数据服务、数据管道三个模块的到期时间。 3)新增数据开发用户类型,便于从用户维度进行 FineDataLink 的注册管理。 Ø 详情请参见:用户管理 第五章 4)对于注册功能点,也进行了梳理和优化。 Ø 详情请参见:FineDataLink支持的数据源 5)优化数据源类型的注册功能点。 Ø 详情请参见:注册简介 第六章 更多功能 1)支持单个任务跨环境导入导出,包括:定时任务、管道任务、API任务。 2)处理好的数据支持输出为 Excel 形式。 3)支持可视化展示定时任务的调用关系/依赖关系。 4)数据管道和数据服务适配集群。 5)数据转换支持上下合并算子。 更多详情请参见:4.0.30更新日志、4.1.0更新日志 2、文档上新 高频指标借助参数实现轻量化修改 应用场景: 用户需要对活跃客户的占比进行分析,但由于不断变化的业务需求,活跃客户的定义会不定期修改。 例如,上半年活跃客户被定义为在过去 3 个月内至少在商城下单 2 次的连锁客户,而下半年的定义则是在过去 6 个月内至少下单 3 次的客户。这种指标变化需要 IT 团队重新评估相关数据的计算逻辑,可能会带来繁重的工作量。 参考文档: Ø 详情请参见:高频指标借助参数实现轻量化修改 将包含两个子表单的简道云表单数据落库 应用场景: 简道云表单中包含两个子表单,其中一个子表单中包含成员单选、部门单选控件。如下图所示: 已有数据如下图所示,现希望将该表单的数据落库。 参考文档: Ø 详情请参见:将包含两个子表单的简道云表单数据落库 API取数-计算总页数并按页取数 应用场景: 某企业现在需要将某业务数据全部取出以供业务分析使用。 由于数据量比较大,不可能一次性取全量数据,因此需要使用参数。 接口文档中 pageNum 表示数据页数;pageSize 表示在每一页的数据条数。 和API取数-按页数取数 不同的是,接口返回值中没有总页数 total_pages,需要手动计算。 参考文档: Ø 详情请参见:API取数-计算总页数并按页取数 零售业务场景方案 业务背景 超市等零售行业对卖场效率等要求越来越高,因此提升客户体验,同时如何快速扩充门店、智能化经营也是当前的主要目标。 零售企业的数据量普遍较大,高速增长的数据量和高时效性要求,需要强大的业务系统和工具支撑业务运作,来提升业务人员统计分析、查询等的工作效率。 受限于工具,x零售企业整体数据应用效率和应用水平不高,为业务服务不够,数据价值得不到充分的发挥。 数据层面: 1)数据孤岛,公司NEC平台等多个业务系统,数据未全部打通,无法关联进行全量报表展示 2)数据质量低,业务人员前端填报未做校验,表中存在作废数据,不合法数据,空值等,无法进行准确的数据统计 3)开源ETL工具无法满足高安全性,运维成本低,数据实时同步的需求,存在以下问题: 安全性问题:在需要手动执行抽数时,会需要进入服务器去更改执行文件,在未知的网络环境下,会给服务器带来风险; 运维成本高:缺少运维管理,无法快速定位出日志,带来极高的运维成本 高实时性要求:对于抽取频率较高的数据表,或需要实时同步的数据,开源ETL无法实现,对于后期业务需求,无法支撑数据时效性 应用层面: 数据不可用:NEC系统性能不好,通过基础数据通过SQL查询生成的报表,经常因为查询量大导致平台崩溃,降低了业务人员对报表的使用频率。 移动端无法查看:NEC平台无法与企微集成,需下载软件但对收集性能有较高要求,外出人员不能做到及时点击及时查询。 解决方案 文档:零售便利店场景应用方案、零售便利店新品监控 Demo:参见:案例体验          
FineDataLink文档月刊【2023年9月】
FineDataLink 产品月报汇集了每月的产品更新、客户案例以及文档活动,通过产品月报,您可以快速学习本月的新知识、新内容! 1、产品新功能 定时任务支持脏数据配置 用户可设置「脏数据阈值」,使任务具备一定容错性。当任务运行时遇到脏数据,达到「脏数据阈值」前将继续执行定时任务,达到「脏数据阈值」后再报错。 Ø详情请参见:定时任务调度配置 定时任务中可调用 Bat 脚本 支持通过 SSH 连接,调用远程 Windows 环境中的 Bat 脚本文件 Ø详情请参见:Bat脚本 数据发布API支持摘要认证方式 数据发布 API 支持摘要签名认证方式,避免认证信息和请求信息在传输过程中被截获和篡改,提升认证安全性 Ø详情请参见:摘要签名认证方式 更多功能 1)管道任务中 PostgreSQL 作为来源端时,支持设置同步源表结构变化。 2)「数据转换」节点中新增「Python 算子」,可调用 Python 脚本进行复杂数据处理。 3)支持将 BI SQL 数据集中的参数作为 API 请求参数;BI SQL 数据集参数支持在定时任务中使用。 更多详情请参见:4.0.29更新日志 2、最佳实践 使用高德接口获取城市天气数据 应用场景: FR 日报表中需要填写对应城市的天气信息,包括日期、天气、最高温度、最低温度等,目前只能通过城市名人工查询后获得这些信息。 FineDataLink 可简化上述操作流程:根据数据库表存储的城市数据,调用高德 API 接口,获取对应天气数据并存储到数据库,FR 报表直接取数即可。 参考文档: Ø 详情请参见:使用高德接口获取城市天气数据 FR模板调用定时任务接口 应用场景: 本文介绍 FR 模板调用定时任务接口的示例。 参考文档: Ø 详情请参见:FR模板调用定时任务接口示例 活动日程信息更新至企业微信日程 应用场景: 用户有些日程信息是通过 FR 填报到数据库或者保存到简道云中,原始信息可能会被其他部门进行增删改操作,因此用户希望将日程数据在企业微信中记录,方便在活动开始前对相关的同学做到自动提醒。 参考文档: Ø 详情请参见:活动日程信息更新至企业微信日程 更多方案请参见:最佳实践合集      
FineDataLink实战案例分享【0925周】
本周新增四个方案: 活动日程信息更新至企业微信日程 仅在工作日执行定时任务 订单补录数据按日汇总增量更新方案 解析并关联多个JSON数组字段 1、活动日程信息更新至企业微信日程 1.1 应用场景 用户有些日程信息是通过 FR 填报到数据库或者保存到简道云中,原始信息可能会被其他部门进行增删改操作,因此用户希望将日程数据在企业微信中记录,方便在活动开始前对相关的同学做到自动提醒。 1.2 实现思路 准备工作: 1)将简道云或线下收集的日程信息,保存到数据库中,为后续更新到企业微信日程做准备。 2)应用在调用日程接口前,需要先获得日程的使用权限,本文示例是通过「自建应用」调用日程接口。 3)通过 创建日历接口 创建一个全新的日历,且记下该日程的 cal_id 参数,在调用日程相关接口时会用到该参数。 FineDataLink 定时任务实现思路: 1)调用 日程 相关接口时,需要用到 access_token 参数,因此通过 调用 access_token 接口,获取 access_token 值。 2)将保存到数据库中的日程信息整合到一张表中,作为来源表;通过 获取日历下的日程列表 接口,获取日程详细信息,作为目标表;比对来源表和目标表的数据: 新增日程数据:输出某些字段作为参数,这些参数可拼接为 创建日程 接口的 body 数据。 修改日程数据:输出到 changed 表。 删除日程数据:输出到 deleted 表。 3)拼接 创建日程 接口的 body 信息,输出为参数,调用 创建日程 接口,新增日程信息。 4)通过 deleted 表中的日程名称字段,从 获取日历下的日程列表 接口信息中过滤出要删除的日程信息,将 schedule_id 字段输出为参数,调用 删除日程参与者 接口,删除日程。 5)将 changed 表中的日程名称字段输出为参数,从 获取日历下的日程列表 接口信息中过滤出要修改的日程信息,再与 changed 表数据进行关联,生成 更新日程 接口的 Body 数据,并作为参数输出;调用 更新日程 接口,修改日程。 1.3 实现过程 请参见文档:活动日程信息更新至企业微信日程 2、仅在工作日执行定时任务 2.1 应用场景 用户希望定时任务仅在工作日运行。 2.2 实现思路 调用判断当天是否为工作日的接口,若当天是工作日,进行常规后续节点运行;若当天不是工作日,可运行「虚拟节点」。如下图所示: 2.3 实现过程 请参见文档:仅在工作日执行定时任务 3、订单补录数据按日汇总增量更新方案 3.1 应用场景 用户业务系统订单表包含:订单ID、订单金额、订单交易日期、订单创建日期。正常情况下「订单交易日期」和「订单创建日期」在同一天,但可能会存在业务人员补录订单的情况,比如原本 5.1号交易的数据,在 5.10 号才补录进系统,此时订单创建日期为 5.10 号,订单交易日期为 5.1 号。 在搭建数仓的时候,ODS 层数据按照订单创建日期做增量更新,可正常进行更新; DM 层数据按照「交易日期」按日汇总每日的订单金额,并设置每次调度增量更新订单交易日期前五天的数据,但是由于补录数据不确定补录时间,例如 5.16 日更新前 5 天的数据,但5.16 日补录了「订单交易日期」为 5.1、5.2 日的数据,此时先删后更新的增量更新方案无法对补录的数据进行增量同步。 注:标黄为 5.16 补录的历史交易数据。 3.2 解决思路 首先对于没有补录的对应「订单交易日期」数据增量更新近 5 天的数据。 筛选出「订单创建日期」>「订单交易日期」的订单,取出其中的交易日期,代表此交易日期补录了数据,需要重新计算按日汇总订单金额。 3.3 实现过程 请参见文档:订单补录数据按日汇总增量更新方案 4、解析并关联多个JSON数组字段 4.1 应用场景 用户的 JSON 数据中包含多个数组字段,如下图所示: 希望解析数组字段,且解析后的字段一一对应。如下图所示: 4.2 实现思路 「JSON 解析」算子中,选择要解析的 JSON 字段后,修改 JSON 路径。 4.3 实现过程 请参见文档:解析并关联多个JSON数组字段      
FineDataLink实战案例分享【0918周】
本周更新: 1)新增方案:FR模板调用定时任务接口示例 2)整理一些新手问题 1、FR模板调用定时任务接口 1.1 应用场景 本文介绍 FR 模板调用定时任务接口的示例。 1.2 实现过程 请参见文档:FR模板调用定时任务接口示例 1.3 功能扩展 查看以下两篇文档,了解更多调用接口相关知识,可在简道云和外部系统中调用定时任务相关接口。 定时任务相关接口介绍 调用定时任务相关接口说明 2、新手FAQ 分类 文档 收集 FineDataLink 部署升级、产品模块的常见问题 工程部署FAQ 收集数据开发模块的常见问题 数据开发FAQ 收集数据管道模块的常见问题 数据管道FAQ 收集管理系统的常见问题 管理系统FAQ        
FineDataLink实战案例分享【0904周】
本周上新两个新方案,快来查看吧!!! 1、API取数-钉钉获取部门通讯录数据 1.1 应用场景 用户想要同步钉钉通信录中的部门信息和用户信息。 1.2 接口说明 接口文档详情参见:获取部门列表、获取企业内部应用的access_token、获取部门用户详情 1.3 实现思路 由于接口只能获取当前部门的下一级部门基础信息,不支持获取当前部门下所有层级子部门。因此需要依次根据父部门ID循环获取子部门ID,然后遍历循环部门ID,获取用户信息。 新建部门ID 数据表,赋值最上层部门ID为 1,开始循环 获取部门access_token 根据父部门 ID 循环取出所有部门ID 设置停止循环条件,得到部门ID信息表 通过接口和部门ID数据,获取部门用户详情 将部门ID信息表和部门用户详情数据表根据 dept_id 合并。 1.4 实现过程 请参见文档:API取数-钉钉获取部门通讯录数据 2、使用高德接口获取城市天气数据 1.1 应用场景 FR 日报表中需要填写对应城市的天气信息,包括日期、天气、最高温度、最低温度等,目前只能通过城市名人工查询后获得这些信息。 FineDataLink 可简化上述操作流程:根据数据库表存储的城市数据,调用高德 API 接口,获取对应天气数据并存储到数据库,FR 报表直接取数即可。 1.2 实现思路 使用 地理/逆地理编码接口 接口,根据城市名获得对应的城市编码。 使用 天气查询 接口,根据城市编码获取对应城市天气数据。 1.3 实现过程 请参见文档:使用高德接口获取城市天气数据  
FineDataLink实战案例分享【0828周】
本周上新三个新方案,快来查看吧!!! 目前「循环容器」节点不支持嵌套循环,文档提供了替代方案,可具体参见本帖第三个方案。 1、使用数据服务对数据分权限管控 1.1 应用场景 某公司旗下各个地区有多个分公司和分店,且使用的同一套业务系统。 业务数据会全部汇总到总部的数据库内,分店只能在业务系统上看到特定的分析和数据,无法实现自定义分析。 总部希望对数据进行分权限管控:总部按照地区提供数据,一个地区分店和分公司只能看到自己地区的数据,不允许看到其他地区的数据,各地区自行获取数据后在不同工具中进行数据分析和使用。 1.2 实现思路 总部使用 FineDataLink 的数据服务功能,将各个地区的业务数据通过设置 API 接口不同的请求参数,分发给各自区域; 各地区公司使用 FineDataLink 数据开发功能,将 API 接口数据处理落库; 各地区根据获取的数据自行在不同工具中进行数据分析和使用。 1.3 实现过程 请参见文档:使用数据服务对数据分权限管控 2、将经纬度数据转换为中文地址 2.1 应用场景 用户数据库存储了经纬度数据,希望转换成对应的中文地址(国家、省份、城市、区县、街道等),最后将转换后的数据保存到数据库中。 2.2 实现思路 可以调用高德或百度地址转换的 API 接口实现。 2.3 实现过程 请参见文档:将经纬度数据转换为中文地址 3、API取数-慧策接口获取库存全量数据(嵌套循环) 3.1 应用场景 某企业现在需要将某业务工单数据全部取出以供业务分析使用。 API取数-按页数取数 中可以使用页数和内置参数 loopTimes 进行取数。 但是如果遇到接口中需要使用业务参数,并且由于数据量大需要分页取出,由于每个业务参数都有不同的页码数,因此页码需要遍历,若条件循环中包含页码数参数,则无法将数据取出。 3.2 接口说明 接口文档详情参见:慧策-WMS库存全量查询接口 3.3 实现思路 从数据库或者接口中获取库存编码和仓库编码的所有编码值,并使用循环容器从 API 中取出所有的编码值对应的数据总条数 total; 使用公式计算每个编码值按照指定的page_size 得到的总页码数; 使用 SaprkSQL 获取所有编码值对应的页码列表page_no,方便后续作为遍历参数遍历进行 API 取数; 将page_size、page_no、两个编码字段作为请求参数,在 API 中进行取数,设置为遍历这些参数,取出所有的数据。 3.4 实现过程 请参见文档:API取数-慧策接口获取库存全量数据          
123下一页
个人成就
内容被浏览325,686
加入社区3年336天
返回顶部