本文将从以下要点带你了解如何搭建数仓拉链表： 1、业务背景 2、解决思路 3、方案内容 4、报表体验 如果你还想学习更多FineDataLink应用技巧，可以点击：FineDataLink学习路径 (qq.com)   1. 业务背景 电商经营由于通常涉及多个自营店铺和其他各种分销店铺，销售渠道链路长、各类数据繁杂零碎，数据监控和取用相对困难，因此对数据的管理和整合就显得非常重要。 x电商公司在数据的整合和管理方面，主要遇到两个问题： 1）通过旺店通取数，然后在 Excel 中整合，各部门根据自己的口径进行取数和即时分析，数据口径不统一，出现大量重复工作。 2）由于采用 Excel 做了大量的数据分析，但由于电商数据庞杂，遇到了性能瓶颈限制。 3）电商全平台的分析过程中除了销售额、利润等常见指标，还有一些难以量化和对比的因素，Excel 分析存在瓶颈，无法将货盘趋势整合进来，不能敏锐捕获市场变化，导致对电商数据监控不足，为业务服务不够，数据价值得不到充分的发挥。 2. 解决思路   2.1 方案理念 要解决上述问题，更好的管理电商经营数据，让数据充分发挥价值，就必须： 将处理好的庞杂的数仓数据统一存储数据库，并提供高性能、能够即时分析的 BI 平台进行数据分析和展示，解决各部门 Excel 分析带来的数据不统一、分析无法溯源、数据无法共享、重复工作多等问题；避免大数据量 Excel  造成的性能问题。 根据数仓数据制作全平台销售库存货盘分析，监控全平台整体销售等情况，敏锐监控市场变化。 因此采取以下方案： 1）优化获取业务数据流程：利用 FineDataLink 数据集成工具，对接旺店通等电商经营数据平台并入库，结合填报的数据，建立数据仓库，助力形成数据分析架构线上化，实现数据口径的统一。 2）搭建数据仓库框架：使用FDL搭建数仓，将各业务系统数据统一梳理到数仓，整合维度表，并建设好DW、DM层的逻辑框架； 3）提供统一的分析平台：提供统一的 BI 分析平台，将数仓处理好的统一口径的数据对外提供，便于业务进行即时分析，避免使用 Excel 带来的性能问题和重复工作，同时可实现数据共享。   2.2 方案架构 首先梳理业务流程，然后将各个阶段业务流程对应的数据表单进行梳理，整理数据关系，为搭建数据仓库做准备。 电商经营数据地图如下图所示： 1）使用 FineDataLink 搭建数仓： 旺店通电商系统中由五张表构成：货品档案 qm_wdt_erp_goods、销售出库 qm_wdt_erp_stockout_detail、退货入库 qm_wdt_erp_stockin_refund、采购qm_wdt_erp_purchase_order_detail、库存查询qm_wdt_erp_stock_spec。 各表的功能如下： 表 作用 货品档案 qm_wdt_erp_goods 明细表：获取ERP的货品档案资料，包括商家编码、货品编号、货品名称、品牌、创建时间、零售价等等。 销售出库 qm_wdt_erp_stockout_detail 明细表：获取ERP销售出库单信息，包括商家编码、店铺名称、发货时间、发货地区、总货款、货品数量等等。 退货入库 qm_wdt_erp_stockin_refund 明细表：获取ERP的退货入库单单据信息，包括商家编码、店铺名称、制单时间、入库总金额、数量等等。 采购qm_wdt_erp_purchase_order_detail 明细表：获取ERP内采购单信息，包括商家编码、采购编号、采购确认量、到货入库量、预计到货时间等等。 库存查询qm_wdt_erp_stock_spec 明细表：获取ERP单品（sku）的库存量，包括商家编码、待采购量、仓库名、采购在途量、可发库存、创建时间等等。 手动维护的填报数据如下： 表 说明 店铺平台表 dim_store 维度表：店铺名-平台名 品牌映射表dim_brand 维度表：品牌名-品牌统计名 小类团队映射表dim_goodstype_team 维度表：小类-团队 例如核心是通过销售出库与退货入库、采购、库存数据明细关联和计算获取销售收入、净利润，然后再与货品档案和其他维表关联带上商品编码、店铺信息等形成宽表。 数据库源表间逻辑关系如下图所示： FineDataLink 和旺店通 ERP 系统对接，取出明细数据，同步至数据仓库形成 ODS 层； 手工维护的维度数据导入库中，并使用 FineDataLink 对数据进行关联，并清洗、计算，得到衍生可应用的指标，装载入企业数据仓库，生成 DW 层明细数据，再根据仪表板展示需要对明细进行汇总、时间段处理生成前端可以直接使用的 DM 层数据，以便后续被 BI 用来制作分析看板。注：tmp 为处理数据的中间表。 搭建好的数据仓库数据表明细如下表所示： ODS 、 DW 、DM 层任务见第三章具体说明。 2）其次，使用 FineBI 对宽表进行数据处理、展现、数据分析，制作全平台销售库存看板，实现即时分析和监控。 监控全平台整体销售达成情况，分析全年销售趋势，对平台、品牌销售的明细和分布进行探查，做到对平台-团队-店铺和品牌-品类项目的统筹管控。 按照品牌和单品分类分析库存情况，关注货盘结构、货盘明细，分析在库库存情况。 3. 方案内容   3.1 全量同步业务系统数据，形成ODS层 将来自旺店通 ERP 系统的接口数据取至指定数据库，如下图所示： 调度任务： 同时，手动填报维护店铺、品牌等维度数据表，导入数据库中，如下图所示：   3.2 关联计算生成DW销售明细数据 根据不同维度要求和不同主题域，DW层为各商家编码的关键指标宽表。 调度总任务： 基于 ODS 层数据，根据「货品档案 qm_wdt_erp_goods」和手动维护的维度表进行处理，获取货品维度表「dw_goods_weidu」 然后将「销售出库 qm_wdt_erp_stockout_detail」和「退货入库 qm_wdt_erp_stockin_refund」进行维度汇总整理。 最后将货品维度和出入库数据、采购单数据进行关联，生成商家编码销售明细「dw_spec_sale」，该数据表中包含了以商家编码为维度的销售收入、退货额、采购价格等等销售明细数据，如下图所示： 3.3 汇总数据生成DM主题层 按照前端仪表板的展示需求，DM层在DW层的基础上将数据进行进一步整合和处理，形成：商家编码维度销售和库存宽表、地区销售额表。 调度总任务： 将明细层的数据：商家编码销售明细「dw_spec_sale」与库存数据合并，并对销售额、库存等数据按照各个时间区间进行汇总，得到商家的各种时间段销售+库存数据「dm_spec_stock」，如下图所示： 将明细层的数据：商家编码销售明细「dw_spec_sale」降维并汇总成本、收入、毛利等等数据，生成商家编码维度销售汇总数据「dw_spechz_sale」，如下图所示： 另一方面，汇总降维获得地区维度的销售数据表「dm_area_index」，如下图所示： 至此，商家编码维度销售数据和库存数据即可被使用制作可视化看板。   3.4 数据引入 FineBI 分析平台并制作驾驶舱 1）为了便于进行电商经营数据的应用，将数仓搭建好的 DW层和 DM 层数据接入 BI 分析系统。后续所有业务人员可持续使用统一数据源进行分析。 2）制作全平台销售库存分析看板，实现即时分析和监控。 监控全平台整体销售达成情况，分析全年销售趋势，对平台、品牌销售的明细和分布进行探查，做到对平台-团队-店铺和品牌-品类项目的统筹管控。 按照品牌和单品分类分析库存情况，关注货盘结构、货盘明细，分析在库库存情况。   4. 案例体验   4.1 FineDataLink数仓在线体验 点击 Demo体验 登录后，搜索「电商经营场景」，点击即可体验。具体操作步骤如下图所示：     4.2 报表体验 点击 Demo体验 登录后，在目录中选择「FineDataLink最佳实践」，即可查看「电商全平台分析」看板。具体操作步骤如下图所示：   点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档 由0到1，带您进入FineDataLink的世界

    本文将从以下要点带你了解如何搭建数仓拉链表： 1、概述 2、实现方法 3、操作步骤 4、效果查看 如果你还想学习更多FineDataLink应用技巧，可以点击：FineDataLink学习路径 (qq.com)   1. 概述 1.1 应用场景 在实际业务场景中，做数据增量更新的时候，有时候会碰到以下情况： 当表数据很大时，每次更新只有很小一部分数据，如果只保留一张全量表，则无法查询历史某个时间段表的全量记录。如果每天都保留一张全量表，则会增大存储压力。 这时候解决方案就是制作拉链表，拉链表就是在原表的基础上，新增两列记录每条数据记录的生命周期开始和结束时间。 1.2 思路 注：若来源表数据小于 10000 ，可参考本文方案；若来源表数据大于 10000，可参考：数仓拉链表（来源表数据大于10000） 定时任务数仓拉链表的整体构建思路为：目标表内的所有数据只增不减，对于来源表新增、删除、更新数据的处理如下： 来源表有数据更新，则在目标表中：插入更新的数据，原记录失效时间变化为新记录插入时间。 来源表数据有新增记录，则在目标表中：直接插入新增的数据，生效时间为当前插入时间，失效时间不封顶。 来源表有数据删除，则在目标表中：对该记录失效时间进行变更，表明该记录失效。 任务 DEMO 详情参见： 官方demo：https://demo.finedatalink.com/   02场景案例>数据仓库场景>03数仓拉链表 2. 实现方法 2.1 场景说明 数据库 test_2 中新建一张表 LLB_1，作为来源表，其主键为 ID，如下图所示： 数据库 test_1 中新建一张表 LLB_2，作为目标表，KEY_VALUES 为主键，自增序列（即行号），如下图所示： 目标表 LLB_2 中保留着来源表 LLB_1 上一次更新的数据，而当前来源表已经发生了如下改变： 删除了 1001 线圈的记录 新增了 1004 木材的记录 更改了 1002 铜管的 UNIT 为 5000 接下来要将来源表数据的变化，更新到目标表中，同时满足保留历史快照的要求。 2.2 方案说明 在 FineDataLink 中任务设计如下图所示： 3. 操作步骤 3.1 对删除的数据进行标记 1）首先需要获取来源表 LLB_1 里 ID 字段的所有数据，便于后续将其作为参数，与目标表数据进行对比，找到来源表删除的数据。 创建一个定时任务，将一个「参数赋值」节点拖到设计界面，并重命名为「获取来源表主键字段ID」，输入 SQL 语句，如下图所示：   -- 获取来源表中ID的所有值SELECT ID FROM LLB_1 2）将获取到的 ID 设置为参数，如下图设置，设置好后可使用参数预览先看看效果。 3）接着需要对目标表 LLB_2 中存在但来源表 LLB_1 中不存在，并且尚未标记过失效（ODS_END_DATE时间为2199-12-20 23:59:59）的被删除的数据进行标记。 将一个「SQL脚本」拖到设计界面，重命名为「标记目标表中失效字段」，并用线条跟上游「获取来源表主键字段ID」节点连接。 输入 SQL 语句，如下图所示：   -- 筛除出目标表中存在但是来源表不存在，且尚未标记过失效的字段，进行标记（update）UPDATE LLB_2 SET LLB_2.ODS_END_DATE = NOW()WHERE LLB_2.ID NOT IN (${LLB_1_ID}) AND LLB_2.ODS_END_DATE = '2199-12-20 23:59:59' 此步骤目标表中 1001 线圈数据（也就是在来源表中已经删除的数据）的更新时间会被改为当前任务执行的时间，即标记其已经失效，如下图所示： 3.2 将新增数据写入目标表 1）获取目标表 LLB_2 里 ID 字段的所有数据，便于后续将其作为参数，与来源表LLB_1数据进行对比，找到来源表新增的数据。 将一个「参数赋值」节点拖到设计界面，并重命名为「获取目标表中所有ID值」，并用线条跟上游「标记目标表中失效字段」节点连接。输入 SQL 语句获取 LLB_2 表里 ID 字段的所有数据，如下图所示： -- 获取目标表中ID的所有值SELECT ID FROM  LLB_2 2）将获取到的 ID 输出为参数，如下图设置，设置好后可使用参数预览先看看效果。 注：此处要设置默认值，作用是下游节点可以预览数据和配置映射关系，但是运行任务时不会使用这些默认值。      3）接着需要对来源表 LLB_1 中存在但目标表 LLB_2 中不存在，也就是新增的数据写入目标表 LLB_2。 将一个「数据同步」节点拖到设计界面，并重命名为「将新增的数据写入至目标表」，并用线条跟上游「获取目标表中所有ID值」节点连接。 写入 SQL 语句获取来源表新增的数据，如下图所示：   -- 获取来源表中存在但是目标表中不存在的字段，即新增的数据SELECT *,'2199-12-20 23:59:59' AS ODS_END_DATE FROM LLB_1  WHERE ID NOT IN (${LLB_2_ID}) 4）再设置这个数据同步节点的数据去向，将新增的数据写到目标表 LLB_2 中去。 5）由于来源表和目标表的字段有一些不一致，因此在写入的时候，字段映射采用「同名映射」，同时需要手动调整对应目标字段，如下图所示： 字段映射关系详情参见：数据同步 3.3 节。 此步骤目标表中会新增 1004 木材数据（也就是在来源表中新增的数据），如下图所示： 3.3 将更新的数据写入目标表 3.3.1 找到更新的数据 1）获取目标表 LLB_2 里 ODS_BEGIN_DATE 最晚时间，也就是最近一次数据同步的时间，便于后续将其作为参数，与来源表LLB_1数据进行对比，找到来源表更新的数据。 将一个「参数赋值」节点拖到设计界面，并重命名为「获取目标表最大时间戳」，并用线条跟上游「标记目标表中失效的字段」节点连接，输入 SQL 语句，获取目标表 LLB_2 中最近一次数据同步的时间，如下图所示： SELECT MAX(ODS_BEGIN_DATE) FROM LLB_2 2）将取出来的最近一次同步时间输出为参数，如下图设置，可以使用参数预览先看看效果。 3）此时即可根据最近一次更新时间获取来源表 LLB_1 中存在更新的数据。 将一个「参数赋值」节点拖到设计界面，并重命名为「获取存在更新的字段ID」，并用线条跟上游「获取目标表中所有ID值」和「获取目标表最大时间戳」节点连接。输入 SQL 语句如下图所示：   -- 获取来源表中存在更新的数据-- 获取思路：在来源表中寻找更新时间戳大于目标表中最大更新时间戳，且在目标表中已经存在的字段行SELECT * FROM LLB_1 WHERE LLB_1.LAST_UPDATE  > '${LAST_UPDATE}' AND LLB_1.ID IN (${LLB_2_ID}) 点击数据预览即可看到来源表中有数据更新的数据 1002 铜管数据，如下图所示： 4）将更新过的 ID 输出为参数，如下图设置，可以使用参数预览先看看效果。 3.3.2 将更新数据对应的历史数据标记为失效 找到来源表更新的数据，然后即可将更新数据对应的历史数据标记为失效。 将一个「SQL脚本」拖到设计界面，重命名为「标为失效」，并用线条跟上游「获取存在更新的字段ID」节点连接，输入 SQL 语句，如下图所示：   -- 存在更新的数据插入目标表后，历史的数据就可以标记为失效了UPDATE LLB_2 SET LLB_2.ODS_END_DATE = NOW()WHERE LLB_2.ID IN (${UPDATE_ID}) AND LLB_2.ODS_END_DATE = '2199-12-20 23:59:59' 此步骤，目标表中会将来源表更新的数据对应的历史数据标记为失效，即结束时间由之前的 2199-12-20 23:59:59 改为任务更新的时间，如下图所示： 3.3.3 将新数据写入目标表 1）找到来源表更新的数据，可以将更新数据作为一条新的数据写入目标数据表。 将一个「数据同步」节点拖到设计界面，并重命名为「将更新的数据写入至目标表」，并用线条跟上游「获取存在更新的字段ID」节点连接，然后写入 SQL 语句，因为新写入的数据并没有失效，所以需要将 2199-12-20 23:59:59 写入目标数据表的 ODS_END_DATE 字段中。   -- 在来源表中，获取存在更新的字段行SELECT *,'2199-12-20 23:59:59' AS ODS_END_DATE FROM  LLB_1WHERE LLB_1.ID IN (${UPDATE_ID}) 2）再设置这个数据同步节点的数据去向，将更新的数据写到目标表 LLB_2 中去。 3）由于来源表和目标表的字段有一些不一致，因此在写入的时候，字段映射采用「同名映射」，同时需要手动调整对应目标字段，如下图所示： 字段映射关系详情参见：数据同步 3.3 节。 此步骤目标表中会新增 1002 铜管数据（也就是在来源表中更新的数据），作为一条新增的数据写入目标表，同时结束时间显示为 2199-12-20 23:59:59，即未失效，如下图所示： 3.4 运行任务 执行该定时任务。   4. 效果查看 更新后的目标数据表中会有如下变化： 已经删除的 1001 线圈的记录，标记为失效（即 ODS_END_DATE 时间更新为当前时间） 新增一条 1004 木材的数据，ODS_END_DATE 时间设置为2199-12-20 00:00:00 即未失效 新增一条 1002 铜管数据，ODS_END_DATE 时间设置为2199-12-20 00:00:00 即未失效，UNIT 为 5000；同时，之前铜管的数据标记为失效（即 ODS_END_DATE 时间更新为当前时间）           点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档 由0到1，带您进入FineDataLink的世界

本文将从以下要点带你了解如何搭建实时ODS层数仓： 1.1 背景 1.2 思路 2.1 设置ODS层任务 2.2 设置DW层任务 2.3 设置DM层任务 2.4 设置总调度任务 3、结果查看   如果你还想学习更多FineDataLink应用技巧，可以点击：FineDataLink学习路径 (qq.com) 1.1 背景 数仓调度场景概述 介绍了如何使用 FineDataLink 将不同数据源数据整合并搭建数据仓库，通过设置定时任务更新调度实现数据仓库数据的持续更新。 其中在构建 ODS 层数据时，用户需要将大量业务系统数据进行原表原样迁移，使用「数据开发」完成此环节时，需要设置多个调度任务、数据同步/数据转换节点，配置复杂的更新逻辑。 使用「数据管道」功能，则可以实现整个数据库或者多张数据表原表原样实时同步，大大方便了数据仓库的搭建，提升开发效率。 1.2 思路 首先将分散在各个业务系统的原始数据使用 FDL 的「数据管道」功能批量实时同步至数据仓库的 ODS层； 其次通过定时同步将 ODS 层数据表中新增部分，写入到 DW 层数据表，用户可以根据实际情况选择合适的数据更新方式，详情参见：数据更新专题 最后通过定时同步将 DW 层的数据进行汇总，集中至 DM 层数据表，用户同样需要根据数据实际情况进行数据更新设置，形成可供直接分析的结果数据。 1.3 效果预览 任务层级如下图所示： 2. 操作步骤 步骤 说明 设置 ODS 层任务 设置 ODS 层任务需要将来自不同数据库的「财务数据」和「销售数据」通过使用 FineDataLink 的「数据管道」功能原表原样实时同步落库至指定数据库 设置 DW 层任务 DW 层任务即将 ODS 层数据中更新的数据同步至 DW 层数据中。若已有的 DW 层数据中最新更新时间（比如最新的销售时间）晚于 ODS 层数据中的时间，即 ODS 层有新数据生成，需要将其同步至 DW 层中，同时记录更新的开始时间和结束时间，并发送消息通知。 设置 DM 层任务 DM 层使用更新的数据进行数据处理，将 DW层的销售数据和财务数据进行关联，合并成宽表并输出至指定数据库，为其他报表等可视化工具提供数据源。 设置总调度任务 三个层级的数仓都已经设置完成，接下来就可以将 ODS、DW、DM 层的调度任务进行组合，通过调用任务的形式组合在一个任务中，方便后续的任务管理和触发。 2.1 设置ODS层任务 在设置任务前，请先参考 数据管道概述第二节 进行环境准备。 2.1.1 设置销售数据管道任务 点击数据管道>新建管道任务，如下图所示： 将存放「销售数据」的「demo」数据库中对应的原始选中，如下图所示： 点击「下一步」，将数据同步至目标数据库，也就是存放 ODS 层数据的「test_1」数据库，如下图所示： 点击下一步，修改目标表名称，如下图所示： 点击下一步，设置异常通知和通知方式等，如下图所示： 最后保存并运行任务即可，如下图所示： 2.2 设置财务数据管道任务 同理，新建管道任务，并将存放「财务数据」的「test_2」数据库中对应的原始选中，并同步至存放 ODS 层数据的「test_1」数据库中，如下图所示： 然后设置字段映射和异常通知，并保存和启动任务，如下图所示： 完成后的管道任务如下图所示： 此时，ODS 层数据库「test_1」中即会出现原表原样实时同步的「财务」和「销售」数据表，如下图所示： 2.2 设置DW层任务 DW 层任务的设置方式与数仓调度场景概述同理，详情参见设置DW层任务，此处不在赘述。 2.3 设置 DM 层任务 DM 层任务的设置方式与数仓调度场景概述同理，详情参见设置DM层任务，此处不在赘述。 2.4 设置总调度任务 三个层级的数仓都已经设置完成，接下来就可以将 ODS、DW、DM 层的调度任务进行组合，通过调用任务的形式组合在一个任务中，方便后续的任务管理和触发。 由于此处 ODS 层任务使用了「数据管道」功能，因此不需要对其进行调度任务设置，只需要对 DW 层和 DM 层进行调度即可，如下图所示： 操作步骤与设置总调度任务同理，本文不在赘述。 3. 结果查看 设置好以上任务后，即可运行任务「调度总任务」，消息通知任务运行情况：   点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档 由0到1，带您进入FineDataLink的世界

​在2023年，我们开展了三次精彩的数据集成类直播分享活动，广受大家欢迎，在这里我们进行了汇总。感兴趣的朋友们，一起来看看吧！ 如果您对我们的产品是如何在企业中实际应用感兴趣，可以点击：FR+简道云+FDL，帆软全家桶助力科华数据业务IT一体化，加速数字化新变革 (qq.com) 一、业务驱动的轻量化数仓建设实践 在23年上半年我们从众多客户优秀的实践中进行了提炼，通过直播的方式，为打算建立数仓、建立了数仓却苦于如何应对变化，以及建立了数据中台如何快速响应诉求的客户提供一些新的思路，帮助大家选择最适合各自企业的数据治理方案： ● 思路：灵活响应业务的轻量数仓建设方法 ● 干货：数仓分层设计 &  数据时效性优化 ● 工具：多源异构数据高效整合和数据开发 ● 工具：巧用API提升数仓的数据变现价值 ● 案例：某制造500强集团低成本数仓实践 💠直播回放链接：业务驱动的轻量化数仓建设实践   二、FineDataLink4.1 让流动的数据更有价值 FineDataLink 在2023年10月发布了4.1新版本，在原有定时同步、数据开发、流程调度、任务运维的基础上有了新的扩展，例如实时同步、异常处理、数据服务、集群、插件等新的功能或操作体验，向新一代数据集成工具迈出了一大步，以满足企业数据多源集成需要，提供更好的一站式、上手即用的使用体验。 另外基于帆软产品，介绍了一些数据集成过程中的通用型方案： 实时性更高的Lambda架构，解决传统的数仓架构难以满足当前时代企业对数据时效性问题。 数据服务协助企业构建端到端的数据中心，提升集成效率，降低后期管理和运维的成本。 企业级数据分析全链路打通，使得IT主导的数据中心建设和业务驱动的数据建设能够同时进行，实现IT和业务的双核驱动。   💠直播回放链接：FineDataLink4.1直播回放 💠精彩问题回顾：问题回顾-FineDataLink4.1 让流动的数据更有价值   三、数据仓库行业实践分享 经常遇到客户希望我们分享更多的数仓实际项目实践，所以在12月我们请到了制造业数仓专家唐国梁、资深数仓项目经理尹仕杰一起分享数据仓库落地过程中真实场景与解决方案。 首先，尹仕杰老师介绍了建筑和高校行业的数仓建设。在建筑行业，由于数据标准化程度低和系统间交互不足，许多企业虽有大量数据却难以发挥其价值。他提出了三步实施策略：数据资产化梳理、数据主体化构建和数据场景化落地，从而在实现全面的业务数据监管，技术层面上确保数据安全与平台稳定。 其中，对于高校行业，为了解决数据安全和数据共享问题，通过数据仓库整合各种数据源，形成统一的数据集市，支持高校的消费、成绩、科研等分析。     唐国梁老师分享了制造业数仓的演进路径，以某大型制造公司为例，他将项目实施分为三个阶段：重点环节切入、关键部门业务全覆盖、打通企业数字化分析。第一阶段解决了核心场景的数据取数效率低的问题，并建立了系统化数据分析体系。第二阶段实现了业务数据的全覆盖。最后则全面覆盖业务板块，实现了数据融合和稳定的数仓架构。   💠直播回放链接：数据仓库行业实践分享   点击此处，直接体验   若有企业试用需求，请填写此申请表单，我们的工作人员会在3个工作日内联系您！

本文将从以下要点为你分享数仓在财务应用场景下的落地经验： 1.引言 2.企业财务部门面临的数据困境分析 3.财务场景下的数仓实施方案 4.案例经验分享   如果您还想了解FineDataLink在企业中实际应用的案例，可以点击：乘风破浪，数字化助力中广电器集团业务全面提升，打造大国品牌！ (qq.com)                     一、引言   财务部门作为企业的“数据中枢”，汇集了企业从业务前端到财务管理后端的大量数据。 然而数据质量参差不齐、数据标准不统一、数据之间 “血缘关系”不明确，以及“数据孤岛“等问题极大限制了财务数据管理过程中数据要素价值的释放。 本文旨在分享数据仓库如何优化财务数据管理。   二、企业财务部门面临的数据困境分析   1.  数据集成困境 ● 由于大部分企业尚未实现数据的全面无感采集，因而仍需手动将某些数据由“线下”搬至“线上”。手动录入使数据集成存在效率低和易出错的特点。例如，受限于手动采集发票信息，企业无法实时监控进项税、销项税等财务数据。 ● 财务部门的工作需要从不同的系统（如会计软件、销售系统、采购系统等）收集相关数据，而这些系统往往是缺乏协同和连通的“烟囱式”系统。“烟囱式”系统间“数据孤岛”会导致数据检索、溯源、共享困难。   2.  数据标准困境 ● 不同系统之间指标数据的含义和计算口径的不统一。例如业务系统会将“销售额”视为实际销售总额，而财务系统会将其定义为在会计准则下允许确认的收入，这将导致收入和实际销售总额之间存在差异。 ● 数据的格式、单位、精度的不统一。例如不同来源数据的日期格式、货币单位、数字保留精度都会对财务核算造成影响。   3.  数据质量困境 ● 准确性：会计信息需要真实公允地反映企业财务状况，如果数据存在错误或失实，将会产生严重的后果。 ● 完整性：财务涉及的数据通常源自多个系统。当其中任何一个系统出现故障，将会导致数据不完整的情况。 ● 一致性：会计上的一致性原则是指企业各个会计期间所用的会计方法和程序应当相同，不得随意变更。违反一致性原则将导致各类指标缺乏可比性，降低会计信息的使用价值。 ● 时效性：财务数据的及时性是公司决策的基础。如果财务数据不能及时反映业务变化，管理层将难以了解公司真实的经营状况。如预算制定、投资决策、财务计划等都需要准确和及时的财务数据支持。同时公司管理层也需要通过财务数据监控业务变化，例如新增客户、订单变更、产品促销等。   三、  财务场景下的数仓实施方案   1.  构建数据仓库——实现财务数据的统一、共享、复用 数据仓库允许将来自各种源（会计系统、CRM、ERP、市场数据等）的数据集中存储，打破了不同系统之间数据的隔阂，实现财务数据的流动共享。通过集成，可以确保数据的一致性和确定性，从而提高数据质量。这使财务人员可以更低成本地获取所需的数据，进而使数据在互通和共享的基础上实现重复使用。 通过梳理底层数据，搭建面向报表分析的数据仓库，对营收、回款等核心财务指标做口径统一和数据整合，为实现数据分析和统计报表的规范化、标准化和统一化奠定基础。     2.搭建数据报表——实现财务数据的实时响应与监控 通过将数仓对接报表软件进行报表处理、展现、数据分析，数仓数据被转化为直观的报表，将复杂的财务数据通过图表、趋势线、热图等形式展现，使非专业人员也能快速理解数据的含义。 提供了实时的财务数据监控，使得管理者可以即时监控财务状况和业务表现，快速响应市场变化。 可视化报表自动从数据源获取最新数据并更新，减少报告编制的时间和错误。     四、案例经验分享   在这个案例中，这家高新材料企业面临的主要挑战是财务收入核算和梳理非常困难，为业务服务不够，数据价值得不到充分的发挥，他们的财务报表制作周期长，且难以快速响应市场变化，这直接影响了企业的竞争力。 1.数据仓库搭建： 通过FineDataLink构建的数据仓库，将基础数据（出库单、销售订单、收款单、费用科目清单、理论运费等）进行整合，以主题的形式将数据进行汇总分类，例如管理损益分析主题、票据分析主题、费用分析主题。数据仓库的搭建为后续基于各种核心主题进行可视化报表分析提供了数据底层支持。     2.搭建统一的报表分析平台：    通过FineReport实现统一的报表处理和数据分析，这不仅保证了数据的可追溯性和共享性，还提高了报表制作的效率和质量。统一的报表分析平台可以帮助企业管理者更快地获取关键财务指标，从而做出更加明智的决策。在报表搭建工程中，我们最终实现了“24+3+15”的报表格局。 其中包含了24个数据填报表，3个逻辑维护表，15个展示报表。 覆盖了费用分析、收入分析、损益分析、票据分析、权限管理五大模块。     3.案例价值： 最终建立出一个智能化的财务数据分析平台。 业务数据、财务数据通过FineReport录入，经过Finedatalink的处理后搭建为数仓，并作为报表平台的底层去支持各个主题的分析并可视化呈现。 通过实施本项目，该企业实现了财务数据梳理效率和报告准确性的大幅提升。财务团队不再需要耗费大量时间进行数据整理和核对，可以将更多精力投入到战略规划和分析上。同时，管理层通过即时的财务数据报表，可以快速做出基于数据的决策，增强了企业的市场响应速度和竞争力。     点击此处，直接体验   若有企业试用需求，请填写此申请表单，我们的工作人员会在3个工作日内联系您！

4.0.26 版本已发布，本次更新内容为： 1、【数据源】定时任务支持MaxCompute读取 2、【功能】定时同步支持直接文件输出 3、【功能】 定时和管道任务支持失败重跑 4、【功能】定时任务&API支持复制 5、【功能】FDL支持在Weblogic和WAS上部署   一、新增数据源 1、MaxCompute MaxCompute 是一种快速、完全托管的 TB/PB 级数据仓库解决方案，常作为企业的数据仓库。为了使得MaxCompute中数据发挥更大的价值，此次适配使得MaxCompute能快速便捷连接外部SaaS应用、通讯工具等，完成业务数据的集成、传输。 MaxCompute架构 基于MaxCompute进行数据开发 MaxCompute数据连接   2、文件输出 Excel/CSV等文件数据，在ETL/ELT场景中多作为数据源输入，但部分场景下需要作为输出，将数仓、数据库的数据到导出为文件（本地服务器或者是指定FTP/SFTP服务器上）。 文件输出这一功能，使得来自于任一数据源（数据库、API、SaaS应用等）的数据直接或者是经过处理后，输出到Excel/CSV。常见场景： ① 数据定时、批量以文件形式存档 ② 系统数据维护，将其他系统的数据导出，再通过excel导入更加方便 ③ 需要将加工好的数据（甚至是大数据量）通过文件形式分享给业务人员使用、分析 ④ 系统数据交换，强制需要以文件形式下发数据给其他业务系统使用 文件输出配置   二、任务管理 1、定时任务&API支持复制 在ETL/ELT任务开发过程中，经常会遇到任务相似性极高的情况，为了方便进行快速配置，此次更新支持用户自行进行任务复制。 常见场景： ① 任务流程相似度高，通过复制任务更改部分配置项即可使用② 管理员建立标准模板，普通开发人员复用标准模板 数据开发-任务复制 API数据服务-任务复制   2、任务支持超时限制、失败重跑 因为网络原因（网络原因导致的临时数据连接中断、配置库连接中断等）而导致的中断任务，任务可设置自动重跑和超时限制，减少因为网络原因而导致的人工检查工作量。 数据开发-超时限制、失败重试配置项 数据管道-失败重试配置项     详情：4.0.26更新日志- FineDataLink帮助文档 (fanruan.com)    点击此处，直接体验   若有企业试用需求，请填写此申请表单，我们的工作人员会在3个工作日内联系您！

4.0.24版本已发布，本次更新内容为： 1、【功能】定时任务文件读取功能优化2、【功能】定时任务读写端适配星环数据库3、【功能】StarRocks:定时支持读写&管道支持写   1、定时任务文件读取功能优化。 支持批量读取同格式的Excel和CSV文件。可以批量读取文件夹下同格式的所有文件，提升读取文件的效率。   支持 Excel 和 CSV 文件自定义输出字段类型。当文件字段类型取数不准确时，用户可以校准输出字段类型，提升文件取数质量。   支持CSV文件跳过前N行取数。当使用 SAP 应用定时导出的CSV头部包含特定的文件信息，需要跳过后读取后面的数据时，可以选择此设置项读取文件。   支持TXT文件读取，选择 CSV 类型支持 TXT 文件读取。 支持忽略后缀名大小写读取，不需要手动修改文件后缀即可自动识别读取，更加便捷。   2、定时任务读写端适配星环数据库 支持使用星环 TRANSWARP INCEPTOR 数据库作为数据开发定时任务的读写端； 详情请参见：配置TRANSWARP INCEPTOR数据源 在数据连接中建立 FineDataLink 与数据库之间的联系，如下图所示：   可以使用数据源，在数据同步、参数赋值、数据转换-DB表输入、数据转换-DB表输出、SQL脚本中进行数据的读取或者写入。 下图示例为数据同步中使用星环 TRANSWARP INCEPTOR 数据进行数据开发。   3、StarRocks:定时支持读写&管道支持写 支持使用 StarRocks 数据库作为数据开发定时任务的读写端； 支持使用 StarRocks 数据库作为数据管道管道任务的写入端； 详情请参见：配置StarRocks数据源 在数据连接中建立 FineDataLink 与数据库之间的联系，如下图所示：   可以使用数据源，在数据同步、参数赋值、数据转换-DB表输入、数据转换-DB表输出、SQL脚本中进行StarRocks数据的读取或者写入。 也可以在数据管道使用数据源进行数据写入，配置数据管道任务。 下图示例为数据同步中使用StarRocks 数据进行数据开发。     详情：4.0.24更新日志- FineDataLink帮助文档 (fanruan.com)    点击此处，直接体验 若有企业试用需求，请填写此申请表单，我们的工作人员会在3个工作日内联系您！

FineDataLink的数据开发模块支持在可视化界面使用各个节点和算子进行数据的抽取、转换和装载，并通过定义周期调度任务实现数据定时同步，帮助您轻松构建离线数仓，保证数据生产的高效稳定。 1. 功能概述 功能 描述 多种数据源间的ETL、ELT 处理 数据开发支持多种数据源，可以将多种来源数据进行数据处理和集成。 详情请参见：定时任务支持的数据源。 定时任务管理 数据开发中通过定时任务存放设计好的业务流程。 通过文件夹对定时任务进行管理。 任务开发 功能丰富 提供数据同步和数据转换节点，实现数据高效灵活的 ETL 和 ELT 。 提供SQL脚本和Shell 脚本节点，实现脚本控制。 提供多种流程节点，可结合数据同步和数据转换进行复杂逻辑处理。例如条件分支、循环执行、输出结果传递等复杂流程控制。 操作简单 提供业务流程可视化开发机制，可通过拖拽组件方式快速实现数据开发。 提供智能化的SQL编辑器。使用SQL编辑器时，提供复制和格式美化功能。 任务调试 通过手动执行任务，根据任务运行日志进行任务调试。 运行日志详情参见：运行日志介绍。 任务调度 提供了定时调度功能，可以定期自动运行定时任务，以保证数据能够及时更新。 开始时间：设置任务开始执行时间 执行频率：任务执行频率 结束时间：设置任务结束执行时间 结果通知：对调度任务运行后的执行结果，如果执行失败会进行通知 任务运维   任务支持灵活调度、运行状态实时监控，便捷的操作将会释放运维人员巨大的工作量 运行记录：可以通过筛选和搜索的方式查看任务运行状态、运行耗时以及任务运行的历史日志。 任务管理：查看任务调度配置情况。 资源控制：限制数据平台占用的内存和带宽，减弱在集成部署下对 FineReport 或 FineBI 服务的影响。同时在独立部署时，可控制数据开发所占用的内存资源。 2. 数据开发介绍 2.1 界面介绍 可通过数据开发界面介绍和快捷键介绍了解数据开发操作界面。   2.2 功能介绍 节点是组成定时任务的基本单位，多个节点通过线条连接后可确定执行流程，进而组成一个完整的定时任务。FineDataLink目前有如下节点：   将鼠标悬浮至节点列表，会出现节点的用法解释，您可快速查看当前节点任务用法：   节点基本介绍和数据开发操作流程等详情请参见：帮助文档   点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档 由0到1，带您进入FineDataLink的世界

1. 概述 1.1 应用场景 在在构建数仓和中间库时，如果企业业务数据量级较大，可能会面临以下问题： 如果使用数据同步批量定时同步，数据很难做到高性能的增量同步。 如果使用清空目标表再写入数据的方式，面临目标表一段时间不可用、抽取耗时长等问题。 因此希望能在数据库数据量大或表结构规范的情况下，实现高性能的实时数据同步。   1.2 功能说明 FineDataLink监听数据管道来源端的数据库日志变化，利用Kafka作为数据同步中间件，暂存来源数据库的增量部分，进而实现向目标端实时写入数据。 支持对数据源进行单表、多表、整库数据的实时全量和增量同步，可以根据数据源适配情况，配置实时同步任务。 2. 约束限制 管道任务仅支持在独立部署环境下使用。 管道任务不支持同步视图和索引。   3. 功能概述 功能 描述 多种数据源间的数据同步 实时同步支持多种数据源，可以将多种来源端及目标端数据源搭配组成同步链路进行数据实时同步。 数据同步场景 支持对数据源进行单表、多表、整库数据的实时全量和增量同步。 同步类型为存量+增量同步：先对所有存量数据完成同步，随后持续同步新增的变化数据（增/删/改）。 实时数据同步任务配置 实时同步任务配置无需编写代码，通过简单的任务配置即可实现单表、整库实时数据的同步。详情请参见：配置数据管道任务。 实时同步任务运维 支持对同步任务进行监控，详情请参见：管道任务运维。 支持对任务运行状态、同步数据量等进行监控。 并通过邮件、短信、电话和钉钉等方式将报警信息发送给报警接收人，方便您及时发现并处理任务异常。 4. 数据管道支持的数据源 MySQL SQL Server Oracle GaussDB 200 PostgreSQL Greenplum、Greenplum（并行装载） Kafka Doris... 具体支持版本和环境准备等详情请参见：帮助文档     点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档 由0到1，带您进入FineDataLink的世界

1. 概述 1.1 应用场景 ETL工具适用于企业处理大量数据、备份数据、监控数据等场景。在数据梳理之后，需要进行定时任务调度。相比手工处理，定时任务调度可以自动化定时地完成数据处理过程。 FineDataLink提供了定时调度功能，可以定期自动运行定时任务，以保证数据能够及时更新，相比于传统定时任务调度大大简化了调度流程。     1.2 功能简介 定时调度在任务里面设置，点击任务右上方的调度配置即可打开设置界面。 可以设置任务的开始时间、结束时间、执行频率 任务执行的结果可以发送给其他人查看 注：调度配置的时间跟随服务器时间。 2. 配置介绍 2.1 开启调度 进入设置界面后，调度功能默认是关闭状态，需要手动开启，操作如下图所示：   2.2 设置调度 调度开启后，可以对这个调度的开始时间、执行频率、结束时间进行设置。 注1：设置执行频率后，每次任务执行完毕后才会开始下次执行，在此之前，任务处于排队状态。 注2：设置频率后，若某一次定时任务执行失败，等到下次执行时间，依然会自动执行任务。 其中执行频率有四个可选设置项，每个设置的说明如下表所示： 执行频率 说明 对应结束时间 只执行一次 在调度开始后，该任务只运行一次 无需设置结束时间 简单重复执行 在调度生效过程中，该任务会简单重复运行 例如：每天运行一次、每周运行一次等 结束时间有三种选项：无限期、设定结束时间、额外重复执行次数 若设定额外重复执行次数为2，那么该调度一共会运行任务 3 次 明细频率设置 可进行细化的间隔时间设置 例如可设置：每月的 3 号和 13 号各运行一次 比简单重复执行功能更强大 结束时间有两种选项：无限期、设定结束时间 表达式设定 利用公式设定「特定时间」 设定方式可参考：Cron表达式设置 结束时间有两种选项：无限期、设定结束时间   2.3 结果通知 开启结果通知可以将任务执行的结果发送给其他人查看。 可以通过三个渠道发送任务执行结果： 短信通知：若要使用短信通知，用户需要先开启短信服务 平台消息：开启平台消息后，对应负责人可在平台消息上查看到运行结果 邮件提醒：若要使用邮件提醒，用户需要先配置邮箱 注：消息通知仅在任务执行失败时，才会通知，任务执行成功不会通知。 若设置了平台消息，则任务执行失败通知如下图所示： 若设置了邮件提醒，则任务执行失败通知如下图所示：   点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档 由0到1，带您进入FineDataLink的世界

前段时间，我们分享了数仓的分层设计、时效性优化以及灵活建设方法，浅讲了当前国内企业在搭建数仓上遇到的问题，最后为大家提供了多源异构数据整合和数据开发的工具——FineDataLink数据集成平台的两大特性。 在直播结束后，收到不少大家关于对接数据源的提问。例如，FDL能调用第三方API接口获取数据吗？能对接SAP系统的数据吗？以及是否能进行数据的写入？ 因此本篇我们将详细介绍，FineDataLink作为数据集成工具，能对接哪些数据源，适用的场景有哪些？ FineDataLink从不同数据源进行离线或实时同步，进一步进行转换、清洗等操作，向任意目标端进行写入，实现任意数据源的数据互通。   一、已支持的数据源 首先来简单看一下现阶段（2023.5）FineDataLink支持的数据源类型。按照不同的维度，大致划分如下： 关系型数据库：MySQL、Oracle、SQL Server、PostgreSQL、SQLite、HSQL、IBM DB2、Informix 大数据类：SAP HANA、Hadoop Hive、Impala、ClickHouse、Presto、Greenplum、Greenplum（并行装载）、HP Vertica、Doris 国产数据库：达梦、人大金仓Kingbase、华为GaussDB 200、南大通用Gbase 8A NoSQL：MongoDB 消息队列：Kafka 文件类数据源：FTP/SFTP文件服务器、Excel、CSV 接口类型：RestAPI、WebService、简道云、SAP RFC 其他：服务器数据集等 FineDataLink目前已支持七大类型、30+种数据源（API接口统一算一种），覆盖大部分版本和主流认证方式，已支持的数据源如下图所示： 这些数据源由FineDataLink的统一数据连接模块对接，然后选择离线或实时同步模块，进行数据集成。 详情：FineDataLink支持的数据源-帮助文档 多源异构数据集成，抢先试用 二、应用场景 1、数据复制 技术原理：基于日志的结构化数据复制技术，不依赖源数据库的触发器或者规则，能以极少的系统开销实现秒级数据实时增量同步复制。 应用场景：跨地域跨业务数据实时同步、数据备份、云上数据快速下云备份。 详情：告别T+1，迈出全链路实时第一步！   2、数仓搭建 技术原理：基于ODS、DWD、DWS、ADS和DIM分层设计，通过数据对接、API对接、数据关联、比对更新等数据开发过程，配合任务调度依赖、定时调度配置等完成数仓建设。 应用场景：整合多源异构数据，基于业务进行企业级数据仓库搭建，提升数据使用质量，以解决业务频繁拿数以及自主分析需求。 详情：数仓介绍直播 过往案例： 应收账款周转率翻倍！沈阳电信工程局利用简道云+FR+FDL+数知鸟的帆软全家桶工具，释放数据的潜藏价值！ 安特威 | 年入过9亿，这家阀门制造企业如何用帆软全套产品建设高时效BI体系 实时大数据时代，看制造业龙头—惠科如何实现“智造”升级的？   3、基于API的企业数据资产 技术原理：通过SQL语句，快速将加工、融合后的多源异构数据封装成规范化API发布，全面兼容主流数据库，普通工程师通过浏览器、无需原厂商配合，即可完成分钟级别API接口数据发布。 应用场景： 对外能力开放：将企业内部数据以标准API的形式，开放给外部合作伙伴或第三方，可管可控地与外部用户共享服务和数据，达成深度合作，共建新生态。 内部业务集成：规范系统间API数据接口，快速完成企业内部系统的解耦和实现数据的交换。 申请试用FineDataLink 若有其他需要，可以添加小助手微信 ↓

1. 概述 1.1 问题描述 很多客户希望采用FineDataLink搭建数据仓库，数据仓库中ETL任务的调度配置是非常关键的一方面。我们希望数仓层级中的ODS层、DW层和DM层，层层相关，并且每个层级的ETL任务都是以最高的效率来执行的。   1.2 目标场景 客户需要搭建包含ODS、DW、DM3层的数据仓库： ODS层是由业务系统直接拉取过来的原始数据。 DW层是基于ODS层进行汇总处理的中间层数据。 DM层是基于DW层，并且根据报表展示诉求而加工获得的结果层数据。 其中业务系统有3套，OA、ERP和线下Excel数据： ERP和线下Excel数据每天固定更新一次。 OA数据不定期更新。 为提高执行效率，当OA系统数据有变化时，对应ODS层ETL任务才需要运行。   1.3 解决方案 通过参数赋值节点获取OA系统最新的更新时间，再通过参数设置功能和条件分析节点进行控制。 若ETL任务执行的当天OA系统有数据更新，ODS层则执行OA、ERP和Excel。 若OA系统当天未更新，ODS层则仅执行ERP和Excel数据，DW层和DM层基于ODS层数据进行处理。 由于每个层级内的ETL任务比较多，为方便查看，可以通过调用任务节点进行管理，形成数仓调度任务。 注意：由于DW层ETL任务需要引用OA系统对应ODS层数据，当数仓调度任务首次执行时，恰好当天OA系统数据并没有更新，此时DW层对应任务将会执行失败。 为避免此报错的产生，数仓调度任务开启运行前，需要单独运行ODS层中获取OA系统数据的同步任务一次，具体设计方法见下方。   2. 任务开发流程 我们累计需要创建4个ETL任务，分别是：数仓-ods层、数仓-dw层、数仓-dm层、数仓调度层。 2.1 数仓-ODS层 由于ODS层中OA系统相关数据表仅有1张，所以此表的数据抽取，创建于数仓调度层ETL任务中，通过独立的数据同步节点完成。 ERP和线下Excel数据预计有6张表，如果在数仓调度层的ETL任务中使用6个数据同步节点，会使ETL任务显示比较臃肿，所以我们创建一个ETL任务，命名：数仓-ODS层，在数仓调度层ETL任务中引用数仓-ODS层ETL任务即可。 为提高ODS层内多个ETL任务的执行效率，我们设置该层所有任务可并行运行，我们运用虚拟节点指向多个数据同步节点，完成此思路，具体设置见下方。   2.2 数仓-DW层 参考ODS层任务设计，我们再创建一个ETL任务，命名：数仓-DW层，该层中的3个数据同步节点，分别从ODS层的ERP、OA、Excel3类数据表汇总加工数据，并存储至DW层中间表。   2.3 数仓-DM层 参考ODS层、DW层任务设计，我们再创建一个ETL任务，命名数仓-DM层，数据同步中获取的数据，均来源于DW层数据表，具体设置见下方。   2.4 数仓调度层 2.4.1 获取OA最新更新时间 创建数仓调度层ETL任务，命名：数仓调度层，使用参数赋值节点，max()函数获取OA系统中更新时间的最大值，并将此时间点赋值给updatetime参数，sql语法和节点显示效果见下方。 select date_format(max(starttime),'%Y-%m-%d') from updatetime 2.4.2 判断OA系统今日是否更新 1）参数设置 使用自定义参数功能，创建today参数，类型选择日期，值为yyyy-mm-dd，含义为ETL任务运行时的日期。 2）条件分支 使用条件分支、数据同步、调用任务节点，将条件分支节点分别连向ODS层的2个流程； 条件分支节点中，进行设置： 当updatetime参数和today参数数值相等时，即OA系统最新更新时间为今日时，执行ODS层-OA、1-ODS层-ERP流程。 当两个参数数值不等时，即今天OA系统没有进行数据更新，执行2-ODS层-ERP流程。 具体设置如下： 2.4.3 调度配置 使用调用任务节点，将参数赋值、条件分支、数仓-ODS层、数仓-DW层、数仓-DM层衔接起来，设置调度配置，设置ETL任务的更新频率，数仓-ODS层、数仓-DW层、数仓-DM层，3个ETL任务不再需要设置单独的调度配置频率，跟随数仓调度层ETL任务的更新频率即可。   2.5 任务运行 为保证ODS层中OA数据表不为空，所以任务正式运行前，需要单独运行一次ODS层-OA节点； 若ETL任务运行当天，恰好OA系统进行了数据更新，运行日志效果如下，其中【2-ODS层-ERP、EXCEL】节点被跳过执行。     点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档 由0到1，带您进入FineDataLink的世界

4.0.23版本已发布，本次更新内容为：1、【功能】Doris:定时支持读写&管道支持写 定时任务的读写支持 Doris 数据源。具体请参见：FineDataLink支持的数据源 2、【功能】数据管道支持逻辑主键 对于无法设置物理主键的数据表，数据管道支持设置逻辑主键。如下图所示： 详情请参见：设置字段映射   3、【功能】API输出交互功能和交互优化 API 配置中的 body 请求内容支持使用 Content-Type 为 form-data 和 x-www-form-urlencoded 请求格式，允许添加多行、每行均为自定义输入、支持引用参数，详情参见 功能说明中的Headers请求参数表格 其中，API 输出、数据同步-API、API输入、参数赋值的API输入 中都做了上述修改。   4、【功能】提供公式函数（基于新增列） 「数据转换」节点中新增「新增计算列」算子，支持对常量、参数和其他字段进行公式计算或逻辑映射，将结果放到新的一列，参与后续运算或进行输出。 详情请参见：新增计算列   详情：4.0.23更新日志- FineDataLink帮助文档 (fanruan.com)  点击此处，直接体验 若有企业试用需求，请填写此申请表单，我们的工作人员会在3个工作日内联系您！  

1. 概述 1.1 应用场景 用户给关键业务指标设置了预警阈值进行监控，一旦达到阈值，通过企业微信/钉钉等渠道迅速向责任人告警，缩短业务决策周期。 用户希望通过邮件/企业微信等渠道，向成员发布信息或罗列特定事务。 1.2 实现思路 使用「参数赋值+条件分支+消息通知」节点实现。 1）使用「参数赋值」节点，将要提醒的内容及责任人的数据取出，输出为参数，将参数传递给「条件分支」节点。 注：本文示例是通过企业微信群机器人进行提醒，所以对应负责人的数据需要是企业微信成员的用户ID或者手机号，方便企业微信群机器人识别用户。详情可参见：企业微信群机器人  2）「条件分支」节点通过参数判断：若存在提醒内容，执行「消息通知」节点，提醒负责人；若不存在提醒内容，则不执行「消息通知」节点。 3）设置调度配置定时执行任务。 1.3 任务展示 FineDataLink 中的数据处理过程，详情参见：https://demo.finedatalink.com/ 「场景案例>数据告警>使用消息通知推送数据至企业微信群」。 2. 示例 本文示例效果：2023-03-31 日，对未上传销售数据的店铺进行提醒。之后每天，若有店铺未上传数据，企业微信群中进行提醒。 2.1 场景模拟 每天晚上六点，各门店负责人需要将今天的销售数据上传给总部，若某个门店今天忘记上传数据，晚上 7 点希望在企业微信群提醒门店负责人。 示例数据：分店名称汇总.xls、每日销售数据汇总.xls 1）「分店名称汇总」表信息如下图所示： 本文示例中，「消息通知」节点中的企业微信群机器人是通过「用户ID」识别成员并进行通知的，门店负责人名字与企业微信中的「用户ID」一一对应。 实际场景中，「分店名称汇总」表中需要包含负责人的「用户ID」或者「手机号」，便于后续步骤中企业微信群机器人识别出群成员并进行通知。 2）「每日销售数据汇总」表信息如下图所示： 2.2 方案说明 1）使用「参数赋值」节点，将今天未提交销售数据的门店及对应负责人的数据取出，输出为参数，将参数传递给「条件分支」节点。 注：门店对应负责人的数据需要是企业微信成员的用户ID或者手机号，方便企业微信群机器人识别用户。详情可参见：企业微信群机器人  2）「条件分支」节点通过参数判断：若今天有门店未上传数据，执行「消息通知」节点，提醒门店负责人上传数据；若今天所有门店都上传了数据，则不执行「消息通知」节点。 3）设置调度配置定时执行任务，保证每天都能对忘记上传数据的门店进行提醒。 2.3 筛选数据并作为参数输出 1）新建定时任务。 2）新增「参数赋值」节点，筛选今天未上传销售数据的门店及对应负责人信息。如下图所示： select 门店,负责人 from 分店名称汇总 where 门店 not in (select distinct 门店 from 每日销售数据汇总 where 日期= curdate()) 点击「数据预览」，如下图所示： 本文示例中，「负责人」这列的值与企业微信成员的「用户ID」一一对应。 2）将未上传销售数据的门店及对应负责人分别作为参数输出。 本文示例中，「负责人」所对应的值与企业微信群成员的「用户ID」一一对应，若分隔符选择「文本型」，参数「name」的值会增加单引号，无法与企业微信群成员的「用户ID」对应上，所以此处选择的数值型分隔符。 同时，不希望「门店」对应的值有单引号，所以参数「store」分隔符选择数值型分隔。 注：参数赋值节点中各设置项如何设置请参见：参数赋值 2.4 设置条件分支节点 1）添加「条件分支」节点与「参数赋值」节点相连；添加「消息通知」节点、「虚拟节」点，与「条件分支」节点相连。如下图所示： 2）设置「条件分支」节点，若今天有门店未上传数据，则执行「消息通知」节点，在企业微信群通知对应负责人；若今天所有门店都上传了数据，则执行「虚拟节点」。如下图所示： 2.5 设置消息通知节点 各设置项介绍请参见：消息通知。具体设置如下图所示： 2.6 设置定时执行 在调度配置中，设置该定时任务每天晚上 7 点执行。如下图所示： 2.7 结果展示 若当天有门店未上传销售数据，在企业微信群进行提醒。如下图所示：     点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档 由0到1，带您进入FineDataLink的世界

1. 概述 1.1 JSON解析 JSON 解析技术可以对 JSON 数据进行解析关联，解决复杂数据处理问题，大大提高数据处理的效率。本文分享JSON解析的场景实践和注意事项，在文末点击链接可以免费学习和体验。 1.2 应用场景 用户处在以下场景时： 公司做了一张表，记录员工的打卡数据，其中打卡数据是以 JSON 格式存储的，现在希望对 JSON 格式的数据进行拆解，解析成可以直接分析的二维表。 用户需要获取百度投放的广告点击数据进行分析，百度提供了 API 接口，但是返回的数据并不规则，想要通过 API 接口将需要的字段解析出来存储到自己公司的数据库内用于分析展示。 此时可使用 JSON 解析算子，对输入的数据进行解析。 1.3 功能简介 JSON 解析算子用于解析 JSON 结构的数据，输出行列格式的数据。 2. 示例 2.1 场景模拟 图书数据是以 JSON 格式存储的，保存在接口数据中。 http://fine-doc.oss-cn-shanghai.aliyuncs.com/book.json 现在希望对 JSON 格式数据进行拆解，解析成可以直接分析的二维表。如下图所示： 2.2 创建任务 创建一个定时任务，将一个「数据转换」节点拖到设计界面。如下图所示： 2.3 设置数据输入 点击「数据转换」节点，将「API输入」拖到数据转换的设计界面，如下图设置数据来源，取出 API 接口中所有数据。如下图所示： 接口地址：http://fine-doc.oss-cn-shanghai.aliyuncs.com/book.json 注：API 接口数据取数详情参见：API入门 2.4 设置JSON解析 再将「JSON解析」拖到设计界面，并使用线条跟它的上游「API 输入」相连。 点击「JSON解析」对它进行设置，取出需要的字段，如下图所示：   「解析配置」界面具体设置项介绍如下表所示： 设置项 介绍 选择JSON 将直接获取的 JSON 格式数据或者从来源表中选择 JSON 格式数据合并到下拉框可选项中。 如果上游为API输入算子，则默认选择default，如下图所示： 若上游为DB表输入或者其他输入算子，则可以选择需要解析的JSON来源字段，如下图所示： 解析后保留所有上游输出字段 未勾选该按钮，解析后的结果：只保留所选源字段解析后的数据 下图以本文第三章为示例，比较「解析后保留所有上游输出字段」按钮是否勾选的区别： 解析JSON数据 选择 JSON 节点，即可解析： 注：json解析的时候建议选择最开始的节点，此时为绝对路径下的解析，否则直接勾选指定字段，使用相对路径解析，数据解析结果可能会有错误。 可手动编辑、删除字段，如下图所示： 点击「数据预览」，如下图所示： 2.5 设置DB表输出 再将「DB表输出」拖到设计界面，并使用线条跟它的上游「JSON解析」相连。 点击「DB表输出」对它进行设置。如下图所示： 调整写入数据表的字段映射，如下图所示： 2.6 运行任务 1）点击右上角「保存」按钮。点击右上角「保存并运行」，日志有执行成功信息表示任务成功运行。如下图所示： 可以看到数据库 FRDemo 中新增了一张表 json，为解析后数据。如下图所示： 3. 注意事项 问题描述： JSON解析配置成功后，重新再打开，发现解析配置中的「JSON数据来源」丢失，需要重新选择。 原因分析： JSON解析获取API数据源的时候，API返回数据超过默认的超时时间，所以JSON解析获取前置数据源失败。 解决方案： 请求时间默认为 10秒，若用户的数据量较大，接口请求时间较长，4.0.13 以及之后的版本可以在FDL的 Header 内使用 FDLTimeout 字段设置超时时间。 该参数参数值需要写入正整数，如下图所示： 注：若数据量较大，JSON 格式数据建议取消勾选「将解析后的JSON数据展开为二维表」，否则会增加加载响应时间。     点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档 由0到1，带您进入FineDataLink的世界

本期亮点： 1、【交互】数据开发/任务运维内的统计可以改成实时刷新2、【交互】国际化现存问题适配优化3、【视觉】登录页设计和产品内显著视觉问题优化 登录风格新增「大窗口」样式，如下图所示： 「登录logo」和「背景图片」新增「恢复默认」按钮，点击恢复默认的样式，如下图所示：   4、数据开发、数据管道任务运维前端重构5、SparkSQL算子可以支持同一个前置节点重复使用6、GP并行装载比对字段选择优化   详情：4.0.22更新日志- FineDataLink帮助文档 (fanruan.com)    点击此处，直接体验 若有企业试用需求，请填写此申请表单，我们的工作人员会在3个工作日内联系您！  

《业务驱动的轻量化数仓建设实践》直播即将上线！提前预约不迷路！ 现在参与报名，你可以获得： 思路：灵活响应业务的轻量数仓建设方法 干货：数仓分层设计 &  数据时效性优化 工具：多源异构数据高效整合和数据开发 工具：巧用API提升数仓的数据变现价值 案例：某制造500强集团低成本数仓实践 学习：专家跟踪解决数据治理相关问题 福利：免费试用数据集成平台FineDataLink 锁定今天下午16:00，企业数字化解决方案专家彭信远老师与你不见不散~   点我立即报名        

在数据驱动的时代，大部分企业都有报表/BI数据分析项目，用来快速响应业务需求、或者业务自主分析来满足对数据的诉求。在近期的交流中，我们发现不管是数据中台、数据仓库还是中间表，如何快速上手做好高质量、易维护且贴切业务的数据模型是大家亟待解决的问题。 对此，我们准备了一场《业务驱动的轻量化数仓建设实践》直播为大家介绍我们的方案和实践，为打算建立数仓、建立了数仓却苦于如何应对变化，以及建立了数据中台如何快速响应诉求的客户提供一些新的思路，帮助大家选择最适合各自企业的数据治理方案。 点击下方参与报名，你可以获得： 思路：灵活响应业务的轻量数仓建设方法 干货：数仓分层设计 &  数据时效性优化 工具：多源异构数据高效整合和数据开发 工具：巧用API提升数仓的数据变现价值 案例：某制造500强集团低成本数仓实践 学习：专家跟踪解决数据治理相关问题 福利：免费试用数据集成平台FineDataLink   点我立即报名 或扫码添加数据治理解决方案专家报名 活动详情页面：【直播报名】业务驱动的轻量化数仓建设实践

4月20日下午16:00 帆软为您带来数仓建设和业务新实践操作指南、案例分析。 前100名报名免费送《BI建设地图》需要进群领取，会后直播资料和ppt也将在群内进行分享，大家赶快进群吧！