4.0.26 版本已发布，本次更新内容为： 1、【数据源】管道任务支持SAP HANA读取 2、【功能】定时和管道提供高级建标特性 3、【功能】支持Hive分区表创建和写入 4、【功能】支持利用并行取数提高读写效率 5、【功能】定时任务支持调用数据库存储过程   如果你想了解更多详情，请点击：「产品更新」新增BI公共数据作为数据源、并行取数提高数据读写效率、存储过程调用增强等 (qq.com) 一、  数据源   1、管道任务支持SAP HANA读取数据 SAP是一套被企业广泛使用的ERP系统，大多数企业会为了业务更灵活地数据分析，需要将数据导出后自行分析，一般会选择调用RFC函数或配置SAP HANA数据源- FineDataLink帮助文档 进行定时取数。4.1.4版本开始，数据管道来源端支持SAP HANA数据库，用户可以通过管道任务对接SAP HANA实时取数，从而满足企业对更高时效性的需求。     数据管道配置数据源 💠详情： 支持的数据源范围- FineDataLink帮助文档     2、  将BI「公共数据」作为数据源   从4.1.3版本开始， 在数据源处提供BI公共数据，支持读取多个 FineBI 工程的数据，同时支持通过指定用户账号密码限制权限，保障使用安全。 ● 数据连接处配置数据源 ● 数据开发通过「数据同步」或「数据转换-数据集输入」可直接选择“公共数据”     数据来源远程公共数据选项 💠详情： 配置远程公共数据源- FineDataLink帮助文档   3、定时和管道提供高级建表特性   从4.1.3版本开始，在数据处理进行表输出时，在自动建表时提供建表功能以增加更多自定义特性，例如：定义表编码（UTF-8、ASCII等）、添加索引（帮助快速定位表中的特定行）、定义建表的类型（列式存储、行式存储）等，此功能同时应用于数据开发和数据管道。   手动建表配置 💠详情： 类型数据同步功能说明- FineDataLink帮助文档   4、Hive分区表创建与写入   从4.1.3版本开始，面对Hive大数据量的数据存储情况下，一般通过时间、地理、类别进行分区，提高查询速度。在FDL4.1.3的定时任务中，提供Hive在自动建表时支持分区表的创建，提供更好的“一站式”操作体验。   数据同配步置分区表 💠详情： 读取、创建、写入分区表- FineDataLink帮助文档    5、Doris&StarRocks支持自动建表   从4.13版本开始，当客户构建数仓时使用Doris、StarRocks作为目标库时，由于Doris、StarRocks有多种表类型，大多需要手动建表，然后进行ETL配置，操作比较繁琐。在FDL4.1.3中，支持Doris、StarRocks的自动建表功能，同时可以定义表类型。 支持的表类型有： ● Doris：明细模型（Duplicate Key）、主键模型（Unique Key） ● StarRocks：明细模型（Duplicate Key）、更新模型（Unique Key）、主键模型（Primary Key）   另外，结合高级建表功能，用户可以修改建表语句，定义更灵活丰富的建表属性。   💠详情： 配置管道任务-表字段映射- FineDataLink帮助文档 数据同步功能说明- FineDataLink帮助文档    6、  数据服务/数据管道支持Db2数据源   在数据服务模块中，FineDataLink 支持将处理好的数据库中的数据通过 API 形式发布出去，供其他工具使用。 从4.1.3版本开始，新增支持Db2数据源. 目前数据服务模块已支持： MySQL、SQL Server、Oracle、PostgreSQL、GreenPlum、FineBI公共数据、IBM DB2、Doris、TiDB、Impala、TRANSWARP INCEPTOR、StarRocks、GaussDB 200、阿里云Maxcomputer以上十四种数据源。   在数据管道模块中，4.14版本新增支持Db2数据源，用户可以在管道任务中选取Db2数据源进行实时的数据同步。 目前数据管道模块已支持： MySQL、SQLServer、Oracle、PostgreSQL、Kafka、GaussDB200、Greenplum、Doris、StarRocks、TiDB、ClickHouse、Amazon Redshift、SeaboxMPP、SAP HANA、IBM Db2以上十五种数据源。   💠详情： FineDataLink支持的数据源- FineDataLink帮助文档 IBM DB2环境准备- FineDataLink帮助文档   二、  数据开发   1、定时任务支持运行到此节点   常见场景：当运行的多个节点处于整个流程的前半部分时，为了更新上游数据，便于调试，就可以使用「运行到此节点」。   从4.1.4版本开始，在数据开发右键菜单中加入「运行到此节点」选项，在「任务运维」-「运行记录」-「任务记录」中加入「重试」选项。可以使任务从头运行到此并产生实例。   定时任务运行至此节点 💠详情： 运行至此节点- FineDataLink帮助文档   2、文件读取、输出优化   为了支持更多种类的文件数据解析落库，以及确保从Finedatalink输出的文件支持从Finedatalink获取数据。 在4.1.4版本对文件读取、输出进行了一系列的优化：   ● 对齐文件输入输出配置，使文件输出配置选项和文件输入配置选项保持一致。 ● 开放上传的文件类型，不限制后缀名，本地/FTP/SFTP上的json/xml等文件也可以解析为二维表上传; ● 文件输出CSV数据时可以将CSV文件的后缀设置为txt\tsv\log等。同时，在文件输入CSV数据时也可以将后缀为txt\tsv\log的数据作为CSV文件输入。   文件输入支持更多文件与后缀 💠详情： 文件输入功能说明- FineDataLink帮助文档 文件输出算子功能说明- FineDataLink帮助文档   3、支持直接选表同步数据的功能   4.1.3版本新增支持获取来源表的schema信息，现在在数据同步节点、「DB表输入算子」、「参数赋值」、数据服务的发布内容及参数中新增直接选表的配置方式，并支持配置过滤条件。可以选择从下拉框直接选表，不需要写入任何SQL代码。 未来会基于此衍生出一系列的高级特性。例如支持同步DDL、多库多表同步。   DB表输入配置 💠详情： 数据同步功能说明- FineDataLink帮助文档   4、利用并行取数提高读写效率(MySQL\Oracle\SQL Server) 4.1.3版本针对数据库的特性做一些性能优化。在数据同步、数据转换的输入、输出算子下，增加并行取数的配置项，利用并行取数提高了读写效率，耗时最大可以缩减约80%。   并行取数配置 💠详情： 数据同步功能说明- FineDataLink帮助文档   5、定时任务支持调用数据库存储过程（MySQL\Oracle\SQL Server)   4.1.3版本在定时任务支持调用数据库存储过程 新增两种调用方式：   ● SQL脚本新增了“存储过程”选择项,支持传入任务参数和动态参数。  ● 「数据同步」、「数据转换」、「参数赋值」新增了“存储过程”选择项， 调用数据库存储过程支持选择返回的结果集。     存储过程参数配置   💠详情： 定时任务调用数据库存储过程- FineDataLink帮助文档   三、  任务运维 1、产品各模块内存资源和并发控制 常见场景：有些公司ETL任务一般是夜晚进行，就需要为ETL任务在白天分配低内存，在夜晚分配高内存，从而实现资源的合理配置。   新版本在负载管理功能下新增「负载分配」模块。支持将数据管道、数据开发和数据服务的内存资源拆分，可以独立控制。支持数据开发、数据管道的并发控制，可以灵活调整不同模块的任务并发数。   负载管理配置   💠详情： 负载分配- FineDataLink帮助文档   2、定时任务自定义调度日历   常见场景：金融类外企/银行的工作日和节假日执行时间非正常工作日，定时任务的调度时间需要自定义。   ● 新版本在任务运维-调度计划中新增「调度日历配置项」，可以上传日历文件作为调度日历。 ● 在定时任务模块下的调度计划-定时调度中可以灵活设置任务调度所引用的日历并进行可视化预览。     调度日历配置   💠详情： 定时任务运维-调度计划- FineDataLink帮助文档   3、  提供定时任务\数据管道\数据服务的批量操作   常见场景：面对大量任务，手动开启任务或者调整调度计划需要耗费许多时间。 新版本提供的批量操作功能可以优化用户使用体验。  例如在定时任务中一键全选或者多选任务，执行批量设置容错机制、任务属性、结果通知操作。   ● 支持定时任务调度批量开启/关闭与设置任务控制（超时/重试/脏数据/任务优先级/结果通知） ● 支持管道任务批量启动\暂停 ● 支持API批量上下线   批量处理管道任务   💠详情： 定时任务运维-任务管理- FineDataLink帮助文档 管道任务运维- FineDataLink帮助文档 服务运维- FineDataLink帮助文档   四、  最佳实践合集 在过去的一个月里，我们根据众多客户的使用场景，在原有数仓搭建、API取数专题、数据告警和业务场景的基础上进行了更新：   1、金蝶K3系统以起始行为参数接口取数 当在金蝶K3 Cloud系统接口需要进行分页报表取数时，但没有有提供页码参数时，需要根据接口中返回的总行数，开始行索引参数以及返回行数限制参数进行取数。       2、API取数-钉钉获取部门用户信息 钉钉作为企业的通讯平台，需要获取钉钉中的用户和所在部门数据进行分析，但接口每次只能获取当前部门的下一部门基础信息，并不能获取当前部门下所有层级子部门信息，方案提供了获取所有部门和用户信息的方法。     3、  数仓搭建-数仓拉链表实践 当需要获取一个事物从最开始到当前状态的所有变化信息时，一般采用拉链表用来存储当天最新数据以及之前的历史的数据，这样既能满足反应数据的历史状态，又能最大限度地节省存储空间，但拉链表的实践在远比普通表难度要高，此方案提供了数仓拉链表的实践。     除此之外，还有一些其他场景：基于旺店通和手工Excel的电商场景销售分析、基于EAS、OA系统的财务收入核算场景等，欢迎大家直接登录Demo平台进行查看。     💠 产品更新详情： 4.1.3更新日志- FineDataLink帮助文档 4.1.4 更新日志- FineDataLink帮助文档    点击此处，直接体验   若有企业试用需求，请填写此申请表单，我们的工作人员会在3个工作日内联系您！