【FDL 体验报告】接口同步,省时省力!

楼主
up up up

1、本次体验点

1.1 对接的数据库及业务系统

对接业务系统:SASS客服系统

数据库类型:Oracle

目标数据库:数仓的Oracle数据库

1.2 体验功能点:参数赋值、循环容器、Spark SQL、RestAPI输入、JSON解析

应用需求:客服平台无法进行个性化数据分析,故需将数据同步本地,用以支撑后续决策分析!

解决方案:

      1. 取接口返回值总页数作为参数传递给循环容器
      2. 循环容器通过条件循环设置循环结束执行条件:循环次数小于等于总页数时结束循环

1.2.1 参数赋值

解决场景:因接口规则限制,每次调用需传签名参数,通过【参数赋值】将加密参数传入API地址中。

体验成果:可灵活多变的配置接口所需参数

      • 接口中需用到时间戳及字符串唯一标识,通过参数赋值sql查询可以直接生成参数
      • 接口需通过循环分页取数,请求参数中必须要有当前页码参数,每次循环当前页码递增1,通过循环容器内置参数“${loopTimes}:容器内当前循环次数,初次为 1 ,后续每次循环递增加 1”可满足循环分页取数需求。

1.2.2 循环容器

解决场景:接口循环分页取数

体验成果:条件循环设置循环结束条件:循环次数小于等于总页数时结束循环

1.2.3 RestAPI

解决场景:取客服平台数据,由于数据源为sass系统,所以需要通过API接口方式取数

体验成果:配置简单便捷方便,输入API地址,数据预览快捷查看接口请求结果。

1.2.4 JSON解析

解决场景:接口返回数据为JSON格式,需要进行数据处理,通过JSON解析算子直接勾选所需字段

体验成果:JSON解析算子快速配置所需字段,支持多层级解析

1.2.5 Spark SQL

解决场景:1.接口签名加密处理  2.数据处理:过滤无效数据、字段选择、以及字段格式转换等

体验成果:Spark SQL算子功能丰富实用,通过获取上游数据,对数据进行加工处理,满足多样化数据处理场景

      • 接口加密处理

      • 数据过滤处理

1.3 功能建议:

    • 希望Spark SQL输出结果可以直接作为参数转递给RestAPI输入算子!
    • 数据转换中的返回按钮太隐秘了,不太好找,希望可以在确定按钮旁边加一个取消按钮!

2、总结

     通过这段时间的体验,FDL可满足当前常用的ETL应用场景,FDL的帮助文档对于数据开发的组件介绍的非常详细,在ETL任务开发的过程中,也遇到了很多的问题,首先是翻看帮助文档,多翻看几次大部分问题都可迎刃而解,对于个别特殊问题技术支持也会给与一对一耐心指导,希望后续多出一些具体应用场景的解决方案!

 

分享扩散:

沙发
发表于 2022-10-18 13:48:45
板凳
发表于 2022-11-1 11:51:47
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

2回帖数 1关注人数 17572浏览人数
最后回复于:2022-11-1 11:51

返回顶部 返回列表