1、本次体验点
1.1 对接的数据库及业务系统
对接业务系统:SASS客服系统
数据库类型:Oracle
目标数据库:数仓的Oracle数据库
1.2 体验功能点:参数赋值、循环容器、Spark SQL、RestAPI输入、JSON解析
应用需求:客服平台无法进行个性化数据分析,故需将数据同步本地,用以支撑后续决策分析!
解决方案:
-
-
- 取接口返回值总页数作为参数传递给循环容器
- 循环容器通过条件循环设置循环结束执行条件:循环次数小于等于总页数时结束循环
1.2.1 参数赋值
解决场景:因接口规则限制,每次调用需传签名参数,通过【参数赋值】将加密参数传入API地址中。
体验成果:可灵活多变的配置接口所需参数
-
-
- 接口中需用到时间戳及字符串唯一标识,通过参数赋值sql查询可以直接生成参数
- 接口需通过循环分页取数,请求参数中必须要有当前页码参数,每次循环当前页码递增1,通过循环容器内置参数“${loopTimes}:容器内当前循环次数,初次为 1 ,后续每次循环递增加 1”可满足循环分页取数需求。
1.2.2 循环容器
解决场景:接口循环分页取数
体验成果:条件循环设置循环结束条件:循环次数小于等于总页数时结束循环
1.2.3 RestAPI
解决场景:取客服平台数据,由于数据源为sass系统,所以需要通过API接口方式取数
体验成果:配置简单便捷方便,输入API地址,数据预览快捷查看接口请求结果。
1.2.4 JSON解析
解决场景:接口返回数据为JSON格式,需要进行数据处理,通过JSON解析算子直接勾选所需字段
体验成果:JSON解析算子快速配置所需字段,支持多层级解析
1.2.5 Spark SQL
解决场景:1.接口签名加密处理 2.数据处理:过滤无效数据、字段选择、以及字段格式转换等
体验成果:Spark SQL算子功能丰富实用,通过获取上游数据,对数据进行加工处理,满足多样化数据处理场景
1.3 功能建议:
-
- 希望Spark SQL输出结果可以直接作为参数转递给RestAPI输入算子!
- 数据转换中的返回按钮太隐秘了,不太好找,希望可以在确定按钮旁边加一个取消按钮!
2、总结
通过这段时间的体验,FDL可满足当前常用的ETL应用场景,FDL的帮助文档对于数据开发的组件介绍的非常详细,在ETL任务开发的过程中,也遇到了很多的问题,首先是翻看帮助文档,多翻看几次大部分问题都可迎刃而解,对于个别特殊问题技术支持也会给与一对一耐心指导,希望后续多出一些具体应用场景的解决方案!
|