【FDL 体验报告】用它来接入API接口的数据真的太方便!

技术宅

一、本次体验点

对接的数据库及业务系统

对接业务系统:销售ERP系统CCTD煤炭大数据、电子商务平台

数据库类型:OracleSQL ServerAPI接口

目标数据库:数仓的Oracle数据库

体验功能点

1API数据源

■解决场景:需要获取公司电子商务平台的日交易数据,但存在以下困难:

1电子商务平台系统部署于云平台,数据库由于安全要求,仅允许内部微服务链接,外网无法直接链接

2)其次日交易数据需要进行多数据表关联计算,涉及多种异构类型数据库(关系型和非关系型),即使直接对接数据库,也无法直接拿到目标数据 

3目前电子商务平台提供数据接口的形式,可以获取日交易信息,需要通过API的对接方式

■体验成果:

整体思路是通过API数据输入的算子,来抓取API的数据,通过JSON解析,形成结构形式的表,然后输出到数仓的Oracle数据库。

首先先创建了一个数据开发任务,其中有两个数据转换任务:

以其中一个数据转换任务为例:

通过RestAPI输入”算子,可以快速设置接口的url地址、请求头和请求参数:

点击“数据预览”就可以看到相应的数据,可以快速判断API接口设置的对不对:

 

通过以上的设置就基本上可以拿到API接口的数据了,然后就是将获取到的JSON数据转换成标准的行列数据,这里有一个很方便的工具,即JSON解析”算子,它不像Kettle一样需要你去计算复杂的JSON路径,它会将JSON节点直接通过树结构进行展开,然后勾选本次需要抓取的数据节点即可,勾选后会自动生成JSON路径

然后就可以直接看JSON解析完的数据:

生成JSON路径后并预览数据后,又遇到一个问题,我们还需要过滤一下数据中一些不符合抓取要求的数据,此时不能将解析后的数据直接导入数仓,但是我们又不想用代码来编写处理逻辑,这时“Spark SQL”算子帮到了我,他可以不管倒进来的数据是什么数据源,均可以用通用SQL语法编写查询语句,于是我们就加了一些where条件来过滤:

然后再去进行数据预览,就拿到了我们需要的最终数据。

最后通过DB表输出直接导入到数仓:

这里可以选择写入方式,因为前面我们会清空当天数据后再导入,所以这里选择的是“直接写入”,它也支持清空表导入。

最后设置调度任务,设置界面比较简介明了,执行频率使用汉字描述简单易懂,总之很快就可以设置好需要的调度计划:

然后每天固定时间前往任务运维界面查看运行情况:

然后运行报错的任务点击“查看详情”可以看到具体报错内容:

通过上述操作,最终我们完成了从电子商务平台API接口中获取当日的成交情况。

■功能评价:

Rest API算子是一个非常快速获取API接口的插件,JSON解析是一个满足图形化选择和快速自动计算JSON路径的工具,对我们而言帮助很大,节省了JSON的分析时间和路径的手工计算。Spark SQL可以帮我们进行数据的进一步清洗和转换,无需代码,仅需要了解简单的SQL语法即可。最后,调度任务的设置和查看也十分便捷。

■意见和建议:

在这中间,我们人为也还有一些功能是有进步空间的。例如调度任务设置,针对复杂的调度任务,需要通过专业的cron表达式来设置,对一般操作人员的要求比较高,建议此处升级为口语化或图形化点选的方式来配置:

第二方面,调度任务的记录中,只能以浮窗的形式查看报错,如果内容过多查看会不方便,建议弹窗或者单独的页面:

最后,如果想看看任务近期的执行日志,只能前往“数据开发”节点下面看,而且只能看到最新的日志,不能看到以往的日志(场景是想分析每次抽取数量的情况和速度):

最后还有一个数据资产管理的诉求,希望有一个类似FineBI数据准备的模块,可以获取目前已经抓取的数据清单,并且可以按照数据属性进行分类,形成数据仓库,作为公司的数据资产:

二、产品体验心得

整体效果满官方宣传内容中涉及的内容我公司数据处理流程带来了比较明显的改进基于目前我们公司的数据体量,已经满足我们目前的数据集成需求非常高效便捷。

对于FineDataLink这款产品个人感觉在帆软未来生态中扮演了很重要的角色,因为无论是数据可视化还是数字孪生,都离不开数据本身,而数据的抽取、清洗和转换是一项专业且复杂的工作,没有一个得心应手的工具是很难获得高质量的数据的。

FineDataLink提供了一个图形化、可视化的数据收集转换工具,对FineBIFineReport的前置数据处理提供了入口,对比之前使用其他不同结构的工具来对接FineBIFineReportFineDataLink作为帆软生态家族的一员,形成了整套帆软生态,加上帆软优质的运维服务以及丰富的社区,必定会带来更好的使用体验

 

发表于 2022-10-10 16:07:12

 

大家想要体验的,可以看这里哦~ 好数连 FineDataLink 邀请你来优先体验产品啦~-帆软社区 (fanruan.com)

 

不仅可以直接进行Demo环境体验,还可以进行试用申请!

发表于 2022-10-10 18:22:26

发表于 2022-10-11 17:14:44
发表于 2022-10-12 15:57:03
6666,怎么能玩到这个工具。。
发表于 2022-10-13 10:07:21
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

6回帖数 1关注人数 19125浏览人数
最后回复于:2022-10-25 10:08

返回顶部 返回列表