FDL深度体验报告——利用循环容器取钉钉考勤数据
【FDL体验报告】+自动取数代替了人工导数据
1、本次体验点
1.1 对接的数据库及业务系统
对接业务系统:ERP、钉钉
数据库类型:SQL Server
目标数据库:数仓的SQL Server数据库
1.2 体验功能点
参数赋值、循环容器、数据转换、RestAPI输入
以前需要钉钉管理员每月从钉钉后台导出考勤数据,需要多个部门协调,既浪费人力,又要费时沟通协调。
1.2.1参数赋值
由于token每隔一段时间就会变化,利用参数算子,只需输入API地址,配置好appkey、appsecret就可以获取到不会过期的token。
1.2.2 循环容器
钉钉限制了一次最多只能获取50名员工的考勤记录,在循环容器未上线之前仍不能完美解决此问题,FDL部门迅速上线了循环取数功能。公司用钉钉考勤的人数约1750人,配置好如下参数,剩下的事就交给它了。
1.2.3 数据转换
数据转换更像一个过滤器,可以把原来杂乱无章的数据整理成想要的结果。
1.2.4 RestAPI输入
因为钉钉没有开放数据库连接,只开放了API对接的方式,利用RestAPI算子就可以请求到数据。
2、产品体验心得
对于FDL体验下来的整体感受。
权限管理员(有考勤打卡权限,并且管理范围是全公司),需要查看全公司在职员工的考勤数据,按照如下的路径导出/查看考勤报表:
1、手机端:手机端在线查看,只能看到3个月以内的团队统计。若需查看更多建议导出查看。
导出路径:【手机钉钉】-【工作台】-【考勤打卡】-【统计】-【团队统计】即可查看员工的考勤数据,点击【导出报表】选择导出报表的类型(月度汇总、每日统计、打卡时间、原始记录)并且选择好时间和员工范围导出即可。
2、电脑端:有权限的管理员登录【电脑钉钉】-【工作台】-【考勤打卡】-【考勤统计】-【报表管理】-选择导出报表的类型(月度汇总、每日统计、打卡时间、原始记录)并且选择好时间和员工范围导出即可。
若需要查看整个月的汇总,直接点击【月度汇总】- 右上角新/旧版报表可以切换导出即可;
若需要查看每天的考勤统计,直接点击【每日统计】导出即可;
若需要查看打卡的时间,可以直接点击【打卡时间】导出即可;
若需要查看打卡地址、打卡设备号等直接点击【原始记录】导出即可;
本来觉得这样已经很方便快捷了,导出直接用excel算考核数据,FDL部门上线的循环取数功能,直接线上搞定,不需要人力物力去手工统计了。大大提高了工作效率。
3、结尾
FineDataLink是可对接数据库、上层通用协议、消息队列、文件、平台系统、应用等类型的数据源,支持数据服务的API接口发布,同时数据处理界面友好美观,有统一的运维平台,是一款本土化自研数据集成产品。 除了kettle的定时数据处理场景,还能对接多种数据库,基于CDC、logminer、binlog等进行数据的实时同步。用的是BS端,方便处理数据,且可看到各个任务的运行状态,当任务出现问题时,还可以进行统一的消息通知,比如邮件、企业微信等。搭配他们的报表软件FR+BI平台,可以很好地将数据进行集成、处理、存储、分析试用和分享。但是是刚上线,解决方案数量较少。