测评功能点 本次主要测评了数据准备-ETL作业的功能 体验成果 数据抽取与加载(根据现有三个组件来操作) 离线同步:数据来源→数据去向 支持的数据源:MySQL / SQLServer / Oracle / PostgreSQL / RestAPI 写入策略:直接将数据写入目标表 / 清空目标表,再写入数据 主键冲突:遇主键冲突,停止写入并报错 / 遇主键冲突，忽略输入源的相同主键数据 / 遇主键冲突，更新目标表的相同主键数据 / 表内无主键，无须设置主键冲突处理策略 目标表: 自动建表(目前能够识别到数据类型) 目前需要手动复制相应的语句到数据库界面中执行 注意事项:若使用建表语句在数据库自行完成建表后，请务必切换目标表为：已存在表。   SQL脚本 例如:当天重复执行或者运行出错等,可以通过SQL脚本删除对应的数据,保证当天的数据结果是干净的,不重复的.   虚拟节点 该虚拟节点可以连接多个组件并行运行   流程测试 可以从运行日志中看到相应的日志信息,启动时刻-结束时刻,总耗时等,数据量较多时还会提示占用磁盘的内存大小. 调度配置   任务运维 可以从当前界面来查看任务数量,运行成功/失败等数据,也可以查看对应记录详情.   体验心得 优点: 能够在一套系统进行全流程的处理数据 支持多种数据源 界面简洁 缺点: 当前版本只支持SQL语句处理数据,再装载到目标表 缺少数据处理流程 缺少参数传递 日志查看不方便(当重启或者下次重新进入系统后,就无法从运行界面来查看日志,需到日志文件下去查找) 配置调度时需进入该任务界面才能进行设置,且只能执行当前任务,无法执行子任务之类的   优化 数据准备希望加入按照FineBI或者类似市场上ETL工具的数据处理过程 FineBI有实时与离线模式之分,离线模式将数据抽取到磁盘中供其他组件来使用转换数据会比较快,实时模式直接用的数据库性能 ETL处理过程加个测试运行模式,运行时每个组件点击可以预览1k或者几百条数据的计算结果,每一步往下就能看到对应的依赖关系及结果是否正确 调度策略添加一些模式,类似于XXL-JOB任务调度之类的 等............... 编辑于 2021-9-27 20:12