关于数据分析软件应具备的特性

楼主
我是社区第201491位番薯,欢迎点我头像关注我哦~

已经使用帆软report、BI产品很长时间,帆软简道云也深度试用。经过这段时间使用,发现这些产品没有很好的统一起来,同时,与实现应用还有一定差距。

本文给帆软提一些有效建议。

注:本人原来做审计软件研发,对于数据分析软件有深入研究。

首先,report、BI产品

报表产品主要解决数据展示,形成图形、图表分析结果。BI产品,虽希望提供给普通分析人员进行数据分析,但实际应用模式,还是在定义仪表盘,说白了还是在定义输出给管理层的图形、图表。整个软件,在数据处理过程比较弱、或难以支撑普通分析人员的分析过程。

这从软件产品最初没有提供ETL工具,可见一斑。但,即使提供ETL工作,也不代表提供使用普通数据分析人员使用的工具。

其次,简道云

简道云,原行业定义为网表软件,目标为建立基于网络的快速收集数据工具。同时,也可以称为零代码、低代码软件。这一名称,近几年比较火。可以实现简单应用的过速定义。是报表和BI产品,在应用缺乏ERP等前端数据时,向前端扩展方法。

从整体使用上,简道云、report、BI产品三套产品,底层框架差异很大,没有很好的统一起来,举例如下:

1、report的数据集与BI的数据集管理没有统一起来,这两个数据集管理需要分别定义和重复定义。

     注:report的服务器数据集最初没有迁移功能,这导致为了方便不同环境中模板迁移,只能大量将数据集定义在模板中,在报表开发时增加了同一实质相同的数据集的修改工作量,在本人建议下才增加了这一功能。

2、简道云模板定义,实际底层也需要形成数据集,与report、BI也未形成统一。这导致这三套产品,看起来没有太多关联。

如更好的适应用户使用,需要从业务人员角度重新梳理整体流程,这需要还原数据分析原始流程。

基于数据分析的软件,国外产品做得比较好的产品有两家可参考,分别是ACL、IDEA。以下是IDEA的手册User Guide.pdf (5.98 M)

数据分析过程如下:

1、引入数据

     引入数据的过程包括:ETL、链接当前数据、导入数据等。这不进一步说明。

     这里需要说的是,数据引入往往需要与后续的分析过程、报表输出、预警输出重复使用。即在输出报表时,往往需要引入数据、数据处理,最后形成报表,必须引入数据、并数据处理后,才能保证报表的正确性。目前,这一定时调度并没有综合考虑,也未考虑这一过程中的容易处理。

2、数据管理

    拿到数据后,首先要对数据进行管理。数据管理,需要对数据进行分类,对数据概况进行了解,对数据的来源去向进行管理。

 

     数据的概况,是数据分析的基础。

     (1)由于英文或简称等,需要对数据进行标识,以便对数据更好识别。

              BI已增加该功能。实际上report数据集管理也存在该需求。SQL语句研发时间过长后,可读性降低,对字段必要的标识势在必须。

              而简道云中对于模板的定义,实际也是数据集管理。这三个产品本可统一。

     (2)概览数据类型,如下图

     

     (3)概览数据范围

           如不重复值、最大值、最小值等。以便在此基础上进一步对数据进行加工。

          

       (4)数据管理时,明确数据的来源和去向

         数据上可以看出是在某项数据上进行了某些加工形成的数据,发抽样、加字段、查询部分数据。目前,产品中此功能比较弱

         此功能,对于数据分析人员很关键,某些数据时间比较长后,不清楚是怎么处来而来。对于数据形成过程极为关键。

         

          每个数据记录和明确该数据是如何处理来的。

          

           

3、数据分析过程

    数据分析过程,是在当前数据的基础上,直接利用工具栏,对数据进行标识、关联、抽样、查询、分层、转置、透视等操作。

    这种处理习惯与当前的BI处理习惯不同,当前BI处理过程为面向报表开发过程。而实际分析过程是需要大量试算、大量处理。此项,BI需要进行改进。

    

     如对EXCEL比较熟悉的,这一块比较好理解。如标识重复数据、去重复数据、数据条件显示、数据筛选、数据比对等。这一块帮助用户对数据进行有效识别和分析。

     当前report中数据处理过程比较欠缺,主要还是根据数据表,形成报表。

4、报表生成

     在数据分析的基础上,进一步形成相关报表、仪表盘。BI中的当前功能主要仅为数据结果展示。实际缺乏对数据的解读功能。对同一数据,如不经过必要解读,不同的人可能理解不同。甚至一些人看不懂数据。

    BI目前实际应用中,仅用于数据展示。而普通管理人员大量使用的为report,主要用report解决日报、周报、月报这种重复工作量较大工作,在形成报表后导出成WORD,再进行加工形成自己经解读过的日报、周报、月报。

    这里要重复提的是,本人使用任务调度时,生成word报表,在使用中必须调度缺少与数据引入、数据处理过程一条线联动,这导致最终报表的正确性可能难以保障。例如,数据引入过程异常,而本次报表输出使用的为历史数据。

5、数据预警

    数据预警是数据分析日常工作中的重要事项。数据预警,可能形成一个报表、一个数据表。但这仅为数据生成过程。数据预警需要对数据进行验证、跟踪处理。目前这一块的功能相对比较弱。产品的重点仍停留在数据的结果报表展示层次。  

分享扩散:

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

0回帖数 1关注人数 2608浏览人数
最后回复于:2022-3-27 10:55

返回顶部 返回列表