软件成品除了功能外,用户应该都比较关心稳定性、并发数、数据量等性能是不是优秀,FineBI的性能这一块也有很大的优势。 一、FineBI数据仓库技术要点 1、动态生成的位图索引技术处理字符串等类型 2、NIO内存映射文件技术,快速读取处理数字类型 3、支持离线使用的cube数据存储,支持cube数据定时全量以及增量更新 4、动态的内存数据立方体技术,并行计算的先进数据处理模式 5、基于位图索引的快速分组,过滤,钻取,支持多线程运算,互不干扰 6、高效的智能位图索引压缩技术 7、智能避免重复计算的缓存机制
二、FineBI数据建模及数据应用流程 1、数据库生成Cube文件,该cube文件会根据原始数据建立一定的数据模型。 2、访问设计报表时,预先加载需要使用的字段的位图索引到内存(使用半成品的位图,索引(在几十毫秒内)动态生成需要字段的位图索引)。 3、处理分组时,使用该位图索引,对数据进行处理,经过转换生成需要的结果,再使用多线程分组,多线程与内存映射文件生成汇总结果,轻松应对千万级以上的数据汇总。 4、并将结果建立一定的数据立方体模型,在下次取数,和部分取数(比如之前用了3个字段,后面又用了3个中的2个字段,则不需要重复计算)时避免重复计算。 5、处理列表则是根据计算好位图索引的值的取制定行数据,列表性能无上限,取多大的数据量都会很快。
三、FineBI数据仓库优势 优势:分组速度快,各个分组,汇总之间互不干扰,利于多线程计算以及分布式部署优化,单机性能也比较好。 支持部分计算,分组汇总不需要计算所有的值 列表速度不受限于数据量
四、FineBI智能模块 1.分析数据智能关联 当最终用户在分析数据时,很可能需要将数据建模时没有建立关联关系的数据关联起来做为整体查看分析,而在处理此类问题时就往往需要技术人员的支持,需要额外的数据建模工作,FineBI根据用户的语义,提供关联设置,并将数据关联,只要明白语义即可得到所需数据。 2.指标影响因素智能分析 某个指标或者汇总数据往往会受到很多因素的影响,例如销售额会受到产品质量,销售地区,时间,销售人员,代理商,销售策略,同类竞争产品价格等等因素的影响,而当最终客户进行分析时需要对全盘的影响因素都有了解。以往的BI工具是提前将这些分析维度加入最终展现层让领导或者业务人员去选择,这样的问题有二:沟通成本高,需要让技术人员清晰明了业务需求;修改影响因素复杂,添加删除因素需要通知技术人员。FineBI的智能因素分析直接面向最终分析人员,通过优化的算法提供所有影响因素,并且智能判断重点因素。
|