粮油市场分析决策平台建设方案

楼主
学无止境,精益求精
本帖最后由 leo 于 2016-12-7 10:14 编辑

粮食行业是传统行业,信息化建设相对其他行业较滞后,但滞后就意味着巨大的潜力。国家粮食行业十三五规划一个重要内容就是粮食行业信息化,在互联网加粮食大背景下,国家加大了对粮食行业信息化的投入,可以说粮食行业信息化迎来了春天。

作为主管行业动态的权威机构,拥有大量数据分析需求的国家粮油信息中心,是如何看待和发展信息化建设的?

就在本月帆软百城巡展北京站时,国家粮食信息中心高级工程师修阳分享了其经验和见解。

嘉宾——修阳:国家粮食信息中心的高级工程师,行业信息化专家组的核心成员。致力于研究信息技术在粮食行业中的应用和统计学、质量经济等学科技术,构建粮油行业市场分析模型,围绕粮食宏观调控提供标准化的科学决策服务。

关于国家粮油信息中心
国家粮油信息中心是国家粮食局隶属事业单位,主要职能是提供粮油市场分析服务就是为国家发改委、财政部还有国家粮食局等机构,提供一些信息服务。第二个职能是国家农信中心,它是粮食行业新文化支撑单位。国家粮油信息中心一共有8个处室,其中行业信息化处目前正在筹建中。

信息化建设经验
信息化中心作为市场分析机构一直以来想拥有自己的数据中心,集中的管理数据,使得分析师与业务人员能够在统一平台下分享数据。为此,信息中心也做了不懈的尝试。此前购买过第三方的数据服务,曾经屡次独立开发但效果并不好。例如之前开发粮油统计地理信息系统,它的选型是NET、Extjs、Json、SuperMap、Flash图形化插件。整个的具体实施就是通过代码码出所有业务逻辑、显示报示,然后利用Excel进行导入和导出。这其中很大的缺点就是,开发周期长、扩展性差、应对需求变更能力差、没有完全实现业务目标。

多次尝试下来,归结如下7点信息化建设提议:
  • 明确业务需求:强烈的业务需求,明晰的业务目标,能否抓住核心是一个项目成败的关键。
  • 产品+定制+服务的建设思路:项目建设如果不借助比较成熟的产品工具,从技术代码进行创新式的开发,不经过迭代以及检验很难规避风险,很难形成一个成熟的产品。经过探索实践以及对业务深入的理解,技术的积累,整个行业的调查研究,信息中心总结出来一套建设思路:产品是指由生命力的产品像FineReport以及FineBI;定制就是结合自己的需求定制开发;服务就是定制需求的后期,开发团队的定制服务。
  • 谨慎投资,控制风险:项目要想可持续发展,必须控制风险,注重成本收益,谨慎投资,任何一笔失败的投资,都有可能影响信息化建设技术的推进。
  • 慎重技术选型:第三方工具应对需求的变化要强,要简单应用。在这里,信息中心与帆软报表不期而遇。它最大的特点就是业务需求变化强,功能简单应用,能够应对信息中心业务复杂,需求较快,技术力量不足的现状,能够整合复杂多变的报表数据,能够快速的实现图表多样体现。
  • 认清技术力量的现状
  • 敏捷开发、迭代开发和重构
  • 技术+管理


关于大数据
数据是未来的核心。大数据的能力核心在于全,要有丰富的获取手段,要提高分析挖掘数据的能力,形成信息中心自己的数据方法论,也就是说大数据能力就是技术+数据+统计分析和业务。
信息中心是国家粮食局直属事业单位,是粮食行业信息化技术支撑单位。有20多年粮油市场研究、分析的行业积累。粮食行业大数据能力将是信息中心未来的核心竞争力。

业务布局
社会分工可以提高劳动生产力,可以极大的增加社会物质财富,但同时也失去了个性化和多样性,而个性化和多样性是创新的根源,为了基层提高生产率以及创新,信息中心采用程序化、流程化采集整理管理工作,然后业务员、分析人员集中精力进行模型的建立和市场的研究。


流程解释:蓝色部分是数据处理流程,通过FineReport进行展示。黄色部分是人工分析部分,构建分析模型、深入分析市场,反复验证构成城市化模型,形成一个自动的工作流,完后才能后续的采集和权限访问等工作。

数据分析决策平台建设
数据分析决策平台的建设分三步走。

第一步就是数据整合。对多源多类型的数据进行整合,实现数据共享。目前以帆软报表为数据处理工具,以SQL Server为数据库存储平台,整合信息中心常用业务数据。常用的业务数据包括价格、进出口以及平衡表等。

仅仅依靠excel是无法实现大数据战略的,数据报表不可取代。但是传统报表面临的挑战也越来越多,传统报表主要有以下这几点,数据太多,信息太少;难以多维度交互分析;难以挖掘潜在规则;难以追溯历史;数据形成孤岛。选择帆软报表的原因是因为这工具应对需求的变化强,能够快速的以execl形式导入导出,快速的构建查询,快速形成excel整合,多样数据化展现,并提供一套报表管理平台。譬如以下:

模板1初步建立了一个市场查询分析,包括价格、评估表、海关进出口。一旦模板建立,相关人员将数据通过填报功能填入,查询时报告自动生成,并在权限范围内自由导出。



第二步就是数据的抓取、处理和分析并自动化生成系列产品报告,实现目标是解放生产力。把业务人员从采集、整理、处理数据的体力劳动中解放出来,集中精力于市场深度分析研究、模型建立。本质上还是数据整合,不同地方是数据自动采集,并依据构建的模型。

技术选型:FineReport + FineBI + Python + Kettle(ETL工具) + SQL Server
实现网页的迅速抓取,抓取网页中的数据,然后通过Kettle清洗转换,得到我们的基础数据,再通过FineReport 和 FineBI展现。数据库的存储结构通过网站的结构来自动抓取数据。


报告展示:这些宏观数据全都自动生成,通过灵活的查询和分析,实现数据直观展示。更重要的是,由于业务人员特别热衷于自己研究分析,自己开发分析模板将有用的模型沉淀下来,形成固定的一系列的查询模型,提交我们信息中心,分析市场,再次响应市场和预警。







第三步是数据挖掘,目标是构建粮食行业模型和行业计量模型实现科学决策。

基于信息中心20多年的粮食市场分析评估,行业积累,依托一期、二期整合的数据和大数据,接下来将构建大数据能力,提供标准化的服务能力。但粮油的分析模型、行业积累模型,是一种因素模型、经验模型,一定程度上依赖于分析师对市场的看法,这个模型分析结果需要分析师经验和直觉来判断,技术上要到位,所以这里通过帆软报表FineReport和商业智能FineBI的结果, 从数据报表、数据分析、数据挖掘三个层次,把数据转化为信息把数据转化为信息,使得业务人员能够利用这些信息,辅助决策,这就是商业智能主要解决的问题。无论在哪个层次,核心目标就是“把数据转化为信息”。

分享扩散:

沙发
发表于 2016-12-14 11:52:17
不错的分享,谢谢!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

返回顶部 返回列表