本帖最后由 leo 于 2016-12-7 10:14 编辑
粮食行业是传统行业，信息化建设相对其他行业较滞后，但滞后就意味着巨大的潜力。国家粮食行业十三五规划一个重要内容就是粮食行业信息化，在互联网加粮食大背景下，国家加大了对粮食行业信息化的投入，可以说粮食行业信息化迎来了春天。
作为主管行业动态的权威机构，拥有大量数据分析需求的国家粮油信息中心，是如何看待和发展信息化建设的？
就在本月帆软百城巡展北京站时，国家粮食信息中心高级工程师修阳分享了其经验和见解。
嘉宾——修阳：国家粮食信息中心的高级工程师，行业信息化专家组的核心成员。致力于研究信息技术在粮食行业中的应用和统计学、质量经济等学科技术，构建粮油行业市场分析模型，围绕粮食宏观调控提供标准化的科学决策服务。
关于国家粮油信息中心 国家粮油信息中心是国家粮食局隶属事业单位，主要职能是提供粮油市场分析服务就是为国家发改委、财政部还有国家粮食局等机构，提供一些信息服务。第二个职能是国家农信中心，它是粮食行业新文化支撑单位。国家粮油信息中心一共有8个处室，其中行业信息化处目前正在筹建中。
信息化建设经验 信息化中心作为市场分析机构一直以来想拥有自己的数据中心，集中的管理数据，使得分析师与业务人员能够在统一平台下分享数据。为此，信息中心也做了不懈的尝试。此前购买过第三方的数据服务，曾经屡次独立开发但效果并不好。例如之前开发粮油统计地理信息系统，它的选型是NET、Extjs、Json、SuperMap、Flash图形化插件。整个的具体实施就是通过代码码出所有业务逻辑、显示报示，然后利用Excel进行导入和导出。这其中很大的缺点就是，开发周期长、扩展性差、应对需求变更能力差、没有完全实现业务目标。
多次尝试下来，归结如下7点信息化建设提议： 明确业务需求：强烈的业务需求，明晰的业务目标，能否抓住核心是一个项目成败的关键。 “产品+定制+服务”的建设思路：项目建设如果不借助比较成熟的产品工具，从技术代码进行创新式的开发，不经过迭代以及检验很难规避风险，很难形成一个成熟的产品。经过探索实践以及对业务深入的理解，技术的积累，整个行业的调查研究，信息中心总结出来一套建设思路：产品是指由生命力的产品像FineReport以及FineBI；定制就是结合自己的需求定制开发；服务就是定制需求的后期，开发团队的定制服务。 谨慎投资，控制风险：项目要想可持续发展，必须控制风险，注重成本收益，谨慎投资，任何一笔失败的投资，都有可能影响信息化建设技术的推进。 慎重技术选型：第三方工具应对需求的变化要强，要简单应用。在这里，信息中心与帆软报表不期而遇。它最大的特点就是业务需求变化强，功能简单应用，能够应对信息中心业务复杂，需求较快，技术力量不足的现状，能够整合复杂多变的报表数据，能够快速的实现图表多样体现。 认清技术力量的现状 敏捷开发、迭代开发和重构 技术+管理
关于大数据 数据是未来的核心。大数据的能力核心在于全，要有丰富的获取手段，要提高分析挖掘数据的能力，形成信息中心自己的数据方法论，也就是说大数据能力就是技术+数据+统计分析和业务。 信息中心是国家粮食局直属事业单位，是粮食行业信息化技术支撑单位。有20多年粮油市场研究、分析的行业积累。粮食行业大数据能力将是信息中心未来的核心竞争力。
业务布局 社会分工可以提高劳动生产力，可以极大的增加社会物质财富，但同时也失去了个性化和多样性，而个性化和多样性是创新的根源，为了基层提高生产率以及创新，信息中心采用程序化、流程化采集整理管理工作，然后业务员、分析人员集中精力进行模型的建立和市场的研究。
流程解释：蓝色部分是数据处理流程，通过FineReport进行展示。黄色部分是人工分析部分，构建分析模型、深入分析市场，反复验证构成城市化模型，形成一个自动的工作流，完后才能后续的采集和权限访问等工作。
数据分析决策平台建设 数据分析决策平台的建设分三步走。
第一步就是数据整合。对多源多类型的数据进行整合，实现数据共享。目前以帆软报表为数据处理工具，以SQL Server为数据库存储平台，整合信息中心常用业务数据。常用的业务数据包括价格、进出口以及平衡表等。
仅仅依靠excel是无法实现大数据战略的，数据报表不可取代。但是传统报表面临的挑战也越来越多，传统报表主要有以下这几点，数据太多，信息太少；难以多维度交互分析；难以挖掘潜在规则；难以追溯历史；数据形成孤岛。选择帆软报表的原因是因为这工具应对需求的变化强，能够快速的以execl形式导入导出，快速的构建查询，快速形成excel整合，多样数据化展现，并提供一套报表管理平台。譬如以下：
模板1：初步建立了一个市场查询分析，包括价格、评估表、海关进出口。一旦模板建立，相关人员将数据通过填报功能填入，查询时报告自动生成，并在权限范围内自由导出。
第二步就是数据的抓取、处理和分析并自动化生成系列产品报告，实现目标是解放生产力。把业务人员从采集、整理、处理数据的体力劳动中解放出来，集中精力于市场深度分析研究、模型建立。本质上还是数据整合，不同地方是数据自动采集，并依据构建的模型。
技术选型：FineReport + FineBI + Python + Kettle(ETL工具) + SQL Server 实现网页的迅速抓取，抓取网页中的数据，然后通过Kettle清洗转换，得到我们的基础数据，再通过FineReport 和 FineBI展现。数据库的存储结构通过网站的结构来自动抓取数据。
报告展示：这些宏观数据全都自动生成，通过灵活的查询和分析，实现数据直观展示。更重要的是，由于业务人员特别热衷于自己研究分析，自己开发分析模板将有用的模型沉淀下来，形成固定的一系列的查询模型，提交我们信息中心，分析市场，再次响应市场和预警。
第三步是数据挖掘，目标是构建粮食行业模型和行业计量模型实现科学决策。
基于信息中心20多年的粮食市场分析评估，行业积累，依托一期、二期整合的数据和大数据，接下来将构建大数据能力，提供标准化的服务能力。但粮油的分析模型、行业积累模型，是一种因素模型、经验模型，一定程度上依赖于分析师对市场的看法，这个模型分析结果需要分析师经验和直觉来判断，技术上要到位，所以这里通过帆软报表FineReport和商业智能FineBI的结果, 从数据报表、数据分析、数据挖掘三个层次，把数据转化为信息把数据转化为信息，使得业务人员能够利用这些信息，辅助决策，这就是商业智能主要解决的问题。无论在哪个层次，核心目标就是“把数据转化为信息”。
| 
