数据治理的六个要素你做到了几个?

学无止境,精益求精
文|帆软数据应用研究院 汪建辉

引言:

帆软作为全球数据分析和商业智能平台提供商,这几年深刻的感受到了全球数据应用的热潮,但是随着越来越多的客户开始实施并广泛应用BI系统,数据治理的话题也在最近被越来越多地提及和讨论。

过去的十年,银行的IT系统经历了数据量高速膨胀的时期,这些海量的、分散在不同角落的异构数据导致了数据资源的价值低、应用难度大等问题。同时,银行内部的业务条线或行政分化也在不断地制造着银行数据交互的断层,而银行与外部业务交互所产生的“体外循环”数据与企业的核心数据体系并不能自然地融合,这个时候数据治理体系建设可能不是银行的一个选择,而是唯一的出路。

图片 1.png

数据治理规划

在长期对客户的FineBI商业智能项目的跟踪过程中我们发现,往往只有那些建立了一定的数据治理体系的客户,才能真正的将商业智能用起来,用户才能真正进入商业智能时代。这个问题在银行等金融机构内显得尤为突出,银行数据向来以量大质优而著称,但是实际情况是它比其他行业好一些,但是长期以来也缺乏数据治理的体系化建设,导致商业智能价值链受阻。要想在数字化转型中抓住机遇,银行的数据治理体系建设势在必行。

数据治理是一个系统工程,是一个从上至下指导,从下而上推进的工作。因此,在指导方面必须得到大家的共识,要有一个强有力的组织、合理的章程、明确的流程、健壮的系统,这样才能使数据治理工作得到有效的保障。

要素一:发展战略目标

战略是选择和决策的集合,共同绘制出一个高层次的行动方案,以实现更高层次目标。数据战略是企业发展战略中的重要组成部分,是数据管理计划的战略,是保持和提高数据质量、完整性、安全性和存取的计划,是指导数据治理的最高原则。

图片 2.png

数据治理是否与企业发展战略相吻合也是衡量数据治理体系实施是否成熟、是否成功的重要标准。要在企业发展战略框架下,建立数据治理的战略文化,包括企业高层领导对数据治理的重视程度、所能提供的资源、重大问题的协调能力,以及对数据治理文化的宣传推广、培训教育等一系列措施。这种整体统一的思想,和我们生态学模型下的帆软DA生态系统整体统一的特征如出一辙,充分证明了目标统一的必要性。

  • 数据治理文化。2018年5月21日,银保监会发布了《银行业金融机构数据治理指引》,从数据治理架构、数据管理、数据质量控制、数据价值实现、监督管理等方面规范了银行业金融机构的数据管理活动。数据治理的战略组成部分主要包括:数据治理的愿景、商业案例摘要(包括例子)、指导原则、长远目标分解、管理措施、实施线路等。

  • 认知与行动。信息化领域有一个很有名的说法“Garbage in, garbage out”,翻译为中文就是“垃圾进,垃圾出”,意指用脏乱的数据做样本,产生的研究成果也是毫无价值的。数据的污染可能发生在数据产生、采集、传输、流转、加工、存储、提取、交换等各个环节,因此要保证数据治理目标的实现,就必须对数据进行全流程的管控,要在全行范围内形成统一的数据治理认知,让人人有责的理念深入人心。光有认知还不行,必须要有相应的制度和管理来保证从认知到执行的转变,让员工认清责任与义务,明确具体的工作要求。

要素二:数据治理组织

数据治理的组织包括制度组织和服务组织。制度组织主要负责数据治理和数据管理制度。这些组织是跨职能的,通常商业银行会建立数据治理委员会、数据管理制度团队等组织,负责整体数据战略、数据政策、数据管理度量指标等数据治理规程问题。

图片 3.png

比如大连银行成立了“数据管理办公室”,将其作为数据治理的执行机构;巴克莱银行还建立了数据管理的三层组织体系,包括决策层、管理层和执行层。与政府部门和机构一样,制度组织执行类似于行政部门的职责。数据服务组织主要是又数据管理的专业人员组成,包括数据架构师,数据质量分析师,元数据管理员等,主要执行数据治理各个领域的具体实施工作。

  • 组织架构。有效的组织机构是项目成功的有力保证,为了达到项目预期目标,在项目开始之前对于组织及其责任分工做出规划是非常必要的。数据治理设计的范围很广,牵涉到不同的业务部门和科技部门,是商业银行的全局大事,如何成立和成立什么样的组织应该依据商业银行本身的发展战略和目标来确定。

  • 组织层次。建立有高层领导者组成的数据治理委员会,组织跨业务部门和IT部门的协调工作,规划数据治理的总体方向,并在其下设立工作组,执行数据治理计划和监督数据管理工作。不同的组织层次应该发挥不同的职责职能,建立合理的组织层次有利于快速推动数据治理工作的开展。

  • 组织职责。根据数据管理工作的实际需要,在业务部门、技术管理部门和业务应用部门间要确定各个工作人员的职责。不同的组织负责的职责不尽相同,例如不同的业务部门应该明确各自业务开展对数据的具体要求和相关规则,而技术部门则会根据业务部门的需求负责具体的实施工作,包括将业务部门提出的要求转化成技术语言,用于事前的控制(如字段的约束)、事中的逻辑控制(例如控制不能为空)、事后的核查,以及具体的技术操作和编制定期的报告等。

要素三:制度章程

制度章程是确保对数据治理进行有效实施的认责制度,其中一些是数据治理职能的职责,也包括其他数据管理职能的职责。数据治理是最高层次的、规划性的数据管理制度活动。换句话说,数据治理是主要由数据管理人员和协调人员共同制定的高层次的数据管理制度决策。这里只简单的介绍包括哪些制度章程。

图片 4.png

银行数据治理制度体系

  • 规章制度。数据治理规章制度类似于企业的公司条例,他会阐明数据治理的主要目标、相关工作人员、职责、决策权利和度量标准。

  • 管控办法。管控办法是基于规章制度与工具的结合,是可落地、可操作的办法。

  • 考核机制。考核是保障制度落实的根本,建立明确的考核制度,实际操作中可根据不同银行的具体情况,建立相应的针对数据治理方面的考核办法,并与个人绩效挂钩。

  • 技术规范。技术规范是保障数据治理平台可持续管理的基础,随着数据量的增长、技术水平的发展,为更好的、可持续的实现数据资产的管理与应用,需要建立明确的技术规范。

制度或规范领域
主要内容
数据治理工作
数据治理架构与职责分工,对数据治理的各领域都有一个总体要求
数据标准
数据标准体系建设的职责分工、标准管理和标准应用
数据质量
数据质量术语定义、评估维度和规则、技术要求、管理的职责与流程
数据文件交换
数据交换文件的命名规范、交换原则、安全管理等
元数据
元数据管理原则、范围和管理方法等
数据生命周期
数据生命周期管理的原则,包括清理、归档、销毁等各个阶段的要求
主辅数据源
主数据分布原则、辅数据分布原则
数据安全
数据安全性的原则、机制、算法等
数据认责
责任划分、明确各类数据的所有者、管理者和管理职责

典型的制度或规范领域

要素四:流程管理

流程管理包括流程目标、流程任务、流程分级。根据数据治理的内容,建立相应的流程,且遵循本单位数据治理的规章制度。实际操作中可结合所使用的数据治理工具,与数据治理工具供应商协商,建立符合商业银行的流程管理。

图片 5.png

  • 做好事前预防。上述谈到的战略文化、规章制度的贯彻落实,就是最好的事前预防措施。我国一些大型银行已经上线了一些专门的数据治理平台,比如企业级元数据管理系统,数据质量分析系统,数据生命周期管理系统等,将相关的制度规范和职责要求在系统中进行控制和约束,并在流转的各个环节由相应的组织和角色负责,实施认责机制。

  • 加强事中监测。应组织分析各领域的数据质量问题,监测报告本系统的数据结构变化情况,数据分布情况,数据对业务服务的满足情况、在线数据增长情况、数据空缺和质量恶化情况等。这些事中监测过程除了需要规章制度的保障之外,还需要有可靠的工具或平台来进行分析,避免凭空管理。

  • 进行事后评估和整改。定期对系统开展全面的数据治理状况评估,从问题率、解决率、解决时效等方面建立评价指标,通过系统记录并跟踪需要整改的数据问题,要求按期整改优化,必要时进行一定的考核。一般时候评估与整改可以安排在项目投产一周后,并按年进行回顾。

  • 要综合各种方式进行数据治理。目前,我国商业银行数据治理基本上通过系统或工具发现问题,然后技术人员进行批量修改,或者由业务人员进行修订或补录。其工作基本上由银行内部人员完成。对于涉及客户的相关数据,则很难进行治理。从这点上,应该充分借鉴互联网企业的做法,发动客户积极参与到银行的数据治理工作中。比如通过电话、短信、邮件通知客户确认相关信息;对重要的企业客户,通过走访确认和补充缺失与错误信息;通过活动、游戏等形式,并给与一定的奖励让客户主动完善相应信息;通过提示客户信息不完备不能办理相关业务来引导客户进行信息完善和验证等。

要素五:技术应用

技术应用包括支撑核心领域的工具和平台,例如数据质量管理系统、元数据管理系统等。他们是数据治理能够顺利开展的技术保障。只有建立丰富的数据治理工具和平台,才能从各个领域有效的进行数据的管理和治理,才能有效提高银行的数据价值。

  • 数据资产管理系统,统一管理全行的数据资产,包括元数据、数据模型、数据标准,以及其他重要的数据资产,并提供可视化的数据查询和展示功能,支持通过功能嵌入等方式实现数据资产的快速与便捷查询。

  • 数据质量管理系统,落实数据质量问题的治理工作,实现数据质量问题的发现、跟踪、治理、评价的全流程闭环管理。搭建数据生命周期管理平台,落实数据生命周期管理机制。

  • 不断丰富丰富前台源系统的基础数据,持续加大数据积累和整合的广度深度,建设统一的数据仓库平台,满足前台营销、统计分析、决策支持、风险管理和新资本协议等多种需求,持续提升对数据的挖掘、分析与深度应用能力。

  • 在建立上述配套支撑系统的基础上,还需要实现各系统间的互联互通,相互协同与验证,提供数据统一、形式多样的数据服务。例如,中国工商银行针对元数据管理开发了元数据及软件资源管理系统,针对数据标准建立了集团信息标准服务系统等。

要素六:成熟度模型

CMMI协会在2014年发布了数据管理能力成熟度模型Data Management Maturity(DMM),可以用来评估和提升企业的数据管理水平,帮助企业跨越业务与IT之间的鸿沟。DMM模型可以帮助企业在管理数据资产上达成共识。它包括了5个连续能力和25个提升的过程域,可以反映所有数据管理的内容,可以促进企业建立自己的数据管理成熟度路线图。

图片 6.png

数据管理能力成熟度模型

总结

我国银行的数据现状普遍都是一个先污染、后治理的过程,数据治理必然带来新的标准的确立和旧系统的改造,是一个有破有立、无破不立的过程。这一过程设计大量的跨部门、跨条线、跨系统的沟通协调,同时也涉及不小的投资。为了不使投入的人力物力付之东流,在治理前期就应该规划好各项规章制度和管理架构,保障后续的各项治理工作能够行之有效并且长期坚持。



编辑于 2018-8-27 11:38  

发表于 2018-8-27 13:36:50
666666
发表于 2018-8-28 09:53:16
发表于 2018-8-28 10:41:20
我倒,CMMI现在出了个DMM?还真是与时俱进啊。看这五个级别,基本就是抄CMMI1-5级的嘛。不过自己抄自己,也不算侵权,顶多就是有点懒。
发表于 2018-9-19 10:14:00
大数据治理
发表于 2018-9-19 11:53:25
数据治理
发表于 2018-9-19 11:59:28
数据治理
发表于 2018-9-19 13:16:54
数据治理
发表于 2018-9-19 13:27:55
数据治理
发表于 2018-9-19 13:36:38
数据治理
发表于 2018-9-19 13:41:36
数据治理
发表于 2018-9-19 13:45:42
数据治理
发表于 2018-9-19 14:27:44
数据治理
发表于 2018-9-19 14:28:45
数据治理
发表于 2018-9-19 15:03:06
数据治理”
发表于 2018-9-19 15:35:21
目前我们单位也需要这种数据治理
发表于 2018-9-19 15:35:43
目前我们单位也需要这种数据治理
发表于 2018-9-19 15:45:25
数据治理
发表于 2018-9-19 16:01:31
数据治理
发表于 2018-9-19 16:10:53
数据治理
发表于 2018-9-19 16:15:07
数据治理
发表于 2018-9-19 16:31:39
数据治理
发表于 2018-9-19 16:44:30
数据治理有绝招啊?!
发表于 2018-9-19 17:02:12
数据治理
发表于 2018-9-19 17:04:09
数据治理
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

67回帖数 4关注人数 17107浏览人数
最后回复于:2018-10-16 08:13

任务进行中

    话题进行中...
    返回顶部 返回列表