请上传宽度大于 1200px,高度大于 164px 的封面图片
    调整图片尺寸与位置
    滚轮可以放大缩小图片尺寸,按住图片拖动可调整位置,多余的会自动被裁剪掉
取消
Max君(uid:180960)
谁教会我BI分析谁就是我一辈子的朋友 职业资格认证:FCA-FineBI | FCA-FineReport | FCA-简道云
简单粗暴,零售行业直播来了!
春雷计划收官之作——零售行业直播 本周二14:00 准时开播扫码报名! 核心话题: 如何用攻守模型,驱动零售企业高效运营? 如何沉淀企业管理资产,让95%员工掌握top5员工运营能力? 如何打通零售企业数据链,构建企业管理链? 133381
疫情数据的产生、应用到可视化,我们发现了数据应用的完整链路
本文作者:帆软数据应用研究院 郑伟 1、疫情数据的产生、用途、可视化1.1 发现历程最近很火的影视作品如《流感》、《传染病》、《血疫》都拍出了传染病被发现的过程,在电影里人们好像总是后知后觉,不过在现实生活中,我们其实也一样没有上帝视角。 12月8日,武汉官方通报的首例不明原因肺炎患者发病。尽管获取到了患者标本,但一种新病毒的检测时间是以月计的,所以那时所有人都没有意识到这代表了什么。 传染病只有在出现传染的迹象并显现出严重症状之后,才会获得医生、研究人员的关注,并需要医者和研究人员具备敏锐的头脑、果决的判断。 12月26日,一条数据在电子病历系统中存储下来,而记录的医生惊讶地发现,当天上午居然已经有另外三条类似的数据,都包含了发热、咳嗽、华南海鲜市场三个相同的关键字,她感觉出了异常。第二天,她向副院长、院感、医务汇报,院方果断把数据上报了江汉区疾控中心。又过了两天,到12月29日下午,类似的数据增长到了7条,这位医生再次向医院报告,医院立刻召开多部门会诊,会诊之后,副院长决定,直接到省、市卫健委的疾控处报告。这家医院是湖北省中西医结合医院,最早上报疫情的医生是呼吸与重症医学科主任张继先。 1.2 数据来源1.2.1 医疗数据在央视采访中,张继先医生说:“我们医生写病历,有病历系统,填出来的时候就发现了,这些人的共同点都是在华南海鲜待过。”张医生提到的电子病历是患者所有健康相关的完整数据档案。不仅仅指病程记录,还包含相关的检验、检查项目及结果,处方记录,手术记录,护理记录等。这意味着医院在诊疗病人的同时,会获取更加完整的数据。 目前,电子病历系统(EMR)是国家推动的医院信息化升级中的一个核心系统。在2018年到2019年,国务院和国家卫健委总共有9条政策详细提到了国家对于电子病历的硬性要求。医院也普遍响应号召,2019年,全国总计有7000多家医院申报了国家的电子病历评级。正是因为有了升级,系统对数据的采集更加完善,才有更快发现传染的可能。如果没有这样的数据,我们发现疫情可能会更晚,影响会更大。 此外,除了电子病历系统,医院的HIS、LIS、PACS系统也是这次疫情的重要数据来源。 1.2.2 医疗之外的大数据在发现传染病之后,就面临了传染病的防控策略。 国际社会风险治理的经验总结,应对不确定性的社会风险强度和程序上主要有两种原则:防范原则(preventive principle)和预防原则(precautionary principle)。防范原则强调的是政府和社会与对于风险治理的行为必须以科学为依据,在科学上有充分证据证明因果关系之后才能采取行动,即:宁可漏,不可错。 不过随着人类面临越来越多的风险,且短期内无法在科学上确定因果关系,预防原则应运而生。在特定时期基于一些相关性的证据就可以采取行动,即:宁可错,不可漏。这次,我们国家为了保证人民的生命安全,在后来的行动中基本采取了预防原则。 预防方法:①控制传染源,对于传染源来说有隔离(对患者和疑似患者分开隔离)和消毒两个措施;②切断传播途径,对疫源地进行消毒;③保护易感人群,包括主动免疫和被动免疫。 第一步,就是控制传染源,但在十四亿人口、交通高度发达的国家,要找到传染源,我们需要大量的数据支撑。 所以,在这场抗疫战争中,我们见到了各式各样的数据:公共交通数据(飞机、高铁、火车、客车、出租)、三大运营商数据、社区采集和个人举报数据(个人体温、个人路径轨迹、个人密切接触者、集会活动)、社交数据(微博、微信、微信运动、QQ)、互联网数据(搜索、在线问诊)、其他数据…… 1.3 数据用途与可视化将医疗小数据与各式各样的大数据结合,就能够创造出不少实用的抗疫数据应用:同行航班查询、同行车次查询、周边社区确诊查询、疫情全国分布等等,相信多数人已经使用过了,这里便不多讲。 多数应用的推广都离不开数据的可视化,除了常规的柱状图、折线图、饼图之外,这次最让人关注的始终都是疫情地图。 133233来自丁香医生公众号18号的截图133234 有个有趣的事实,最早的数据可视化就是在1854年由John Snow医生制作的霍乱死亡病例地图。通过地图,snow医生获得了重要的认知,霍乱传染与水源有关。除此之外,相关的病例数据还会进入到科研中,医生、科研人员将对患者的病历数据进行分析,发表研究性论文,得出对于疾病的准确认知。例如20年2月11日,国家疾控等机构在MedRxiv上合作发表的最新一篇论文,对8866例患者进行详尽的分析,得到了以下关键数据:1、新冠肺炎基本再生数R0估计值为3.77(95% CI:3.51-4.05),在调整潜伏期和感染期参数后的敏感性分析中得到的R0范围为2.23-4.82;2、从出现症状到确诊的时间中位数为5天(2-9天)。估计新冠肺炎潜伏期的中位数为4.8(3.0-7.2)天;3、观察到的确诊患者病死率为1.44%(95% CI:1.10-1.86%),估计调整后总体的病死率为3.06%(95% CI:2.02-4.59%)。人类对于病毒的恐惧,多数是来自于未知。现在大家对于新冠肺炎的理解越来越深入,对于它也就逐渐不再害怕。 2、疫情数据流转中遇到的问题2.1 数据标准问题在这次疫情过程中,最容易引发争议的,恐怕就是前期和中期疫情的数据变化和真实情况相差过大。在这里捋一下时间线和关键事件:12月8日 官方通报首例不明原因肺炎 12月26日 张继先发现严重性 27日上报12月31日 武汉卫健委发现肺炎27例1月3日 武汉卫健委公布病毒性肺炎诊断44例1月5日 武汉卫健委公布病毒性肺炎诊断59例1月11日 武汉卫健委公布新冠病毒感染的肺炎41例,出院2例,重症7例,死亡1例1月12-17日 武汉卫健委每日通报,无新增新冠病毒感染的肺炎病例1月18日 武汉卫健委公布 16日新增病例4例,1月19日 武汉卫健委公布 17日新增病例17例1月19日 国家卫健委宣布开始下放检测试剂盒。1月20日 武汉卫健委公布 18日新增病例59例 19日新增77例1月20日 钟南山肯定新型冠状病毒人传人……在这里其实能看出,报告的确诊病例增长趋势和传染病的常规增长模型有显著差别。究其原因,关键是在于病例数据的判断标准问题。 1、一开始,在对病毒缺少了解的情况下,医院根据病毒性肺炎来作为诊断依据。 2、在1月11日,“不明原因的病毒性肺炎”病原体初步判定为新型冠状病毒之后,武汉卫健委的诊断标准采用了国家第一批专家组的诊断条件:1.有华南海鲜市场的接触史2.有发烧症状3.病毒基因组测序 。由于病毒基因测序时间长、从医院角度诊断困难,且处于武汉市两会、湖北省两会期间,所以在接下来到17日,武汉卫健委没有发布新增病例。 3、在1月22日国家颁布了《新型冠状病毒感染的肺炎诊疗方案(试行第三版)》,里面明确了确诊病例需要样本的核酸检测阳性,或者通过病毒基因测序。因此我们看到的数据增长明显加快,就是在23日,此后确诊数在保持几乎相同的增长速度。 4、国家不断根据实际情况修改诊疗方案,一直到了第五版,将湖北和其他省份区分开,且给湖北增加临床诊断病例,因此,我们又看到了12日的暴增,其实质是放开核酸限制,直接关注能够临床诊断的患者。 133235 到了现在,我们可以发现疑似病例开始持续低于确诊病例,也就意味着,医院的处理能力跟上来了,现在的数据已经贴近了真实状况。在这个过程中,数据的波动只是表象,而数据背后的标准波动才是问题的核心。最近有不少数据分析师想用数据分析预测出未来的疫情结束日期,笔者认为没有必要,理解了数据的变化核心,就能理解这样的数据做预测是难以做准的,前中期获得的数据并不算是完整的疫情数据。同时,对于疫情,我们应该始终保持警惕,结束时间有合理预期即可,不必精准预测。 2.2 院内数据统计问题在疫情期间,笔者一直在为合作的多家医院做技术方案上的支撑,所以也了解到他们在疫情期间的数据痛点。 现在院外上报的流程是,一般医院会将EMR、HIS(医院信息系统)、LIS(实验室检验系统)等系统内的数据汇总之后,会上传到卫健委、疾控中心。国家卫健委在2月3日发布了《关于加强信息化支撑新型冠状病毒感染的肺炎疫情防控工作的通知》,各地卫健委根据通知不断改进采集方式,多数已经开始采用网络直报的方式,变得较为方便。 但是多数医院对于他们正在处理的患者数量、确诊疑似病例分布、内部科室人员配比、排班情况、防护物资等状况反而无从知晓,甚至出现通过excel打印纸质表单、手写统计的方式(注意:病毒可以通过接触传播),可以说低效的数据工作反而给他们的工作带来了不少负担和危险,也让管理者难以获得全貌,主任和院长无法进行快速调度,甚至连排班都做不了。也因此才有了上海华山医院张文宏主任排班排不下去了,让党员先上的“粗暴”做法。这个问题的实质是多数医院较为依赖厂商的服务,缺少快速开发数据采集和处理数据的能力。 从医院反馈的需求来看,医院遇到的内部数据堵塞点非常多。真正要将疫情数据发挥出价值,就一定要从数据层面思考完善。本次疫情数据的用法应该分为两块,一是负责“治”,二是负责“防”。医院目前已有的数据需求,笔者将其分解为三大方向。 第一块是填报微系统的需求。医院目前的主流信息系统已经极其复杂,但其功能大多是围绕着医院的常规运行部分,对于很多可以运营的数据并没有做额外的采集,也就造成了医院的许多临时性的需求数据无法采集。那么填报微系统主要就是为了将医院日常可能通过excel进行收集的部分数据,或者突发性、临时性的数据进行采集,并保留到数据库中。 133236 同样,在这次疫情中,许多医院搭建的填报微系统也发挥了作用。 133237133238 自动化业务报表,目的就是为了让医院从复杂繁琐的报表任务中解脱出来,并且能够结合医院自身情况,进行报表的快速调整和修改。133239实验室报告样本分析——医院自行开发133240实时住院查询——医院自行开发 同样的,在疫情过程中,自动化报表也在医院发挥着重要作用,在此,笔者特地梳理出了医院详细的分析指标模块,供其他医院参考。133241 第三块是管理型的数据应用,将医院的EMR、HIS、LIS系统的数据连接上,再结合填报微系统采集的数据,很方便的就能给医院管理者分析出目前的医院运行状况和指挥发力点。133242全院门诊监控看板133243地区疫情医院监控看板 现在,疫情已经看到了胜利的曙光,不过再乐观的人,也不会说这次是最后一次瘟疫的来临。经历了03年的非典、13年的禽流感、20年的新冠肺炎,笔者认为,我们现在能够做的是通过技术不断提高发现传染病的能力,因为早控制一点,就能让感染的数字少一点,损失的生命就会少一点。正如张文宏主任在演讲中所说,总要有一批人保持焦虑,人类才能长久的活下去。
家居行业案例【诺贝尔瓷砖】整合数据资源,科学决策支持
公司介绍:杭州诺贝尔陶瓷有限公司成立于1992年,现拥有三大生产基地,在全国各地设有50余家分公司,诺贝尔一直专注高端瓷砖,坚持技术领先,旨在成为“全球最优秀的装饰用品供应商”。 项目背景:随着公司信息化建设推进和业务规模的持续扩大,数据量也在线性增长,给公司的信息系统的的监控和数据的集成管理及数据分析展现带来了挑战。公司的中高层领导对企业发展的决策,也越来越依赖于数据的科学分析。为加强集团信息化管理,整合集团各系统数据资源,实现数据的集成管理和使用,公司根据业务需求,启动了可视化分析报表平台项目。 选型过程:经过严格的选型对比分析和实际考察之后,帆软报表平台(FineReport)无论是在可视化美观效果上还是在强大的可扩展性上,都占有绝对优势,最终公司选择了帆软报表平台(FineReport)做为公司的可视频化报表平台系统。 场景介绍:一、全国销售数据实时分析与展示,方便领导决策在全国50余家分公司的销售业务中,营销管理层最需要的是及时的将各地分公司的销售数据、各项费用数据和各项成本等数据都集成到一起,并能直观的从全国、各省、市和区县的角度去分层查看各项KPI指标。于是在项目中就实施了全国地图的分析功能,包括3000多个省、市、区县的三级分层(后期考虑到具体门店的室内位置图)地图,与各项数据相结合并提供相对实时的数据的分析和地图展现功能。通过该功能的实施,大大方便的中高层领导对全局数据的把控和方便直观的地图形式数据展现。在对全国各地分公司的代理商和门店的管理,也结合了该地图的功能,将数据与地图结合起来并直观的展现。 二、填报功能实现业务数据和财务数据同步更新,提高工作效率在信息化推进过程中,业务系统和财务系统的打通是需要一个过程,但在日常的业务管理中,是需要将业务数据和财务数据相结合的进行分析,业务数据目前基本能实现及时的汇总分析,而财务数据会有所延迟,在项目实施过程中,就利用了帆软的各级数据填报功能,实现的数据的及时填报。解决了数据综合分析过程中的手工数据不能及时同步的难点。 三、多终端数据展示,数据展示摆脱时空限制帆软提供了APP、微信及钉钉的接口,所以在移动端也能很方便的进行操作,大大解放了填报人员的工作地点和时间限制。 成果分享:公司KPI分析133212 经营概况分析133213 销售分析133214
家居行业案例【美克美家】数据分析卓越性
公司介绍:美克投资集团有限公司(以下简称“美克集团”)创始于1990年,前身是乌鲁木齐装饰艺术研究所,历经26年发展,现已成为一个资源全球化、市场国际化、股权融合化、产业多元化、经营品牌化和集创新设计、智能制造、精细化工、体验营销、定制化服务为一体的综合型企业集团。现拥有上市公司美克国际家居用品股份有限公司(以下简称 “美克家居”,股票代码 600337)、新疆美克化工股份有限公司(以下简称“美克化工”)等多家企业。目前拥有员工1万余名,总资产超过130亿元。 项目背景:从2012年开始了大规模的信息化平台建设,在当时公司的整体战略是“一体化的家居综合消费品公司”,对于公司战略升级,需快速扩张、卓越运营、模式创新三大业务领域,那么对于信息化规划与建设必须要与公司战略、业务目标保持高度一致,基于公司战略升级,需要快速响应才可以满足战略目标,那么对于信息化建设方面,公司的战略升级对信息网络整合要求提出了更高要求,“多品牌、全品类、全渠道”对信息价值网络整合要求越来越高。133205 IT架构建设:2012年到2017年通过5年的信息平台的建设,美克完成了从前台零售HYBRIS、销售PAD、银联POS等系统建设、中台包括CRM、商品管理,后台包括SAP系统、PLM系统、员工自管家等核心系统建设,目前美克已初步完成从前端到后端全供应链的信息整合,为家具制造事业部、前端零售店面及各服务部门提供及时、便捷的交易、决策信息。通过五年的信息平台建设,投入了近2亿的信息化建设费用后,系统应用已经逐渐替代了系统建设,在系统日常使用过程中,各类业务、系统的问题接踵而来,而数据问题不管是对于业务部门、信息部门、还是企业管理层成了我们最为头疼的问题,主要表现在数据不准确,统计口径不一致,分析维度过少,决策者认为有价值信息较少,出现这些问题后,首要做的就是对数据需要进行治理与提升。133206 数据治理:建立起一套完善的数据管理和分析体系是未来企业所需的重要竞争力要素之一,实现这一点通常都是要经历过一个循序渐进的过程,而基础数据质量的提升又是这一切的基本前提。133207l 第一阶段为落后者,主要特指信息系统覆盖面不全,数据不全面,可使用数据较少;l 第二阶段为跟随者,主要为模仿在数据方面做的较好的企业,例如阿里、腾讯,美克与帆软合作也属于跟随者,哪里做的好我们去哪里取经,哪里有特色我们就尝试改变;l 第三阶段为探索者,主要为有了自己的数据体系、架构,并且有快速强大的数据库支撑数据分析,我们在经历了两年数据方面的工作后,美克已从跟随者踏入了探索者阶段。l 最后阶段为领导者,就目前来说,BAT三家公司绝对是在数据领域的领导者,数字化营销,通过大数据分析,可以将我们的营销广告分人群、分地域、分性别及其他一些数据进行定点投放,并且在投放后形成精准的数据报告。 应用分享:美克最终选择了与帆软合作,并且搭建起了美克经营仪表盘系统,经营仪表盘系统涵盖目前美克家居产业链全业务。133208 成果1:绩效报表6号出具,缩短10天工作量,还能为管理者提供图形化的决策数据 在以前,我们需要将各系统数据导出,在EXCEL进行汇总后才能报送企业决策者,而现只要财务完成月结后,经营月报马上可以出具,目前我们经营月报基本在每月6号左右,极大提高决策者对企业日常运营的可视度。133209 绩效仪表盘通过对企业信息标准化,消除企业信息冗余,一个单一完善的绩效仪表盘能够替代上百个独立报告系统、数据集市、电子报表与数据仓库,通过及时收集相关数据,根据发生事实与以往数据,预测未来发展趋势,极大提高高层管理人员对企业日常运营和未来绩效的可视度,经营度报表缩短至每月6日出具,缩短10天工作量。 成果2:生产进度按月度年度实现进度预警 供应链的核心就是准交率,而对于不同产线的协同作业,如何有效的平衡产能和需求,这是个复杂的问题,短期内数据是无法解决的,所以美克通过曲线救国的方式,先实现数据的进度预警,把生产进度图形化展现出来,通过一套基础的预测模型在展示未来趋势,后续不断优化迭代,把数据与生产挂上钩。133210通过丰富多样的图表分析、钻取分析、多维度分析、自定义分析、即时分析等,更好的阅读报表数据,发现数据价值,通过数据预测未来发展趋势,提高管理人员对企业日常运营和未来绩效的可视度。 成果3:帆软整体应用 和帆软合作开发了260张普通报表,决策报表60张133211
关于疫情后医药行业的挑战与机遇,数据人应该知道的一切
2020 年对于整个国家来说都是不平凡的一年,全面建成小康社会的决胜年又碰上席卷全国的“黑色瘟疫”,所有人的节奏从各大城市限制交通开始都仿佛按下了减速键,无论是春节团员还是企业经营。 医药行业作为抗击疫情的关键一环,从疫情开始各大药厂和流通企业就陆续开始以各种形式参与到这场全民抗疫的大战中来,为疫情防治、控制做出了重要贡献。经笔者对帆软医药合作客户的远程调研发现,大部分药企都已经逐步展开复工复产,新一轮的复工防疫战也全面打响。 那么,“后疫情”时期,医药行业的数据从业人员该如何帮助企业经营打好防疫战和提前战? 医药企业复工将会面临三类挑战:短期关键词:燃眉之急 当前企业复工最关键的就是掌握员工的健康状况,同时还需要准确地获取返乡、返工等信息,根据信息相应做好疫情防控工作。 中期关键词:活下去 春节期间的全面停产停业已经导致很多企业业务中断或骤减、负债增加,元气大伤,延期复工又给企业带来更大冲击,同时原辅料价格将保持高位运行,很多中小微企业命运更是岌岌可危。于此情形,能否“活下去”便成为了当下很多企业的开年难关。 在如此严峻的危机之下,企业启动自救应急方案迫在眉急。而采取什么样的自救措施,核心目标与侧重点又是什么? 长期关键词:蓄力竞争 在这场“战疫”中,我们看到“医药电商”“线上诊疗”等新业态迎来了一波新的看涨趋势,同时全国人民的健康意识得到极大加强,疫情后医药行业必然会迎来一次市场的“触底反弹”。 但同时笔者预测 ,4 月份开始由于疫情导致延迟推进的医改政策将会重加速,大量法规将发布和征集意见。政策和市场面临新的挑战和机遇,企业如何重整旗鼓、把握市场、调整目标、蓄力竞争,而这个过程中数据工作者和 IT 同仁该如何打好提前仗? 1,短期应急,做好企业防疫物资、信息管理,高效应对特殊时期企业复工的燃眉之急 2 月 25 日,卫健委紧急发布了《关于依法科学精准做好新冠肺炎疫情防控工作的通知》,其中为企业复工提供了的新冠肺炎防疫技术方案,如何安全复工复产成为了当前最重要也是最紧急的事情。 医药行业的生产、流通环节能否安全复工、满足药械供应,更是能否打赢这场防疫战的关键。如何做到高效复工复产,最基本的前提是要保证人员安全和生产规范,其次则是针对特殊时期如何做好员工效能的监督和促进。 132679 帆软在疫情发展期间快速响应客户需求,推出了大量支撑企业安全复工复产的免费应用,比如员工健康信息采集上报、园区出入登统计、防疫物资管理等应用,为企业复工提供了有效的数据应用支撑。 笔者在此不做过多详述,有相关需求可移步:帆软春雷计划 2,中期管控,从财务风险、业务阻力角度提供数据支撑,为企业“活下去”想方设法 就年度战略目标来看,对很多企业来说可能最重要的不是如何赚更多钱的问题了,调低利润目标,能够坚持“活下来”就是胜利。 首先是疫情期间的企业损失复盘如何快速响应。 由于医药产业链的特点,信息传递误差大、效率低,很多企业虽然从账面上能够计算出当前的收入、成本、现金流情况,但是终端销售情况短期内很难掌握和预判,往往延迟在两周以上。这样会导致财务角度的企业现状无法有效复盘,资金差距难以把握,下一步就会直接影响企业现金流精准管理和融资、应收两端的管理。 国内某制药百强企业,在基础流向系统完善的基础上,2018 年就逐步完善了营销、生产、财务类的数据仓库建设,并在此基础上搭建了大量的主题数据分析应用和自助分析体系。疫情开始的第一时间业务分析人员就通过自助分析进行了疫情专题分析应用的搭建,掌握不同渠道、产品在疫情期间的同比情况,判断受影响因素最大的环节,进而基于损失预判来调整下步针对疫情的决策。 132680 但由于流向数据等基础设施未完善,很多企业短时间内无法像这一企业一样完成数据的采集工作,更别说进行分析复盘了,针对这类企业笔者给出以下建议,希望能够有所启发: 1, 促进商务、采购等部门拉通上下游合作伙伴,针对疫情进行关键信息合作的专题讨论2, 通过简道云、FineReport 等快速填报应用,搭建相关数据采集报表,打通企业内部和上下游的数据信息链,更快掌握上下游情况和损失复盘3, 基于基础信息再进行财务损失复盘的研判分析 帆软基于医药行业实践积累大量业务场景经验,有相关需求的企业可以通过顾问在线上传相关需求,我们共同来解决当前急需应对的问题。 132681132682 其次是企业最核心的资金问题,要渡过难关,现金流是重中之重,必须做好财务风险管理 最近企业自问最多的问题恐怕是“在严防措施不解除的情况下,企业还能运转多久”了。对于这个问题,大部分企业的财务数据基础已经基本趋于完善,面对企业高层来说我们要做的就是把关键的财务信息整合提供高层作为决策参考 可以初步对现金流做一个衡量,摸清企业的实际情况,可以参考以下公式量化为“生产时间”指标,按照时间长短判断生存线(6 个月及以上)、平稳线(9 个月及一上)、健康线(12 个月及以上)和宽松线(24 个月及以上)。 132683 并整合数据实时看板,反映当前的企业现金流的问题现状和问题方向 132684 同时,在对企业生存现状有了一个粗略的评估后,企业还需要进一步对必要的成本费用、现金流支出和收入进行测算,进而掌握关键问题方向来设法“开源”与“节流”。 比如应收环节,无论是制药还是流通环节,有很大比例的赊销模式存在,应收账款分析是企业开源的一个关键方向。在面对疫情期间需要区分清楚受疫情影响的坏账和本来会逾期的情况,关注应收账款的催收,在账期上下功夫。 132685 一方面尽量把应收账款收回来,减少下游应收账款的占用,保障企业的资金安全,可以同现金流宽裕的老客户商量,通过让利的方式,提前把账算清楚,收回;另一方面还可以积极地跟上游沟通,争取更长时间的账期。 3,长期准备,面对疫情过后的市场可能的触底反弹,提高企业数据化运营能力蓄力竞争 疫情当期我们其实看到了大量的变化产生,比如医药电商在春节期间日活人数平均增长 5.44%,疫情也进一步促进了未来医药电商的政策开放。各类新业态也许正在疫情期间酝酿、疫情过后迎来爆发。 面对新的变化,笔者建议还是要抓住企业经营本质,从市场环节和供应链环节做好“后疫情”时期的竞争准备。 1. 医药流通/零售行业,疫情结束之后应该有一波爆发式的消费,这个时候需要做到两点1)商品不缺货,时刻盯着商品的可售天数;2)商品囤货过多,由于报复式消费,造成囤货过多,这时候消费者又不买了,造成大量的库存积压关键是从进销存的协同角度找准关键指标进行层级监控和压力下方 2.除了疫情防控之外很多药企同仁都表示营销端受阻,短期内一线人员很难复工。但是疫情影响的目标,肯定还是会在疫情后展开新的营销计划和激励措施,这个时候要做的是为即将迎来的“营销战役”找回目标、准确决策、高效执行。 面对即将迎来的“触底反弹”,需要数据同仁们做好相关信息化、数据化运营的基础准备。在 3月4号的直播中,除了“防疫战”之外笔者将会为大家分享对这一问题的思考和应用参考。 132687
双模IT银行商业智能生态建设
文|帆软数据应用研究院 汪建辉在10月26日,我们在福州举行了 “帆软数友汇”的银行沙龙会议,会议邀请了厦门国际银行和厦门农商行给其他银行分享他们的信息化建设,会议上大家氛围轻松的对银行数据化管理的各项痛点和难点进行了深入交流和讨论,相信各位参会嘉宾应该都有所收获。由于某些原因没能到场的朋友也不要遗憾,本文将对会议的主题“双模IT银行商业智能生态建设”进行详细的分析介绍。了解一下双模IT会议的主题“双模IT银行商业智能生态建设”中有两个关键词,一个是“双模IT”,一个是“生态”,那首先我们来了解一下什么是双模IT。双模IT是由全球数据研究先锋gartner首次提出来的概念,当时他是这么解释的:双模IT就像武士和忍者,一个行为严谨规范,是作战主力,一个擅长盗取暗杀,是高效辅助。其实就跟抗日战争时期的正规军和游击队类似。Gartner认为:双模式IT才是未来很长一段时间的主流。132574 双模IT在数据分析上的具体形态,就是将固化分析和探索分析结合起来,用固化分析来应对复杂逻辑场景,比如查询报表、填报报表、复杂报表等;探索分析来应对不确定的临时场景,进行一些探索式业务分析,比如大数据全量分析、自助取数、可视化探索分析甚至是数据挖掘。132575 举一个简单的例子,比如1104的贷款质量迁徙表,这种报表比较复杂,里面涉及到的计算也比较多,但是内容是相对固定的。所以这种报表毫无疑问是需要交给IT来完成的,业务没有能力和时间完成这种复杂报表。但是再看下面两个报表,左右两边的报表整体未改,但是指标由于某些原因又需要进行增删改操作,这种需求如果有自助分析平台,让报表有足够的自由度,业务是可以自己去修改报表的。132576 这个其实就是双模IT的一个典型场景,双模IT其实就是用固化分析和自助分析结合的模式来解决现阶段数据应用的分工问题,是真正能实现IT和业务双赢的一种IT解决方案。132577 我们都说离开建设谈应用都是耍流氓,那我们该如何建设良好的双模IT架构呢,这就是今天的另一个关键词了:生态。生态学思维是指有机体不能脱离其他环境单独存在,强调各个系统之间、各个个体之间的相互联系和反馈,就像我们的自然生态系统一样,任何一个生命体都不能离开自然生态而独立存活。同样的,将这个思维映射到商业智能的建设上,就是要建立一个具有连续性、多样性的商业智能生态。 我们知道物种多样性和自然生态系统的稳定高效息息相关,同样的,商业智能生态是否丰富多样也决定了商业智能是否可以长期保持活力。商业智能的生态类型非常丰富,但基本分为数据生态、业务生态、分析生态、产品生态、应用生态五个大类。132578 每个生态其实都有其丰富的内涵,这也正好符合生态系统“丰富多样”的特征,下面我们就详细的解释一下各个生态的建设过程。数据生态建设数据生态建设的第一步是对全行数据进行梳理,建立数据治理制度,与业务紧密结合进行数仓建设。一般的过程是从各个业务系统增量抽取数据到ODS贴源层,然后在ODS层数据进行分类和清洗但是保留最小粒度,最后根据设计好的维度模型进行数仓的建设,形成口径一致的汇总层数据。一般的,我们还会在数仓中建设一些面向应用的数据集市,比如面向审计我们会做EAST数据,面向风险监管我们会有风险集市等。132579 然后就是坚持长期的进行数据治理。其实在数仓的建设过程中就会做好一些清洗工作,比如统一编码规则,规范脏数据等。但是数据治理是一个长期的工作,不仅仅包括ETL过程的一次性工作,还包括长期的组织、制度、流程的配合。132580 那在建设好数据基础之后,我们该怎么利用这些数据进行分析呢?首先我们分析肯定不是乱分析的,而是根据一定的指标体系来进行分析的,而指标体系在一些传统分析领域是有非常成熟的指标库的。比如分析盈利性分析、流动性风险分析、财务分析等。举个例子经营状况分析指标体系就包含:资金成本率、经营成本率等等。再结合分析模型,比如说财务经常使用的杜邦分析模型,就能形成一张层次清晰的分析报告。132581 有很多人问到,到底什么是分析模型。其实分析模型就是分析问题的方法、思路,有些能够固化,而有些需要临时确定。复杂的类似一些数据挖掘模型,简单的比如针对客户的RFM分析模型已经有了固化套路了,但是针对审计系统的有些新的模型可能需要临时分析逻辑,在经过行内验证之后,就能固化下来,逐渐形成审计模型库。上面这些方法是针对部门的专业人员的,但是对于领导来说,不一定要每个指标都看,这就需要针对领导的需求进行指标体系定制。我们对多家银行领导对于驾驶舱的诉求总结了一下,给领导的看的指标一定要有层次、有分类、有闭环。有层次就是不能把全行经营的所有明细一股脑的全部给领导进行展示,需要按照汇总关系设计一些钻取联动;有分类就是需要把经营指标进行分类展示,形成类似经营看板的报告;有闭环,就是业务有头有尾,又涵盖全貌,比如不能只有存贷款分析而没有收入和利润分析。比如,可以将全行经营指标进行分类之后进行展示的,比如经营对比、规模对比、净利润、净收入、成本收入比、总资产、各项存款余额、各项贷款余额和不良贷款率等,未达标的大指标进行泛红显示,领导点进详细信息就可以查看详细统计信息了,比如哪个支行、哪个客户经理未达标,前五名后五名等。数据整理好了只是完成了将数据转化为信息的过程,但是数据只有紧密的结合业务场景,才能发挥更大的价值。相比于数据仓库采用成熟的建模范式不同,业务生态相对来说比较个性化。业务生态建设银行的业务生态其实是很复杂的,但是商业智能应该尽量根据行内的需求进行业务生态建设,不能盲目开发导致资源浪费。各个银行根据他们自己的特色和领导的关注点,都开发了丰富多样的分析系统。132582 业务生态的建设相对于数据生态来说,是比较个性化的。比如某个省联社其实已经在我们平台上建设了非常多的经营管理驾驶舱给到下面的行社来用,但是对于农商行这种区域特色的金融机构来说,行长的经营管理策略和关注的指标体系都是有不一样的,而且不同的时间节点,关注的报表内容也是不同的,所以没办法一套大而全的系统满足全省所有农商行的管理需求。所以很多行社其实自己也会针对行领导的关注点来开发一些特色的管理驾驶舱,还有些会将驾驶舱放到移动端上面,让领导出差在外也能对行内状况了如指掌。当然,除了经营管理报表,很多银行也会利用帆软的平台将以前一些手工的数据转移到线上,避免手工统计的差错和麻烦。比如江苏某农商行在帆软平台上做了全套的1104和大集中报表,代替了他们以前手工统计上报的工作量。徐州某银行2016年开始实施绩效考核项目,到2017年初开始全行上线,将120多页的绩效考核方案全部做到线上电子化,避免手工统计的费时费力,而且可以随时调整和增加考核内容。除此之外,还可以做一些利率定价管理、流动性分析、管理会计报表等,帆软银行事业部在这些方面也有全方位的案例覆盖。分析生态建设其实不仅仅是指标和业务是具有多样性的,分析方式也是具有丰富多样的形式的。分析生态的建设内容一般包含四种:固化分析、自助分析、数据挖掘和人工智能分析,我们需要根据需要和科技现状采取不同的分析方式。第一个分析形式是固化报表。首先我们给报表下一个定义:l 报表能够将所需数据反馈给使用者l 数据将以标准的、预定义的格式呈现l 在生成报表的过程中,除了通过报表界面请求报表的使用者外,没有他人参与综上几点:报表不够灵活。一种比较常见的误解是:手头上有大量可用的报表,但是误以为他们有大量可用的分析。商业智能的管理员会说“我们有世界一流的BI环境,我们有500多份可用的报表,它们可以覆盖任何业务领域,我们的业务人员拥有他们想要的一切数据”。但是,业务人员会说“太失望了!我们花费了一两年时间来建这个报表系统,但我依然没有找到我需要的”。这就是为什么IT和业务经常争执的原因。分歧源于下面的事实:好像埋藏在500份报表中的东西才是业务人员所需要的。但是当报表多达500份时,他们很难从中找出他们想要的。另外,任何两个人都希望用他们的方法和角度来看同一件事,这也就意味着每个报表都需要面向不同的人员提供不同的观察角度。重要的不是报表的数量,而是报表的相关性。所以在固化分析这一步,我们需要的不仅仅是固化报表,而是固化报表群,这个群是用来表达一个业务模块的,并且报表与报表之间是有业务关联或者逻辑关联的。比如单独的一张流动性缺口表是一个固化报表,但是如果配合上流动性结构表、趋势表,资产流动性表,负债流动性表等组成一个报表群,就能将流动性的常规分析模型给固化下来,每次不用重新思考报表之间的关系,也不用每次重新开始一个分析,固化报表会直接给你答案。那我们该怎么让报表更加灵活并且确实对某类问题行之有效呢?这个就需要业务自助的形式,来对业务问题进行探索性的分析。当然这个工作也可以交给IT来做,但是效果肯定没有业务自己拿到数据来做好。因为业务是数据的生产者,也是应该是数据的消费者,而IT只应该是数据的加工者。业务自助分析是一种社会专业化分工细化的体现,银行的业务越来越复杂,IT人员不太可能同时对所有的银行业务都很了解,不懂业务去做分析那自然是没法得到答案的。IT将数据加工成业务能懂的数据之后,对业务来说数据就转化为了信息,然后业务再结合自己的专业知识,就能将信息场景化的转化为智慧,这就是著名的DIKW模型。132583 除了固化分析和自助分析,现在数据挖掘也非常的火。我们在BI中我们内置了一些数据挖掘算法,让业务人员也可以在前端用可视化的方式做一些数据挖掘工作,结合FINEBI强大的可视化能力,制作出优秀的数据分析报告。132584 如果需要更加高级的数据挖掘算法支持,我们也提供R语言深度集成,可以在前端输入R语句来实现复杂的算法,后期也将支持python语言。 最后的一个分析生态,人工智能分析,现阶段实际应用场景还比较少,但是我们的创新产品研究所也在持续跟进这样的新兴需求,比如微信语音打开报表。 总结一下 今天分享的内容有比较多,不得不总结一句。其实讲了这么多,围绕的都是今天的主题“双模IT银行商业智能生态建设”方法,总结一下其实就是双模IT的思路加上生态学的思维。 双模IT非常好理解,就是需要固化分析和自助分析结合起来,分别应对一些复杂分析和探索性临时性分析。 生态学思维其核心就是相互联系和丰富多样。商业智能的建设不能是孤立的系统,而应该是连接数据、业务、分析和应用的纽带。比如不管使用探索分析还是固化分析都可以对各种业务进行分析;不同的业务生态也需要不同的数据生态建设来进行支撑;不论使用finereport还是FineBI都可以根据不同的使用场景选择PC端、移动端和大屏端进行展现;应用生态的建设应该紧密联系银行的业务生态。这才是生态学思维的究极奥义,生态既要丰富多彩,又要紧密联系,这样才能让商业智能源源不断的迭代和发展。 static/image/hrline/line7.png 读到这里为止作者的观点是否有打动你呢?本周日晚8:00,本文作者汪建辉老师将来到直播间,分享银行业数据可视化解读与实战,快扫描下方二维码报名!132573
银行业数据治理的六个要素你做到了几个?
文|帆软数据应用研究院 汪建辉 部分图片来源:公众号EAWorld 引言: 帆软作为全球数据分析和商业智能平台提供商,这几年深刻的感受到了全球数据应用的热潮,但是随着越来越多的客户开始实施并广泛应用BI系统,数据治理的话题也在最近被越来越多地提及和讨论。 过去的十年,银行的IT系统经历了数据量高速膨胀的时期,这些海量的、分散在不同角落的异构数据导致了数据资源的价值低、应用难度大等问题。同时,银行内部的业务条线或行政分化也在不断地制造着银行数据交互的断层,而银行与外部业务交互所产生的“体外循环”数据与企业的核心数据体系并不能自然地融合,这个时候数据治理体系建设可能不是银行的一个选择,而是唯一的出路。 132546数据治理规划 在长期对客户的FineBI商业智能项目的跟踪过程中我们发现,往往只有那些建立了一定的数据治理体系的客户,才能真正的将商业智能用起来,用户才能真正进入商业智能时代。这个问题在银行等金融机构内显得尤为突出,银行数据向来以量大质优而著称,但是实际情况是它比其他行业好一些,但是长期以来也缺乏数据治理的体系化建设,导致商业智能价值链受阻。要想在数字化转型中抓住机遇,银行的数据治理体系建设势在必行。 数据治理是一个系统工程,是一个从上至下指导,从下而上推进的工作。因此,在指导方面必须得到大家的共识,要有一个强有力的组织、合理的章程、明确的流程、健壮的系统,这样才能使数据治理工作得到有效的保障。 要素一:发展战略目标 战略是选择和决策的集合,共同绘制出一个高层次的行动方案,以实现更高层次目标。数据战略是企业发展战略中的重要组成部分,是数据管理计划的战略,是保持和提高数据质量、完整性、安全性和存取的计划,是指导数据治理的最高原则。132547数据治理是否与企业发展战略相吻合也是衡量数据治理体系实施是否成熟、是否成功的重要标准。要在企业发展战略框架下,建立数据治理的战略文化,包括企业高层领导对数据治理的重视程度、所能提供的资源、重大问题的协调能力,以及对数据治理文化的宣传推广、培训教育等一系列措施。这种整体统一的思想,和我们生态学模型下的帆软DA生态系统整体统一的特征如出一辙,充分证明了目标统一的必要性。 2 数据治理文化。2018年5月21日,银保监会发布了《银行业金融机构数据治理指引》,从数据治理架构、数据管理、数据质量控制、数据价值实现、监督管理等方面规范了银行业金融机构的数据管理活动。数据治理的战略组成部分主要包括:数据治理的愿景、商业案例摘要(包括例子)、指导原则、长远目标分解、管理措施、实施线路等。 2 认知与行动。信息化领域有一个很有名的说法“Garbage in, garbage out”,翻译为中文就是“垃圾进,垃圾出”,意指用脏乱的数据做样本,产生的研究成果也是毫无价值的。数据的污染可能发生在数据产生、采集、传输、流转、加工、存储、提取、交换等各个环节,因此要保证数据治理目标的实现,就必须对数据进行全流程的管控,要在全行范围内形成统一的数据治理认知,让人人有责的理念深入人心。光有认知还不行,必须要有相应的制度和管理来保证从认知到执行的转变,让员工认清责任与义务,明确具体的工作要求。 要素二:数据治理组织 数据治理的组织包括制度组织和服务组织。制度组织主要负责数据治理和数据管理制度。这些组织是跨职能的,通常商业银行会建立数据治理委员会、数据管理制度团队等组织,负责整体数据战略、数据政策、数据管理度量指标等数据治理规程问题。132548 比如大连银行成立了“数据管理办公室”,将其作为数据治理的执行机构;巴克莱银行还建立了数据管理的三层组织体系,包括决策层、管理层和执行层。与政府部门和机构一样,制度组织执行类似于行政部门的职责。数据服务组织主要是又数据管理的专业人员组成,包括数据架构师,数据质量分析师,元数据管理员等,主要执行数据治理各个领域的具体实施工作。 2 组织架构。有效的组织机构是项目成功的有力保证,为了达到项目预期目标,在项目开始之前对于组织及其责任分工做出规划是非常必要的。数据治理设计的范围很广,牵涉到不同的业务部门和科技部门,是商业银行的全局大事,如何成立和成立什么样的组织应该依据商业银行本身的发展战略和目标来确定。 2 组织层次。建立有高层领导者组成的数据治理委员会,组织跨业务部门和IT部门的协调工作,规划数据治理的总体方向,并在其下设立工作组,执行数据治理计划和监督数据管理工作。不同的组织层次应该发挥不同的职责职能,建立合理的组织层次有利于快速推动数据治理工作的开展。 2 组织职责。根据数据管理工作的实际需要,在业务部门、技术管理部门和业务应用部门间要确定各个工作人员的职责。不同的组织负责的职责不尽相同,例如不同的业务部门应该明确各自业务开展对数据的具体要求和相关规则,而技术部门则会根据业务部门的需求负责具体的实施工作,包括将业务部门提出的要求转化成技术语言,用于事前的控制(如字段的约束)、事中的逻辑控制(例如控制不能为空)、事后的核查,以及具体的技术操作和编制定期的报告等。 要素三:制度章程 制度章程是确保对数据治理进行有效实施的认责制度,其中一些是数据治理职能的职责,也包括其他数据管理职能的职责。数据治理是最高层次的、规划性的数据管理制度活动。换句话说,数据治理是主要由数据管理人员和协调人员共同制定的高层次的数据管理制度决策。这里只简单的介绍包括哪些制度章程。132549银行数据治理制度体系 2 规章制度。数据治理规章制度类似于企业的公司条例,他会阐明数据治理的主要目标、相关工作人员、职责、决策权利和度量标准。2 管控办法。管控办法是基于规章制度与工具的结合,是可落地、可操作的办法。2 考核机制。考核是保障制度落实的根本,建立明确的考核制度,实际操作中可根据不同银行的具体情况,建立相应的针对数据治理方面的考核办法,并与个人绩效挂钩。2 技术规范。技术规范是保障数据治理平台可持续管理的基础,随着数据量的增长、技术水平的发展,为更好的、可持续的实现数据资产的管理与应用,需要建立明确的技术规范。132550典型的制度或规范领域 要素四:流程管理 流程管理包括流程目标、流程任务、流程分级。根据数据治理的内容,建立相应的流程,且遵循本单位数据治理的规章制度。实际操作中可结合所使用的数据治理工具,与数据治理工具供应商协商,建立符合商业银行的流程管理。 132551 做好事前预防。上述谈到的战略文化、规章制度的贯彻落实,就是最好的事前预防措施。我国一些大型银行已经上线了一些专门的数据治理平台,比如企业级元数据管理系统,数据质量分析系统,数据生命周期管理系统等,将相关的制度规范和职责要求在系统中进行控制和约束,并在流转的各个环节由相应的组织和角色负责,实施认责机制。 加强事中监测。应组织分析各领域的数据质量问题,监测报告本系统的数据结构变化情况,数据分布情况,数据对业务服务的满足情况、在线数据增长情况、数据空缺和质量恶化情况等。这些事中监测过程除了需要规章制度的保障之外,还需要有可靠的工具或平台来进行分析,避免凭空管理。 进行事后评估和整改。定期对系统开展全面的数据治理状况评估,从问题率、解决率、解决时效等方面建立评价指标,通过系统记录并跟踪需要整改的数据问题,要求按期整改优化,必要时进行一定的考核。一般时候评估与整改可以安排在项目投产一周后,并按年进行回顾。 要综合各种方式进行数据治理。目前,我国商业银行数据治理基本上通过系统或工具发现问题,然后技术人员进行批量修改,或者由业务人员进行修订或补录。其工作基本上由银行内部人员完成。对于涉及客户的相关数据,则很难进行治理。从这点上,应该充分借鉴互联网企业的做法,发动客户积极参与到银行的数据治理工作中。比如通过电话、短信、邮件通知客户确认相关信息;对重要的企业客户,通过走访确认和补充缺失与错误信息;通过活动、游戏等形式,并给与一定的奖励让客户主动完善相应信息;通过提示客户信息不完备不能办理相关业务来引导客户进行信息完善和验证等。 要素五:技术应用 技术应用包括支撑核心领域的工具和平台,例如数据质量管理系统、元数据管理系统等。他们是数据治理能够顺利开展的技术保障。只有建立丰富的数据治理工具和平台,才能从各个领域有效的进行数据的管理和治理,才能有效提高银行的数据价值。 数据资产管理系统,统一管理全行的数据资产,包括元数据、数据模型、数据标准,以及其他重要的数据资产,并提供可视化的数据查询和展示功能,支持通过功能嵌入等方式实现数据资产的快速与便捷查询。 数据质量管理系统,落实数据质量问题的治理工作,实现数据质量问题的发现、跟踪、治理、评价的全流程闭环管理。搭建数据生命周期管理平台,落实数据生命周期管理机制。 不断丰富丰富前台源系统的基础数据,持续加大数据积累和整合的广度深度,建设统一的数据仓库平台,满足前台营销、统计分析、决策支持、风险管理和新资本协议等多种需求,持续提升对数据的挖掘、分析与深度应用能力。 在建立上述配套支撑系统的基础上,还需要实现各系统间的互联互通,相互协同与验证,提供数据统一、形式多样的数据服务。例如,中国工商银行针对元数据管理开发了元数据及软件资源管理系统,针对数据标准建立了集团信息标准服务系统等。 要素六:成熟度模型 CMMI协会在2014年发布了数据管理能力成熟度模型Data Management Maturity(DMM),可以用来评估和提升企业的数据管理水平,帮助企业跨越业务与IT之间的鸿沟。DMM模型可以帮助企业在管理数据资产上达成共识。它包括了5个连续能力和25个提升的过程域,可以反映所有数据管理的内容,可以促进企业建立自己的数据管理成熟度路线图。 132552 数据管理能力成熟度模型总结我国银行的数据现状普遍都是一个先污染、后治理的过程,数据治理必然带来新的标准的确立和旧系统的改造,是一个有破有立、无破不立的过程。这一过程设计大量的跨部门、跨条线、跨系统的沟通协调,同时也涉及不小的投资。为了不使投入的人力物力付之东流,在治理前期就应该规划好各项规章制度和管理架构,保障后续的各项治理工作能够行之有效并且长期坚持。 static/image/hrline/line7.png 读到这里为止作者的观点是否有打动你呢?本周日晚8:00,本文作者汪建辉老师将来到直播间,分享银行业数据可视化解读与实战,快扫描下方二维码报名!132587
2019帆软top12明星行业的现状分析
131487131488131489131490131491131493131495131496131497131498131499131492
卫健委对医疗数据核心问题动刀,帆软如何帮助政策落地?
今年卫健委发布了一个重磅政策《全民健康信息化为基层减负工作措施》(后面简称减负政策)。卫健委为了解决目前医疗数据的三大问题,提出了十小项的应对措施。笔者从事医疗数据分析行业,看完这个政策,不由得惊呼,卫健委终于开始动刀医疗数据的核心问题了。今天就从数据的角度分析下卫健委进行基层减负的原因、思路和影响。 1.卫健委是什么? 要想理解卫健委的数据角色,首先要分析下卫健委的组织架构变化,理解在现实意义中卫健委需要发挥的作用。 1.1 卫健委的组织架构变化 卫健委全称国家卫生健康委员会,成立于2018年2月,下设司局同之前国家卫计委的内设司局数量上是等同的,但撤销司局3个,更名的司局4个,同时增加了4个司局:老龄健康司、职业健康司、人口健康与家庭发展司、保健局。从新增部门也可以分析出,卫健委关注的人群和范围大大增加,覆盖了妇幼、老年、职业健康等群体,提升了组织视野,组织架构能够更好的支撑健康中国战略。 1.2 卫健委成立的意义 那么卫健委成立之后到底对于医疗体系来说有什么好处呢,笔者的认知是:提升了全局观。改革开放后,发展是第一位的,在当时健康问题就没有那么受重视。而现在中国的发展已经到了一个新的台阶,人口健康问题开始凸显,之前可能认为的小问题不断衍生放大,就开始变成了潜在的大问题。比如人口问题,现在已经面临着出生率难以提高、老龄化问题逐步加剧的宏观问题,而解决这样的问题,无法直接通过单一的手段来解决,必须通过观察全局,合理分配资源去解决。那么卫健委的成立首先就是提升了整体视野,不再仅仅关注部分健康问题,而是全国性各种动态的、潜在的健康问题,比如心理问题、职业健康问题、青少年用眼问题,在卫健委成立后,就能敏锐关注到并且能够出台相应的政策。 2.卫健委为什么要给基层做数据减负? 2.1 卫健委的数据角色 理解了卫健委的定位,再来说说卫健委的数据角色。卫健委需要观察全国性质的问题,在信息化、互联网的时代,自然就需要大量的数据,而且是各种意义上的健康数据,从一个人的出生到死亡过程中出现的全面健康数据,比如出生数据、体检数据、心理健康数据、职业健康数据、疾病数据、药物数据,甚至基因数据等等,都是可以参考的数据来源。拥有全面的数据,才能囊括医疗数据全周期。同时不仅仅是一个人产生的健康数据,卫健委的数据需求还要乘以14亿。从这个意义上,卫健委未来将会成为医疗的超级数据主体。超级数据主体离不开自身的数据治理和数据发展思路,卫健委虽然刚成立两年,但从减负政策中,已经可窥见卫健委已经具备了治理全国医疗数据的初步思路。 2.2 数据采集问题带来的困扰 卫健委由于自身的数据角色,需要不断地采集数据,而大多数据是通过全国的医疗机构进行数据上报、问卷、专项调查等方式解决的,这也就造成了数据任务基本都积压在底层医疗机构的身上。在全国医疗需求不断增长、群体性医疗问题不断突出的环境下,大规模突击式人工数据采集对于底层医疗机构来说已经逐渐成为了一种负担。 笔者拜访过不少三甲和二甲医院,在医院里,经常性会遇到医院为了搞某项数据上报而全院动员的现象。今年9月,CHIMA报告调查了1909 家医院,对医院数据应用信息化建设程度的调查结果显示,最受医院重视的是医院数据报送,有72.97%(1393 家)建设了医院数据报送的应用,而其他如医保信息监控、医院运营决策管理等只有30%左右的医院实施了,从这里可以看出,上级部门的数据报送需求其实占据了医院数据需求的主要部分。 131337 上报数据应用放在首要建设的位置,也侧面说明了,大规模采集医疗监管数据对于医院的负担是不小的。如果思考下深层原因, 首先会发现多数医疗机构的信息化程度还不到位; 其次会显现出上级管理部门对于数据的采集还没有统一化、规范化; 最后是医疗机构还缺少数据导向,难以利用需要上级需要监管的指标管理自身。 如此来看,基层数据减负还需要有统一的标准和明确的思路。 3.卫健委如何给基层切实减负——政策解读 3.1 减负思路 第一部分提到了卫健委强大的数据角色定位,不过理想是如此丰满,现实是如此骨感。那么卫健委怎么去解决这个问题呢,其实通过发布的《全民健康信息化为基层减负工作措施》已经可以清晰看出卫健委的相应思路。 我们可以通过减肥的形象思路来理解减负思路,假设一个200公斤的人想要练出一身肌肉。 第一步要做的就是减脂,那么需要知道自己每天摄入的卡路里量,判断自己每天该吃什么、吃多少; 第二步要做的是做到健康饮食,一定管住口,通过小规模的运动把无用的脂肪负担减去; 第三步是当减肥减到微胖的时刻,就可以加大运动量,不断增肌,防止能量转化成脂肪。 同样,基于先减脂后增肌的思路,卫健委通过先减少不必要的数据需求,再通过动起来的方式凸显数据肌肉,从而实现数据减负。 3.2 十项措施具体解读 卫健委首先强调的是解决“报表繁”的问题,就是要先把自己想要数据和指标搞清楚,这样才能在不损伤自己的核心能力的前提下发挥减负的效果。 (一)措施一解读:要给底层机构减负,首先就是要从卫健委端把数据需求搞清楚,减少出现报了不用、报给多个部门、多次报同一数据的情况。因此卫健委梳理出了覆盖医院常规需求的标准上报方案和数据指标,在今年五月出台了《全国医院数据上报管理方案》和《全国医院上报数据统计分析指标集》两项标准,从源头上减少重复报送。 (二)措施二解读:把统计工作行程制度,建立清单,规范化管理,杜绝随意增加报送的现象。 (三)措施三解读:建立统一的数据采集平台,统一搭建,避免数据上报系统繁多、数据分散的情况。 其次要解决的是“多头报”的问题,更多从优化卫健委自身信息系统的角度去管住数据采集的口,同时小规模的应用数据,对基层开放数据,让填报数据保持活性。 (四)措施四解读:清理已有的无用系统,原有200多个信息系统进行整合,没有统计分析的“僵尸”系统一律清理和销户。 (五)措施五解读:按照司局为单位尽量建立单一的业务信息系统,并和全民健康信息平台对接。 (六)措施六解读:基层医疗卫生机构数据采集逐步实现“只录一次”,推广移动终端应用,并且保障对基层开放数据接口,自动产生指标汇总和统计分析。 (七)措施七解读:原则上不在国家级全民健康信息平台之外新增信息系统,不符合共享要求的全面健康信息化建设项目不予审批、不安排运维经费。 解决了前面两个问题,只是减少了需求,就像减掉了不必要的肥肉,但怎么让自己的数据肌肉突显?最好的办法就是动起来。 同样的道理,数据也需要动起来。让数据多跑路,就可以让人少跑路。所以卫健委要解决的第三个问题就是“共享难”的问题,准备通过后面3个措施来解决。 (八)措施八解读:标准数据采集上来之后,就可以通过国家政务信息共享交换平台进行信息共享了,把采集的数据用起来,逐步去支撑个税改革等便民服务,未来会扩大共享和应用范围。 (九)措施九解读:除了国家级的平台,省级全民健康信息平台也需要建设,而国家级和省级平台之间的跨层级数据共享也要打通。 (十)措施十解读:司局采集了相应数据之后,也要把相应的数据分析应用分享给基层医疗机构,为医院管理和患者就诊而服务。 具体措施内容可以看参考链接1。 三大方面的举措,从制度、规范、应用入手,每一步都落在痛点上,增强了数据的流通和活性,在“数据减肥”的同时,做到不伤筋动骨,过渡措施保障异常情况,考虑的十分全面。通过这十大措施可以看出,卫健委给自己不断减脂增肌,就可以实现给基层医院减轻上报负担,并且规范数据采集、加强数据统计分析能力的目的。 4.减负政策给医院带来的影响 医疗行业政策往往有牵一发而动全身的效果,减负政策除了会影响卫健委,也必然会对各级医院的数据发展产生指导性的影响。根据上面措施分析,政策会对医院产生三大趋势。 4.1 医院数据将迈向标准化 卫健委这一超级数据主体出现之后,会给医院的信息化和数据应用带来很大影响。医院信息化产业发展了近30年,各家医疗软件厂商都有着不同的底层数据表。卫健委发布的《全国医院数据上报管理方案》等信息化标准将会逐渐的引导医院的信息化发展向一个标准化的数据字典,也给了医院开启自身数据分析的钥匙。而《全国医院上报数据统计分析指标集》更是可以做为医院的数据指标参考,不但可以形成上报的分析模型,更加可以作为医院管理的标准数据分析指标。 4.2 医院数据将迎来强监管时代 卫健委搜集的数据量越来越大,越来越细致,且分析也越来越深入,监管的透明度大大增加,必然会发现医院数据中的问题,甚至可以通过数据定位医院在地区的定位问题、业务问题。长远来看,强监管动力会倒逼医院去完善自身数据,有数据意识的医院可以通过监管自身数据引导业务发展。 4.3 医院将在数据层面形成新的梯队 减负政策以及卫健委的各项数据政策推动之后,部分医院会迎来数据思想的革新,将会主动培养自身的数据分析能力,并将其常规化,形成内在分析动力。同时,数据层面也是一个新的发展机会,一旦产生新型的数据应用,就能寻找到医院发展的突破点,有些医院会成为数据应用的前沿阵地。可以预见,各级医院将会在数据层面拉开差距,领先医院逐渐形成数据优势。 五、帆软如何帮助落地减负政策 减负政策的核心其实是帮助各级医疗机构进行数据完善和分析引导,形成各级医疗机构的自身的数据应用迭代。而帆软作为一家提供数据工具和专业数据分析服务的厂商,现在也在为减负政策的落地向各级医疗机构提供服务。 5.1 向医疗机构提供趁手的工具 医院的数据现在还处在不断完善的阶段,也就是经常会出现底层数据结构的变化,而监管数据的要求也在不断增多,这意味着,必须要要一个能够不断适应数据变化且能够快速开发报表的工具,帆软在这一领域早已深耕十三年,现在开发出了成熟的报表产品FineReport v10.0,在医疗领域的应用深得医院好评。 医院现有的HIS、LIS、PEIS等业务系统、OA、HR、财务等行政系统再加上物资管理系统导致数据上报系统繁多、数据分散,直接导致的结果就是数据质量差,帆软支持一个平台连接多类数据源及多个数据系统,支持跨数据库数据表取数。 131338 医院信息部门不需要再花大量时间应对业务科室和上级部门的取数需求,不需要每次重复的从不同系统中调取数据,帆软数据平台通过简单的拖拉拽操作,十分钟即可汇总数据,做出各种复杂报表,让信息人员将更多精力投入到更有价值的工作中。 131339 所有的数据可以通过权限控制和分级授权进行分配,各部门可根据自己的需求进行取数并进行自主展示分析和查询,同时保障了数据安全。 131340 帆软除了PC端应用外,特意推出了移动端及大屏数据可视化功能,辅助各个部门及各种场景下的决策支持。移动端支持数据录入、数据查询、扫码输入等功能,方便快捷地将数据录入到系统中,同时支持与现有移动应用、企业微信、钉钉集成,随时随地查看数据。 131341 5.2 为医院提供数据团队的培养 帆软数据运营官计划和数据项目团队,不但为医院提供专业的数据思维的培训,还可以向医院输出合适的数据人才。 帆软的数据运营官计划旨在帮助机构成员做数据层面的思维认知升级、数据能力升级和实践能力升级。课程包含从理解数据分析到自己实践数据分析,帮助业务人员转型业务数据分析师,帮助信息人员转型数据工程师,让医院不懂信息化的科室人员也能用数据语言交流,让不懂业务的信息化人员通过数据更加理解医院的业务。 131342 像云南省新昆华医院,在经过3个月的数据项目实战培养后,信息人员已经能够自主开发出数据应用,为医院决策层、业务科室、职能部门进行全方位的数据服务。 5.3 帮助医院培养核心的数据文化 帆软的理念是“数据成为生产力”,从16年与佛山中医院合作开始,就不断把这一理念贯穿在服务医院过程中,不但指导医院信息人员学会使用产品,同时把数据观念传达给院内其他人群,且在不断的发掘数据的新场景、数据文化的新内涵。佛山中医院在数据发展中形成了自身的数据理念:数据互联,通过不断调研发掘出了各式各样的医院数据场景,如挂号大屏、护理大屏、病区大屏、工单系统等等。 减负政策目前还没有社会影响的及时反馈,但其深远影响在三年之后将会逐渐显现,只要坚持这一政策,必然会引导形成一个庞大的医疗数据体系,带动整个医疗体系的发展和前进。 参考文章链接: 链接1 http://www.sohu.com/a/338954435_120276396 链接2 http://www.nhc.gov.cn/guihuaxxs/s10741/201909/b59981a6d012440a8d121df5ce63cf33.shtml 链接3 https://www.hit180.com/39117.html
浅谈银行业数据治理:如何从零建设SCIE数据管理体系?
文|帆软数据应用研究院 汪建辉 引言 银行是经营风险的企业,不管在什么时候,数据质量都是银行的生存命脉。特别是近几年,监管单位频频下发文件要求各金融机构进行数据治理,提高数据质量。比如2011年,银监会就下发了《银行监管统计数据质量管理良好标准》,要求银行业金融机构自评行内数据质量并由银监检查,每三年全面覆盖所有机构。2018年,银保监会再次下发更加严格的《银行业金融机构数据治理指引》文件替换《良好标准》,明确要求银行业金融机构应当将数据治理纳入公司治理范畴,建立自上而下、协调一致的数据治理体系,法定代表人或主要负责人对监管数据质量承担最终责任。这是银保监会第一次将数据质量责任落到了行领导级别的头上,在业内掀起了一轮数据治理讨论的热潮。 但是讨论归讨论,数据质量问题在很多银行还是迟迟得不到有效解决。最近,我们考察了江苏、云南、湖南等地银行的数据质量情况,总结了他们存在的几个典型的数据质量问题: 客户数据大量缺失,不能满足客户细分和客户特征分析等应用的需求。 中间业务收益不能和客户、产品挂钩,不能做客户及产品贡献度分析。 账务数据总分不符,影响数据分析的准确性。 这些具体的问题,看似稀松平常,却是多年来困扰很多银行数据分析人员的魔咒。那问题到底出在哪里呢?其实这些问题,归根究底都是数据质量的问题。银行数据治理 当前有些银行将数据治理提上了日程,开展了持续有效的治理工作,在业务发展模式上更加注重数据的管理提升和内部挖掘潜力,并且有已经取得了一定的成就,比如基本统一了全行编码规则,初步实现了客户和产品的主数据维护等。但是中国银行业金融机构多达4000多家,绝大部分银行都还没有开始数据治理的工作,而且大部分做了数据治理的银行效果也不是很显著。中国中小银行互联网金融联盟联合埃森哲等发布的《中小银行金融科技发展研究报告(2019)》显示,中小银行的数据治理基本处于萌芽期,达91%的中小银行尚未开展有效的数据治理工作。 129399 中国中小银行数据治理现状 我们实际调研发现,很多数中小银行对于数据治理还没有一个系统的理解,即使有了一些数据治理的动作,也是就具体的数据问题单独解决,比如发现数据缺失就临时补录、有错误数据再手工调整等,大量的数据还沉淀在excel等文件里面。对于这些数据质量的问题并没有统一进行标准化管理,而且没有形成常规的治理机制。 129397初级数据治理的弊端 要解决上述数据治理中存在的问题,切实提高数据质量,核心在于要建立一套完善的数据质量管理体系,串起数据治理的各个流程,确保数据标准能落地、质量检核体系化、清洗整改有规则、评价机制指标化。虽然《指引》从数据治理架构、数据管理、数据质量控制、数据价值实现等方面给出了方法论指导,但是很多的内容的可操作性并不强,而且比较务虚,落地的时候可能会因为流程太复杂而建成空中楼阁。从实际数据治理的务实措施出发,我们认为建立数据质量管理体系是数据治理工作的核心内容。 数据质量管理体系 综合多家银行的成功经验,我们把数据质量管理体系定义为四个主要流程:数据标准(standard)、检核体系(checklist)、整改规则(improvement)、评价机制(evaluation),我们称之为SCIE流程。 数据标准一般会由银行的数据治理小组下设的数据标准委员会制定,比如常熟农商行由“数据资产委员会”统一制定全行的一系列数据标准,各个项目群都需要参考标准来实施,保障“车同轨、书同文、行同伦”。数据标准管理体系是数据质量管理的铁轨,只有标准统一并且规范管理,才能使数据质量管理 “有法可依”。 检核体系是在归纳数据质量问题时的框架。数据质量问题千千万,但是所属的类型是有限的,检核体系给出了标准的6大类12小类数据质量问题,帮助全方位发现数据质量问题。每个质量问题从不同的维度出发需要不同的检核方法和整改规则,比如客户身份证号可能从准确性、完整性、有效性等方面来归纳问题,并制定相应的整改规则。 整改规则是整个数据质量管理体系的操作中心,前面制定的数据标准和检核体系,都是为了发现问题和提供解决方法,整改规则是通过系统或者人工的方式把标准落地,并且把检核到的数据进行清洗、整合,切实改善数据质量。 评价机制是为了落实责任到位,因为我们发现,往往在数据治理这种牵涉到跨部门的项目中,非常容易出现责任分散、考核主观、动力不足的问题。评价机制采用自动化数据质量统计手段,实现数据质量按部门、按条线、按主题、按规则等维度进行多维评价,考核直接和绩效挂钩,充分调动相关部门和人员的积极性。 129403 数据质量管理四个工作流程 纵观调研的几家数据治理成果比较好的银行,比如江苏银行、红塔银行、株洲农商行等,他们都根据行内现状搭建了自己的一套数据质量管理工作流程,并成为数据治理的核心工作。下面我们将结合实际项目,详细阐述数据质量管理体系的SCIE流程,以及其工作内容与方法论。 数据标准:“书同文、行同伦” static/image/hrline/line7.png 在大多数银行里面,数据治理的工作通常是基于数据仓库的。“数据仓库就是面向主题的、集成的、稳定的、时变的数据集合,用以支持经营管理中的决策制定”,这是数据仓库的定义。集成就意味着需要对多个系统的数据进行整合,这个过程中有两个至关重要的工作:数据标准和数据模型。这两项工作一个负责给数据下定义,另一个负责描述描绘数据关系。一般来说,我们把数据标准分为两类:基础类数据标准和指标类数据标准。 基础类数据标准 基础类数据标准是对实体的属性定义标准,比如姓名、身份证号、归属地等,一般来说可以参考国家标准和行业标准。举个最常见的例子,银行的客户信息一般在核心和信贷系统中都有一套,业务分析时如果需要一个整合的客户数据,那异构的客户数据该怎么整合?这里就需要建立一个全行通用的《客户数据标准》来规范客户数据整合工作,确保兼容各个系统的同时,还能做好数据映射。 129386 银行客户分类标准示例 上图所示的是常熟农商行的客户分类标准,核心系统和信贷系统的客户数据,都可以根据此分类标准对客户数据进行归纳和整理,并且根据分类设计相应的客户数据模型。下图所示是一个简化的当事人(客户、员工、机构)主题逻辑模型,是根据行内的分类标准进行客户化设计之后得到的。 129387 当事人主题逻辑模型设计示例 具体到客户信息表里面的字段,比如客户的名称、证件等,可以优先参考国家标准或者行业标准,没有国标和行标的字段,再自定义字段标准,包括命名标准和存储标准等。 129388客户信息标准文档示例 指标类数据标准 指标类数据标准是指根据基础数据计算和加工之后得到的数据的标准,比如存款余额、开户数等,指标类数据一般会分为基础指标和计算指标。指标类数据标准比较个性化,一般来说各个银行都会有差异,也没有国家标准作为参考,但是应该作为重点进行管理。因为业务分析数据的最终结果,其实是为了得到指标的值,基础类数据标准能够让业务得到标准的维度,指标类数据标准让业务能够得到准确口径的指标值。在工作经常会碰到与业务或者运营人员沟通需求的时候,自己理解和需求得出的数据不一致。这一部分是由于对产品对业务理解的不够透彻另一方面也存在数据源口径不一致的问题,因此在做数据治理或者数据仓库标准化的实时对指标换句话说数据口径的统一显得明显重要。 相信大家肯定遇到科技人员取数时需要反复跟业务沟通需求的情况,这个一方面是由于科技对产品和业务理解不够透彻,另一方面则是由于指标类数据标准的缺失。完整的指标标准至少包括如下几项要素: Ø 指标类型,数量指标/质量指标,外部监管指标、信息披露指标及内部管理指标;Ø 指标名称,概要说明指标的含义或内容;Ø 业务定义,指标数据标准的原理性解释;Ø 计算规则,用于描述生成加工规则;Ø 统计口径,用于描述统计指标的时间或空间界限;Ø 计量单位,比如用于计量金额的单位“元”、“美元”、“户数”等;Ø 指标数值,用于描述经过计算规则加工后得到的具体数值; 129389指标类数据标准文档示例 检核体系:“探测器”static/image/hrline/line7.png 在梳理全行的数据质量问题时,很多银行往往都是业务自己提出问题,科技来整理相应问题的解决方案。但是真实的调研后会发现,其实业务自己能够集中发现的问题其实并不多,也不全面,我们需要更加明察秋毫的“探测器”。几乎每个银行的数据问题整理下来都会不一样,检核规则也会不一样。但是从体系上讲,就是6个大类、12个小类。大类维度有完整性、唯一性、有效性、一致性、准确性、及时性;小类维度分为非空约束、惟一值约束、代码值域约束、长度约束、内容规范约束、取值范围约束、标志取值约束、存在一致性约束、等值一致性约束、逻辑一致性约束、取值准确性约束、及时性约束。 129390数据质量检核体系分类 完整性 用来检核数据的完整程度。完整性就是我们日常所说的“数据要全”。在数据采集和数据流转的过程中要把需要的数据记录完整。所有其他规则维度都以完整性准则内容为基础。 唯一性 用来描述数据是否存在重复记录。比如个人借据信息表中,借据号作为主键,不应重复。再比如个人客户信息表中,证件类型+证件号码+姓名相同,则其客户编号应唯一。 有效性 用来描述数据是否满足用户定义的条件或在一定的域值范围内。通常从长度、取值范围、内容规范方面进行约束。比如存款类型不能出现存款产品表之外的名称,再比如身份证号不能是18位之外的位数。 一致性 用来描述同一信息主体在不同的数据集中信息属性是否相同,各实体、属性是否符合一致性约束关系。比如“进出口经营权许可证号”长度为13位,后9位应与“组织机构代码”一致。 准确性 准确性要求不仅数据的取值范围和内容规范满足有效性的要求,其值也是客观真实世界的数据。由此可见,有效的数据未必是准确的,反之成立。准确性通常需要业务人员或其他当事人手工核查,没办法通过技术手段实现全自动化检核。但是大数据时代,还是可以通过一些手段达到部分自动检核的。比如客户居住地址变化了我们没办法及时更新,但是通过其手机银行登录地址和数据库中地址的对比分析,可以帮助进行数据检核。 及时性 及时性要求数据能及时反映实际业务时点的状态,部分需要业务人员或其他当事人手工核查。比如发生理财业务时,交易在理财系统是成功状态,但是该笔交易在核心却没有入账。每一条数据,都可能存在多个维度的质量问题,需要建立多条整改规则,这也是为什么要建立完善的检核体系的原因。它可以帮助我们全面的诊断数据在各方面存在的问题,而不是凭经验或者感觉来梳理。 整改规则:“清道夫”static/image/hrline/line7.png 根据数据质量检核体系梳理出来的问题,我们需要制定相应的整改规则。数据质量整改规则是所有最小、最基本的规则集合,是某个具体的数据质量问题的治理措施,如果说检核规则是为了发现问题,那整改规则就是解决问题。 我们将整改规则分为业务规则和技术规则两类,技术规则依赖于业务规则来进行制定,业务规则通过技术规则来贯彻执行。数据质量业务规则,是指数据在业务层面是否符合全行已经达成共识的数据质量要求,通常每个数据标准项都有其对应的数据质量业务规则。数据质量技术规则,是指数据质量业务规则的实例化,是其在系统中的应用,用于对特定的数据集进行数据质量监控、检查、评估等。数据质量技术规则和具体系统表、字段密切相关。 129391数据质量业务规则和技术规则关系 在调研各个业务系统时,首先根据检核体系排查数据问题,然后制定相应的业务规则,最后结合特定的系统和字段制定对应的技术规则,技术规则最终需要落地到工具里面。在数据治理的过程需要很多定义清晰的整改标准,比如客户数据治理里面,身份证号不能为空,并且只能是18位,除最后一位外不能出现数字之外的字符等规则都是事先定义好,并且一条一条进行检核,一旦发现有不合格的,即是需要整改的数据。造成数据质量的原因比较多,整改的规则也就比较多,比如云南红塔银行现在全行的检核规则库达到了412项,形成了基础类数据标准640个,指标类数据标准6065条。 129392红塔银行检核和整改流程示意图 一个业务规则有可能对应多个技术规则,每个技术规则都是跟相应系统、表和字段相关。形成的各项业务规则和技术规则都需要按照数据质量检核体系进行分类管理,并且形成方案,落地到数据质量平台工具中去,通过工具实现自动化检核和整改工作。部分不能实现完全自动化的数据质量问题,可以由系统检核和评估出疑似质量问题的数据,然后交由专业的数据整改小组成员或者责任部门负责手动整改。 129393数据质量整改规则的示例 在数据治理的过程中,不单单包含存量数据的治理,还有新增系统和数据的规范。这部分也是结合数据标准、检核体系和整改规则来保证新增数据的高质量的。下图是新系统建设过程和数据质量管理体系的流程结合的示意图。 129394新建系统和数据质量管理流程结合示意图 评价机制:“指挥棒”static/image/hrline/line7.png 数据经过检核和整改之后,肯定会逐步的得到改善。但是为了长期跟踪和推动各系统数据质量的持续提升,并且为度量各系统、各部门的质量满足度提供依据,我们应该根据数据质量检核体系,进一步明确相对应的评估模型和指标算法。 评估指标算法分为规则级的评估指标算法和体系级的评估指标算法。规则级评估指标算法是对具体规则进行评估计算,是评估的最小单元,也是其他评估指标算法的依据;体系级评估指标算法是对预先定义的评估体系进行的综合评估,在实践中按项目或专题组织(如总分检核、代码检核、客户数据检核),可能包含一个或多个检核规则,按照分析评估的目标由系统管理员自由定义。由评估算法得出的指标可以作为汇报材料或者进度考核数据,经过统计分析后形成数据质量报告,让各级部门和相关人员及时了解数据治理现状和问题,是整个数据质量管理体系的“指挥棒”。由于根据不同的整改规则可以设置字段级的评估指标算法,所以规则级的评估算法其实是非常多的。这里我们只根据检核体系列出了六个维度的评估指标算法。 129395检核体系评估指标算法公式 其中的及时性指标值,如果是延迟时间大于窗口时间的话,那直接就等于零了,因为那时数据是没有质量可言的,如果是跑批数据的话意味着需要重跑。把各类评估指标值以评分卡的形式统计系统、主题、部门等的得分情况,进行多角度精细化的数据质量评估,促进数据质量有效提升。 129396数据质量评分卡示例 根据具体的整改规则还可以设置更加明细的指标算法,比如客户九要素缺失率、客户身份证号长度不合规率等。比如常熟农商行的运营管理部的业务人员,通过FineBI对数仓里面的客户信息进行分析,分别计算分析客户九要素缺失率和身份信息错误率等数据,以期更好的服务运营部门。在流程上,他们做到了主动发现数据质量问题、反馈问题,切实的提高了数据质量,未来的数据质量管理体系肯定也是朝着业务主动反馈、整改的“自治模式”发展的。 除了进行数据质量的评价,银行应该根据《指引》的要求,设置数据质量考核制度,将数据质量管理体系的各项规则和评价指标挂钩到个人或部门绩效考核,真正发挥“指挥棒”的作用。只有强有力的评价考核机制才能让数据质量管理体系形成闭环,并且将数据治理这项长期艰苦的工作持续运营下去。 总结 银行数据治理已经成为每家银行的必经之路,而且任重而道远。本文从银行数据治理的现状出发,提出了以SCIE流程为核心的数据质量管理体系,来解决数据治理高度务虚、难以落地的问题。然后我们围绕数据质量管理体系的SCIE流程,详细阐述了数据标准、检核体系、整改规则、评价机制等四个流程的工作内容和方法论。数据标准保障“车同轨、书同文、行同伦”;检核体系帮助全方位发现数据质量问题;整改规则是把检核的数据进行清洗、整合,切实改善数据质量;评价机制将数据质量进行量化并挂钩绩效,让数据质量管理体系实现闭环。 以SCIE流程为核心的数据质量管理体系是综合多家银行的经验总结而成,并且在实际项目中反复验证的方法论体系,一改常规数据治理纷繁复杂、无法落地的体系架构,让银行能够实实在在的找到一条简单有效、可行性高的数据治理主干道。
个人成就
内容被浏览73,390
加入社区5年198天
返回顶部