企业简介
1952年4月1日,贵州省第一个农村信用社在遵义桐梓县元田乡挂牌成立,拉开了贵州农信发展的序幕。2003年国务院深化农村信用社改革后,经贵州省委、省政府和国家金融监督管理总局批准,贵州在全国率先成立农村信用社联合社(简称:省联社),全省农信社迎来了快速发展的春天。
省联社成立后,尤其是党的十八大以来,全省农村信用社深化改革,锐意进取,始终坚持“根在农村、命在农业、情系农民”的立社之本,牢记“发展普惠金融,服务千家万户”使命担当,走出了一条具有自身特色的发展之路,在支持贵州地方经济社会发展、助力脱贫攻坚取得全面胜利,推动乡村全面振兴战略中发挥了“农村金融主力军”作用。贵州农信由省联社和84家农商银行(农信联社)组成,共有营业网点2286个,员工2.7万名;截至目前,总资产突破10000亿元,存款突破8500亿元,贷款突破6700亿元,贵州农信已成为省内业务规模最大、服务覆盖最广、从业人员最多的银行业金融机构。新征程上,贵州农信将不忘初心、牢记使命,朝着建设有温度有速度有深度的百姓银行愿景勠力前行,为奋力谱写中国式现代化贵州实践新篇章贡献农信智慧与力量!
1 业务需求/挑战
贵州农村信用社(简称“贵州农信”),作为贵州省重要的地方金融机构,肩负着服务“三农”、小微企业及地方经济的重任。在数字化转型浪潮中,贵州农信面临着数据整合不足、数据管理不规范、服务体系不完善及应用能力滞后等挑战,亟需构建一个高效、安全且适应业务发展需求的数据仓库平台,以支撑其在客户服务、风险控制、产品创新等方面的转型。
数据整合能力待加强:贵州农信各法人行社在数据整合方面存在短板,难以构建以数据为导向的业务模型。
数据管理缺失:缺乏全生命周期的数据管控机制,数据治理与安全成为潜在风险点。
数据服务局限性:数据服务未形成体系,无法满足精细化、场景化管理需求。
应用能力滞后:受限于规模和技术,数据应用能力与人才培养滞后,影响数字化进程。
发展痛点:
缺少整合。数据的整合能力仍有不足,以数据为引导构建数据业务型的能力亟须加强
缺少管理。数据缺少全生命周期的管控机制,数据治理、数据安全、存储资源、开发过程管控等方面未有统一标准及规范
支撑不足。数据服务没有做到完整体系化,无法支撑全省农信科学化、精细化、场景化经营管控诉求
重复工作。很多报表面向不同的用户角色,不同部门和角色的用户通常使用不同的数据报表,这些报表在需求上可能相似但传统模式下经常需要重复开发
应用不足。数据应用能力不足,贵州农信各法人行社总体规模偏小,行社很难在科技建设及科技人才培养方面有很大作为,数据应用能力整体滞后
2 解决方案
一、项目背景
在日益激烈的市场竞争,以及贵州农信数字化、客户服务的转型背景下,行社在自主探索数据应用的过程中由于技术能力、业务能力、项目管理能力、数据安全管控能力等方面的不足而面临诸多问题。
第一,数据的整合能力仍有不足,以数据为引导构建数据业务模型的能力亟须加强;
第二,数据缺少全生命周期的管控机制,数据治理、数据安全、存储资源、开发过程管控等方面未有统一标准及规范;
第三,数据服务没有做到完整体系化,无法支撑全省农信科学化、精细化、场景化经营管控诉求。
第四,数据应用能力不足,贵州农信各法人行社总体规模偏小,行社很难在科技建设及科技人才培养方面有很大作为,数据应用能力整体滞后。
贵州农信收集行社相关需求,整合各类数据问题,遵循“统筹考虑、统一架构、共享复用”的思路,以社内外数据为基础,打造集高性能基础架构、完整数据模型、丰富的数据集市、分析应用快速开发、全生命周期数据管理、立体式数据服务、深度数据价值挖掘、流程化数据治理体系为一体的企业级数据仓库价值输出平台,建立数据整体架构体系和数据人才培养体制机制,支撑起贵州农信数字化、客户服务等方面的转型工作。
二、项目方案
1.项目目标
通过贵州农信“行社数据仓库”项目建设,面向贵州农信83家法人行社、13家村镇银,基于大数据、联邦学习+数据建模、人工智能等新一代信息技术,为各家法人行社搭建独立自主的数据仓库平台,深入推进数据应用在数据分析、精准营销、普惠金融服务、绩效考核、风险防控、产品创新等数据普惠价值领域的应用,打造科技赋能、数据驱动、业务联动的能力中枢,满足行社多元化的数据需求。在基础平台搭建、数据价值输出、数据能力建设、数据人才培养等方面,支撑起贵州农信数字化、客户服务等方面的转型工作。
2.建设规划
阶段进行环境搭建及数据下放实现数据共享。建立行社数据仓库,面向83家法人行社开放MPP数据库租户服务;搭建数据分发及订阅平台,根据行社数据需求,结合行社数据预约查询、数据服务团队数据提取需求确认首批数据分发及订阅范围,实现数据共享。
第二阶段提供场景化数据服务。根据行社数据应用需求,构建多个数据应用场景,实现对应的多维分析模型及数据挖掘模型的开发与应用,并提供数据补录、开发、分析及挖掘功能,满足行社自助进行数据应用的数据及功能需求。
第三阶段培养用户能力,持续进行项目运营,建立上线联动、就近服务的多级服务体系,加强数据应用团队建设。
终实现自主数据应用,加强数据与应用系统间的联动协同,实现数据应用闭环,推进行社自助进行数据分析、挖掘及自建系统,推进数据应用成果共享机制。
3.技术描述
采用华为“Hadoop+MPPDB”的高可用、高性能的数仓融合架构,通过创建多节点的大规模集群,处理海量结构化及非结构化数据。
基于大数据、联邦学习+数据建模、人工智能等新一代信息技术,为各家法人行社搭建独立自主的数据仓库平台,构建丰富数据应用场景,充分赋能业务发展。
4.业务功能
系统主要服务于法人行社业务人员、客户经理、数据分析人员和高管,提供以下业务功能:
一是围绕数据“聚通用”,整合各业务系统内数据,打破数据孤岛,全面涵盖核心指标、数据模型、数据处理节点等核心数据,并对接入数据进行标准化、模型化,形成内部数据资产库。同时在合法合规的前提下,积极对接云上贵州公司,接入公积金、社保、税务等三方机构数据。根据需求分析高频使用的数据以推送的方式分发到各个法人行社,低频使用的数据需订阅才可分发使用,降低管理及运营成本。
二是围绕效率提升,按业务条线,对明细类查询、固定、自主分析类报表查询进行全面梳理,固化成查询接口,充分发挥大数据分布式查询能力,解决行社及部门数据查询难、查询慢的问题,同时提供数据补录支持,补录功能有规范化的流程控制,行社可根据自身需求收集数据,提升基层行社工作效率。
三是围绕数据资产化应用,系统化指标标签体系,实现指标标签的统一加工、统一管理、灵活配置,面向经营、监管、风险、财务、合规、考核等方面,为业务经营、风险合规、财务预算、内控管理等条线提供全面数据支撑。
四是围绕价值挖潜,行社业务人员或分析人员可自主处理分析数据,以快速高效的方式实现数据的多维分析模型开发及应用,深度挖掘数据价值,基于人工智能,探索数据在客户流失预测、客群预测、风险防控、精准营销、客户画像等方面的应用,推动行社发展。
五是围绕数据价值共享,对于开发出的有实际应用意义和价值的模型,可在平台进行分享,供全省农信查看复用,支撑农信业务开展等工作,大限度发挥数据价值,实现农信数字化转型。
三、创新点
当前,各金融机构纷纷构建自身数据仓库,其技术选型、架构设计、实施方式如出一辙,重复建设造成成本及资源极大浪费,数据价值未得到充分发挥,未形成全省农信数据应用共享生态。先进的技术很容易做到,但要结合贵州农信自身发展的特点,打造一款贴合农信业务的行社数据仓库,并延展打造具备自我发展、自我迭代能力的数据生态更为重要。为此,贵州农信以建设行社数据仓库为基础,着力营造数据生态氛围,汇聚数据建设人才队伍。
1.打造数据应用市场。
贵州农信下辖83家行社、13家村镇银行,全省数据用户高达2万余人。引导行社人员基于数据仓库提供的数据自主开发BI、报表等数据应用,并将已开发好的数据应用脱敏、封装上架到数据应用市场,供其他行社按需一键复用,节省了数据应用的开发时间,极大程度提升了开发效率。
2.建立数据人才培养体系。
建立一整套数据人才培养体制机制,培育数据应用文化,打造数据应用交流、知识共享平台,上下联动、互促互进,紧盯行社实际问题,解决现实生产诉求,着力数据应用团队能力建设,全力赋能行社数字化转型工作。
3.引导数据人才自发提升业务技术能力。
以社区互动、数据应用市场为载体,以积分为驱动力,用户通过发布数据应用、在社区回答其他用户提出问题等方式获得积分,每日进行积分排名,展示活跃度高的用户信息,将活跃度高的应用开发用户列入贵州农信数据开发人才库,所获得的积分按年折算为资金奖励与表彰奖励。使人才的自身发展需求与贵州农信数据开发需要统一,确保数据开发人才不断涌现,筛选并培养出一批懂得农信业务发展需要,又具备数据开发能力的人才队伍,形成良好的数据应用开发氛围。
四、技术实现特点及优势
贵州农信行社数仓项目采用华为“Hadoop+MPPDB”的高可用、高性能的数仓融合架构,通过创建多节点的大规模集群,处理海量结构化及非结构化数据。行社数仓项目采用了TaiShan服务器、GaussDB数据库以及银河麒麟操作系统,满足了技术安全国产化的需求,实现了国产自主自有芯片和自有研发操作系统,数据库系统和业务及周边配套系统的完全兼容适配。
1.行社数仓物理架构
基于华为GAUSSDB的集群搭建,包括数据存储集群及查询集群。存储集群主要用于行社数仓数据存储及计算,查询集群用于行社自助分析及行社报表查询,架构如下:
物理架构
2.行社数仓逻辑架构
3.行社数仓应用架构
五、项目过程管理
贵州农信于2021年7月启动行社数仓项目建设,2022年7月完成自主分析平台、报表平台、绩效及营销平台开发测试工作;2022年9月,在辖内法人行社进行推广试运行;
六、运营情况
系统试运行以来,我们陆续收到行社在操作流程、功能需求方面的反馈建议,并逐一开展了需求评审与系统改造。数仓系统在不断升级迭代的同时,通过对行社数据人员的培训,试点行社已经具备数据建模、自行开发数据报表的能力,各行均以自身发展的重点为指向,开发出报表、BI看板等数据应用。
七、项目成效
贵州农信自试运行行社数据仓库项目以来,有效解决了行社数据应用、数据资产保护、数据安全、数据管控等问题,破解了一系列围绕数据价值挖掘的热点难点问题,提升了行社整体数据应用能力,行社能够清楚掌握自身数据资产,能够轻松的获取数据资源。同时,数据实现闭环运行,数据的使用、流通均有据可查,保障了数据的安全。
一是发挥集中优势,有效节约成本。截止8月底,全省83家法人行社均已启用行社数仓,通过集中统一建设、统一管控,累计为全省节约建设成本近1.6亿,预计年节约数据应用人力成本近6,000万元,节约运营成本近5,000万元。
二是建立共享机制,释放数据价值。通过行社数仓项目建设,显著提升了行社数据开发运用能力,大可能发挥数据资产价值。一是通过系统实现了数据按需供给,避免了算力资源、存储资源的浪费。同时,数据资产管理更加明晰,为行社自行开发建设符合本地经营需要的数据应用提供了坚实基础。二是通过以线上线下的方式对数据开发相关技术进行培训,使各行社都具备了自主开发数据的基本能力。三是通过运营数据应用市场,解决了数据开发成果共享的问题,数据应用在全省各行社均可以实现一键复用,避免了数据应用重复开发。四是形成了数据人才共同成长的良好氛围。通过数仓项目的社区互动、积分奖励规则的驱动,让越来越多的用户关注、学习、运用数据分析,并在学习的过程中互帮互助,形成了共同进步的良好氛围,汇聚了一批数据人才持续发力,有效推动贵州农信的数据开发能力的蓬勃发展。
三是规范数据管理,提升数据安全。贵州农信通过统一的行社数仓建设,数据在省联社进行集中管控,提升了数据管理质效,进一步提升数据安全管控能力。一是明确了数据归属,有效地对数据进行了分级管理,各部门进一步明确分工、细化职责,在数据全生命周期内各司其职、各尽其责、协调合作,共同保障了数据安全;二是建立7×24小时系统运行监控机制,通过专业化监控工具,保障系统稳定运行,极大提升系统可用性。
四是实现信创全栈,提升自主可控。贵州农信行社数据仓库项目定位为分析决策类系统,引入华为TaiShan 200服务器、国产自主分布式架构数据库GaussDB 200及国产银河麒麟操作系统搭建基础环境。因金融业务系统的重要性,我们在ARM算力架构适配、功能、高可用、性能、容灾等方面开展论证及验证,取得了较好效果,满足了应用需求。
3 典型应用场景
3.1 场景一:数据共享与自助服务
发现问题:数据分散,查询效率低下。
解决方式:通过数据分发订阅平台,根据需求推送高频数据,低频数据按需订阅,大幅提升数据获取效率。
场景价值:行社查询时间缩短80%,数据运营成本降低30%。
门户管理:
数据订阅:
数据导入:
数据分析:
互动社区:
发现问题:为解决行社用数取数难问题,数据标准不统一,数据资产未统一管理。
解决问题:基于行社数仓平台做数据资产及数据分析一体,基于BI行社人员自行结合业务进行数据分析。
场景价值:数据提取从最初FTP数据文件的excel表格形式,质变提升成为即席分析一体化平台。数据提取效率提升80以上%。之前需要手工,花费大量时间的提数,通过ETL和BI结合,快速拿到业务需要的分析结果。
3.2 场景二:数据资产化与效率提升
发现问题:数据指标分散,数据维度不清晰。
解决方式:建立指标标签体系,固化查询接口,提供指标汇聚查询,实现数据决策依据。
场景价值:大屏数据一站式经营情况获悉,减少数据分析成本,减少数据加工提取时间30%以上。
发现问题:为解决我社二级法人数据管理、报表查看、经营角色等分层、统计、分析等问题,需要基于各级人员和使用人员角色对固定场景开发报表,提供行社角色人员数据提交、业务经营分析等报表信息。
解决问题:基于帆软平台做数据展示一体,快速提供数据决策依据,便于客户经理日常工作中数据补录、展示等更便捷、更智能。
场景价值:基于填报页面,可向客户经理提供数据补录场景,客户经理依托于工具对客户进行走访及方便查看客户画像信息,及时向客户经理展示全面的客户数据。同时数据也能通过大屏更直观的展现。结合大营销环境市场下,数据展示获取增加了一种高效的途径,数据了解沟通效率提升80以上%。数据之间的角色上下级和系统上下游之间的打通,对数据传输更加及时,实现数据统一化标准化管理。
4 总结与展望
通过建设行社数据仓库项目,切实解决了贵州农信整体的数据建设难题,并获得了一些实践经验,具体为以下四个方面:
在数据管理方面,整合各业务系统数据,并在合法合规前提下,接入第三方机构数据,做到了数据的统一规划和管理。
在数据应用方面,对明细类查询及固定报表查询进行全面梳理,固化成查询接口,同时以推送或订阅的方式让各法人行社得以方便、快捷获取数据,解决了行社查询慢、取数难问题,提升了行社工作效率。行社人员基于平台实现对数据的自主处理分析,进行数据应用建模,深度挖掘数据价值,同时对于数据应用模型提供了共享机制,在共享过程中实现了一键复用的高效方式。
在人才培养方面,基于平台建立了人才培养体制机制,就行社需求开展数据应用分析培训,提升行社人员自主分析数据的能力,同时以积分、问答互助等方式激励行社人员主动积极的去应用数据、分析数据,契合行社自身需求,发挥数据价值,助力了行社业务发展。
接下来,我们将继续围绕数据的“聚通用”,挖掘数据内在价值,满足行社多元化的数据需求,助力贵州农信数字化转型工作。
贵州农信行社数据仓库项目成功构建了一个集数据整合、分析、应用于一体的综合平台,不仅解决了数据应用难题,还通过建立数据共享生态和人才培养体系,极大地提升了数据应用的自主性和创新能力。项目实施后,贵州农信不仅有效节约了建设成本约1.6亿元,还显著增强了数据安全管控,实现了信息技术的国产化替代,提升了自主可控能力。
展望未来,贵州农信将继续深化数据仓库的建设和应用,持续优化数据治理体系,聚焦数据价值深挖,为农信业务发展提供更多智能化决策支持,全面加速数字化转型步伐,引领贵州农村金融迈向新的发展阶段。