【2024中国数据生产力大赛】贵州农信：行社数据仓库项目——着力营造数据生态氛围，汇聚数据建设人才队伍

企业简介

1952年4月1日，贵州省第一个农村信用社在遵义桐梓县元田乡挂牌成立，拉开了贵州农信发展的序幕。2003年国务院深化农村信用社改革后，经贵州省委、省政府和国家金融监督管理总局批准，贵州在全国率先成立农村信用社联合社（简称：省联社），全省农信社迎来了快速发展的春天。 省联社成立后，尤其是党的十八大以来，全省农村信用社深化改革，锐意进取，始终坚持“根在农村、命在农业、情系农民”的立社之本，牢记“发展普惠金融，服务千家万户”使命担当，走出了一条具有自身特色的发展之路，在支持贵州地方经济社会发展、助力脱贫攻坚取得全面胜利，推动乡村全面振兴战略中发挥了“农村金融主力军”作用。贵州农信由省联社和84家农商银行（农信联社）组成，共有营业网点2286个，员工2.7万名；截至目前，总资产突破10000亿元，存款突破8500亿元，贷款突破6700亿元，贵州农信已成为省内业务规模最大、服务覆盖最广、从业人员最多的银行业金融机构。新征程上，贵州农信将不忘初心、牢记使命，朝着建设有温度有速度有深度的百姓银行愿景勠力前行，为奋力谱写中国式现代化贵州实践新篇章贡献农信智慧与力量！

1 业务需求/挑战

贵州农村信用社（简称“贵州农信”），作为贵州省重要的地方金融机构，肩负着服务“三农”、小微企业及地方经济的重任。在数字化转型浪潮中，贵州农信面临着数据整合不足、数据管理不规范、服务体系不完善及应用能力滞后等挑战，亟需构建一个高效、安全且适应业务发展需求的数据仓库平台，以支撑其在客户服务、风险控制、产品创新等方面的转型。 数据整合能力待加强：贵州农信各法人行社在数据整合方面存在短板，难以构建以数据为导向的业务模型。 数据管理缺失：缺乏全生命周期的数据管控机制，数据治理与安全成为潜在风险点。 数据服务局限性：数据服务未形成体系，无法满足精细化、场景化管理需求。 应用能力滞后：受限于规模和技术，数据应用能力与人才培养滞后，影响数字化进程。 发展痛点： 缺少整合。数据的整合能力仍有不足，以数据为引导构建数据业务型的能力亟须加强 缺少管理。数据缺少全生命周期的管控机制，数据治理、数据安全、存储资源、开发过程管控等方面未有统一标准及规范 支撑不足。数据服务没有做到完整体系化，无法支撑全省农信科学化、精细化、场景化经营管控诉求 重复工作。很多报表面向不同的用户角色，不同部门和角色的用户通常使用不同的数据报表，这些报表在需求上可能相似但传统模式下经常需要重复开发 应用不足。数据应用能力不足，贵州农信各法人行社总体规模偏小，行社很难在科技建设及科技人才培养方面有很大作为，数据应用能力整体滞后

2 解决方案

一、项目背景 在日益激烈的市场竞争，以及贵州农信数字化、客户服务的转型背景下，行社在自主探索数据应用的过程中由于技术能力、业务能力、项目管理能力、数据安全管控能力等方面的不足而面临诸多问题。 第一，数据的整合能力仍有不足，以数据为引导构建数据业务模型的能力亟须加强； 第二，数据缺少全生命周期的管控机制，数据治理、数据安全、存储资源、开发过程管控等方面未有统一标准及规范； 第三，数据服务没有做到完整体系化，无法支撑全省农信科学化、精细化、场景化经营管控诉求。 第四，数据应用能力不足，贵州农信各法人行社总体规模偏小，行社很难在科技建设及科技人才培养方面有很大作为，数据应用能力整体滞后。 贵州农信收集行社相关需求，整合各类数据问题，遵循“统筹考虑、统一架构、共享复用”的思路，以社内外数据为基础，打造集高性能基础架构、完整数据模型、丰富的数据集市、分析应用快速开发、全生命周期数据管理、立体式数据服务、深度数据价值挖掘、流程化数据治理体系为一体的企业级数据仓库价值输出平台，建立数据整体架构体系和数据人才培养体制机制，支撑起贵州农信数字化、客户服务等方面的转型工作。 二、项目方案  1.项目目标 通过贵州农信“行社数据仓库”项目建设，面向贵州农信83家法人行社、13家村镇银，基于大数据、联邦学习+数据建模、人工智能等新一代信息技术，为各家法人行社搭建独立自主的数据仓库平台，深入推进数据应用在数据分析、精准营销、普惠金融服务、绩效考核、风险防控、产品创新等数据普惠价值领域的应用，打造科技赋能、数据驱动、业务联动的能力中枢，满足行社多元化的数据需求。在基础平台搭建、数据价值输出、数据能力建设、数据人才培养等方面，支撑起贵州农信数字化、客户服务等方面的转型工作。 2.建设规划 阶段进行环境搭建及数据下放实现数据共享。建立行社数据仓库，面向83家法人行社开放MPP数据库租户服务；搭建数据分发及订阅平台，根据行社数据需求，结合行社数据预约查询、数据服务团队数据提取需求确认首批数据分发及订阅范围，实现数据共享。 第二阶段提供场景化数据服务。根据行社数据应用需求，构建多个数据应用场景，实现对应的多维分析模型及数据挖掘模型的开发与应用，并提供数据补录、开发、分析及挖掘功能，满足行社自助进行数据应用的数据及功能需求。 第三阶段培养用户能力，持续进行项目运营，建立上线联动、就近服务的多级服务体系，加强数据应用团队建设。 终实现自主数据应用，加强数据与应用系统间的联动协同，实现数据应用闭环，推进行社自助进行数据分析、挖掘及自建系统，推进数据应用成果共享机制。 3.技术描述 采用华为“Hadoop+MPPDB”的高可用、高性能的数仓融合架构，通过创建多节点的大规模集群，处理海量结构化及非结构化数据。 基于大数据、联邦学习+数据建模、人工智能等新一代信息技术，为各家法人行社搭建独立自主的数据仓库平台，构建丰富数据应用场景，充分赋能业务发展。 4.业务功能 系统主要服务于法人行社业务人员、客户经理、数据分析人员和高管，提供以下业务功能： 一是围绕数据“聚通用”，整合各业务系统内数据，打破数据孤岛，全面涵盖核心指标、数据模型、数据处理节点等核心数据，并对接入数据进行标准化、模型化，形成内部数据资产库。同时在合法合规的前提下，积极对接云上贵州公司，接入公积金、社保、税务等三方机构数据。根据需求分析高频使用的数据以推送的方式分发到各个法人行社，低频使用的数据需订阅才可分发使用，降低管理及运营成本。 二是围绕效率提升，按业务条线，对明细类查询、固定、自主分析类报表查询进行全面梳理，固化成查询接口，充分发挥大数据分布式查询能力，解决行社及部门数据查询难、查询慢的问题，同时提供数据补录支持，补录功能有规范化的流程控制，行社可根据自身需求收集数据，提升基层行社工作效率。 三是围绕数据资产化应用，系统化指标标签体系，实现指标标签的统一加工、统一管理、灵活配置，面向经营、监管、风险、财务、合规、考核等方面，为业务经营、风险合规、财务预算、内控管理等条线提供全面数据支撑。 四是围绕价值挖潜，行社业务人员或分析人员可自主处理分析数据，以快速高效的方式实现数据的多维分析模型开发及应用，深度挖掘数据价值，基于人工智能，探索数据在客户流失预测、客群预测、风险防控、精准营销、客户画像等方面的应用，推动行社发展。 五是围绕数据价值共享，对于开发出的有实际应用意义和价值的模型，可在平台进行分享，供全省农信查看复用，支撑农信业务开展等工作，大限度发挥数据价值，实现农信数字化转型。 三、创新点 当前，各金融机构纷纷构建自身数据仓库，其技术选型、架构设计、实施方式如出一辙，重复建设造成成本及资源极大浪费，数据价值未得到充分发挥，未形成全省农信数据应用共享生态。先进的技术很容易做到，但要结合贵州农信自身发展的特点，打造一款贴合农信业务的行社数据仓库，并延展打造具备自我发展、自我迭代能力的数据生态更为重要。为此，贵州农信以建设行社数据仓库为基础，着力营造数据生态氛围，汇聚数据建设人才队伍。 1.打造数据应用市场。 贵州农信下辖83家行社、13家村镇银行，全省数据用户高达2万余人。引导行社人员基于数据仓库提供的数据自主开发BI、报表等数据应用，并将已开发好的数据应用脱敏、封装上架到数据应用市场，供其他行社按需一键复用，节省了数据应用的开发时间，极大程度提升了开发效率。 2.建立数据人才培养体系。 建立一整套数据人才培养体制机制，培育数据应用文化，打造数据应用交流、知识共享平台，上下联动、互促互进，紧盯行社实际问题，解决现实生产诉求，着力数据应用团队能力建设，全力赋能行社数字化转型工作。 3.引导数据人才自发提升业务技术能力。 以社区互动、数据应用市场为载体，以积分为驱动力，用户通过发布数据应用、在社区回答其他用户提出问题等方式获得积分，每日进行积分排名，展示活跃度高的用户信息，将活跃度高的应用开发用户列入贵州农信数据开发人才库，所获得的积分按年折算为资金奖励与表彰奖励。使人才的自身发展需求与贵州农信数据开发需要统一，确保数据开发人才不断涌现，筛选并培养出一批懂得农信业务发展需要，又具备数据开发能力的人才队伍，形成良好的数据应用开发氛围。 四、技术实现特点及优势 贵州农信行社数仓项目采用华为“Hadoop+MPPDB”的高可用、高性能的数仓融合架构，通过创建多节点的大规模集群，处理海量结构化及非结构化数据。行社数仓项目采用了TaiShan服务器、GaussDB数据库以及银河麒麟操作系统，满足了技术安全国产化的需求，实现了国产自主自有芯片和自有研发操作系统，数据库系统和业务及周边配套系统的完全兼容适配。 1.行社数仓物理架构 基于华为GAUSSDB的集群搭建，包括数据存储集群及查询集群。存储集群主要用于行社数仓数据存储及计算，查询集群用于行社自助分析及行社报表查询，架构如下： 物理架构 2.行社数仓逻辑架构 3.行社数仓应用架构 五、项目过程管理 贵州农信于2021年7月启动行社数仓项目建设，2022年7月完成自主分析平台、报表平台、绩效及营销平台开发测试工作；2022年9月，在辖内法人行社进行推广试运行； 六、运营情况 系统试运行以来，我们陆续收到行社在操作流程、功能需求方面的反馈建议，并逐一开展了需求评审与系统改造。数仓系统在不断升级迭代的同时，通过对行社数据人员的培训，试点行社已经具备数据建模、自行开发数据报表的能力，各行均以自身发展的重点为指向，开发出报表、BI看板等数据应用。 七、项目成效 贵州农信自试运行行社数据仓库项目以来，有效解决了行社数据应用、数据资产保护、数据安全、数据管控等问题，破解了一系列围绕数据价值挖掘的热点难点问题，提升了行社整体数据应用能力，行社能够清楚掌握自身数据资产，能够轻松的获取数据资源。同时，数据实现闭环运行，数据的使用、流通均有据可查，保障了数据的安全。 一是发挥集中优势，有效节约成本。截止8月底，全省83家法人行社均已启用行社数仓，通过集中统一建设、统一管控，累计为全省节约建设成本近1.6亿，预计年节约数据应用人力成本近6,000万元，节约运营成本近5,000万元。 二是建立共享机制，释放数据价值。通过行社数仓项目建设，显著提升了行社数据开发运用能力，大可能发挥数据资产价值。一是通过系统实现了数据按需供给，避免了算力资源、存储资源的浪费。同时，数据资产管理更加明晰，为行社自行开发建设符合本地经营需要的数据应用提供了坚实基础。二是通过以线上线下的方式对数据开发相关技术进行培训，使各行社都具备了自主开发数据的基本能力。三是通过运营数据应用市场，解决了数据开发成果共享的问题，数据应用在全省各行社均可以实现一键复用，避免了数据应用重复开发。四是形成了数据人才共同成长的良好氛围。通过数仓项目的社区互动、积分奖励规则的驱动，让越来越多的用户关注、学习、运用数据分析，并在学习的过程中互帮互助，形成了共同进步的良好氛围，汇聚了一批数据人才持续发力，有效推动贵州农信的数据开发能力的蓬勃发展。 三是规范数据管理，提升数据安全。贵州农信通过统一的行社数仓建设，数据在省联社进行集中管控，提升了数据管理质效，进一步提升数据安全管控能力。一是明确了数据归属，有效地对数据进行了分级管理，各部门进一步明确分工、细化职责，在数据全生命周期内各司其职、各尽其责、协调合作，共同保障了数据安全；二是建立7×24小时系统运行监控机制，通过专业化监控工具，保障系统稳定运行，极大提升系统可用性。 四是实现信创全栈，提升自主可控。贵州农信行社数据仓库项目定位为分析决策类系统，引入华为TaiShan 200服务器、国产自主分布式架构数据库GaussDB 200及国产银河麒麟操作系统搭建基础环境。因金融业务系统的重要性，我们在ARM算力架构适配、功能、高可用、性能、容灾等方面开展论证及验证，取得了较好效果，满足了应用需求。

3 典型应用场景

3.1 场景一：数据共享与自助服务

发现问题：数据分散，查询效率低下。 解决方式：通过数据分发订阅平台，根据需求推送高频数据，低频数据按需订阅，大幅提升数据获取效率。 场景价值：行社查询时间缩短80%，数据运营成本降低30%。 门户管理： 数据订阅： 数据导入： 数据分析： 互动社区： 发现问题：为解决行社用数取数难问题，数据标准不统一，数据资产未统一管理。 解决问题：基于行社数仓平台做数据资产及数据分析一体，基于BI行社人员自行结合业务进行数据分析。 场景价值：数据提取从最初FTP数据文件的excel表格形式，质变提升成为即席分析一体化平台。数据提取效率提升80以上%。之前需要手工，花费大量时间的提数，通过ETL和BI结合，快速拿到业务需要的分析结果。

3.2 场景二：数据资产化与效率提升

发现问题：数据指标分散，数据维度不清晰。 解决方式：建立指标标签体系，固化查询接口，提供指标汇聚查询，实现数据决策依据。 场景价值：大屏数据一站式经营情况获悉，减少数据分析成本，减少数据加工提取时间30%以上。 发现问题：为解决我社二级法人数据管理、报表查看、经营角色等分层、统计、分析等问题，需要基于各级人员和使用人员角色对固定场景开发报表，提供行社角色人员数据提交、业务经营分析等报表信息。 解决问题：基于帆软平台做数据展示一体，快速提供数据决策依据，便于客户经理日常工作中数据补录、展示等更便捷、更智能。 场景价值：基于填报页面，可向客户经理提供数据补录场景，客户经理依托于工具对客户进行走访及方便查看客户画像信息，及时向客户经理展示全面的客户数据。同时数据也能通过大屏更直观的展现。结合大营销环境市场下，数据展示获取增加了一种高效的途径，数据了解沟通效率提升80以上%。数据之间的角色上下级和系统上下游之间的打通，对数据传输更加及时，实现数据统一化标准化管理。

4 总结与展望

通过建设行社数据仓库项目，切实解决了贵州农信整体的数据建设难题，并获得了一些实践经验，具体为以下四个方面： 在数据管理方面，整合各业务系统数据，并在合法合规前提下，接入第三方机构数据，做到了数据的统一规划和管理。 在数据应用方面，对明细类查询及固定报表查询进行全面梳理，固化成查询接口，同时以推送或订阅的方式让各法人行社得以方便、快捷获取数据，解决了行社查询慢、取数难问题，提升了行社工作效率。行社人员基于平台实现对数据的自主处理分析，进行数据应用建模，深度挖掘数据价值，同时对于数据应用模型提供了共享机制，在共享过程中实现了一键复用的高效方式。 在人才培养方面，基于平台建立了人才培养体制机制，就行社需求开展数据应用分析培训，提升行社人员自主分析数据的能力，同时以积分、问答互助等方式激励行社人员主动积极的去应用数据、分析数据，契合行社自身需求，发挥数据价值，助力了行社业务发展。 接下来，我们将继续围绕数据的“聚通用”，挖掘数据内在价值，满足行社多元化的数据需求，助力贵州农信数字化转型工作。 贵州农信行社数据仓库项目成功构建了一个集数据整合、分析、应用于一体的综合平台，不仅解决了数据应用难题，还通过建立数据共享生态和人才培养体系，极大地提升了数据应用的自主性和创新能力。项目实施后，贵州农信不仅有效节约了建设成本约1.6亿元，还显著增强了数据安全管控，实现了信息技术的国产化替代，提升了自主可控能力。 展望未来，贵州农信将继续深化数据仓库的建设和应用，持续优化数据治理体系，聚焦数据价值深挖，为农信业务发展提供更多智能化决策支持，全面加速数字化转型步伐，引领贵州农村金融迈向新的发展阶段。