挖掘数据价值，构建数据赋能决策体系          一、企业简介      上海钢联物流股份有限公司，成立于2003年，由宝钢集团一钢分公司销售处出厂中心、仓储分公司、汽运分公司和钢联船务转制合并组成，专注于钢铁生产、贸易和加工制造企业提供钢铁原材料、半成品、产成品的供应链物流服务。连续17年为宝山基地、东山基地、宝钢不锈及宝钢国际等客户提供出厂和代运服务，2019年成为包钢集团唯一汽运服务商。目前自有车辆800余台，船舶5艘，平台车辆近6万辆，船舶50余艘，2020年总计完成运量4000万吨。      钢联物流立足于上海，以物流+互联网O2O模式打造钢铁物流细分领域供应链服务模式，为钢厂、贸易商及终端客户提供一站式物流服务，除长三角以外，公司业务范围覆盖广州、福建、湛江、内蒙、山西、天津、新疆等地。      钢联物流一直坚持“诚信、服务、创新、共赢”的经营理念，一直在努力围绕“以客户为中心”，不断创新、研发，为客户满意尽心尽责，努力成为中国钢铁供应链最优秀的物流服务商！ 146706         图1 钢联物流组织架构 二、项目背景      钢联物流具备较强的技术研发能力，目前拥有40余人的技术团队，运输管理TMS系统、仓储管理WMS系统、结算系统、OA系统、财务系统等均为自主研发。经过了多年升级迭代，系统产品覆盖了货主、司机、收货人、发货人等物流供应链上的各类角色。基于业务系统的支持，集团各公司板块的业务均实现了线上操作。      系统的线上化操作积累了大量的数据，但是在数据分析时也遇到了很大的困难。      1）系统数据分散        系统开发实施时，为满足不同的业务需求，各公司系统均为独立系统，各系统的数据量日益积累庞大，但是数据彼此都是独立并且分散的，对于数据分析使用造成了很大的困难。      2）数据量大        钢联物流采用精细化的作业管理，业务数据可以精细到每件钢材，数据量巨大，尤其是费用数据已经达到千万级的水平，传统依靠excel做数据统计分析的方式已经难以支撑。      3）数据获取难度大，报表开发占用太多技术资源      之前做业务分析时，我们都是在业务系统中技术已经开发完成的报表中心去下载数据，业务系统操作压力大时，数据下载效率很差。而且对于报表中心没有的数据维度，只能给技术提报表开发需求，由技术安排开发排期，正常周期在一周左右，难以做到及时响应。并且需求的不确定性，导致报表上线后做二次开发，占用大量技术开发资源。      4）数据分析具有周期性，难以支撑每天做分析        以前分析的报表多是靠人，每周或每月的频次出具报告，因人员投入的问题，数据难以做到每天进行出具，对管理决策的支持力度不足。      5）数据口径不一致，数据时常打架      不同部门团队均会各自出具统计数据，彼此数据逻辑不一致，造成数据冲突，对管理决策造成困扰。      因此如何把数据库里的静态数据盘活，发挥出数据的价值，实现数据可视化，并且能够降低数据分析使用的难度，因此公司成立数据项目组，统筹解决数据的使用问题。        三、解决方案      2020年10月份起，数据项目组开始数据平台的建设工作，数据平台的建设目标之一便是要能汇聚集团公司全域的数据。钢联物流数据平台统一对所有业务数据进行接入，在数据平台之上搭建数据仓库，提供统一的数据集成开发，任务调度及海量的数据存储，解决各系统数据孤岛问题。数据仓库的数据通过一致的统计逻辑对外输出数据服务，解决各部门口径不一致问题。 146991   图2 钢联物流数据平台架构图       钢联物流数据平台建设分为以下几个过程：      1）数据ETL采集开发      钢联物流数据采集有实时和离线两种方式，目前基于Datax以离线ETL方式为主，在云服务器搭建了多节点的Datax集群。      数据平台最重要的就是数据，数据任务调度的质量和效率决定了数据平台是否能支撑起数据的分析和应用。为监控任务的执行过程，特构建任务调度监控大屏，及失败任务钉钉消息推送和邮件推送机制，便于数据开发人员及时发现数据异常。 146710   图3 数据任务调度监控       2）数据仓库搭建      基于clickhouse搭建数据仓库集群。各业务系统数据采集后，落入数据仓库作为ODS层数据，ODS划分为事实表和维度表。之上做数据模型，数据划分为客户、司机、运单、合同、费用等不同的主题域，按照分层数据模型，构建DWD明细数据层、DWS汇总数据层及ADS应用数据层。      3）BI决策系统，数据服务体系搭建      数据平台目前可提供数据报表及数据API两种数据服务形式。由FineReport负责web端和移动端报表、可视化大屏等数据报表服务，通过统一的API管理为应用系统提供数据服务。四、项目成果4.1成果总结     （1）建设成果 平台主要分析模块：经营、运营、风控   平台报表/分析模板总量：100+   平台月均访问量：15000+   平台活跃用户数：100+      （2）整体价值      1、实现了数据的自助查询服务，解放了业务人员重复的数据统计工作，业务人员的精力更多放在数据的分析和业务管理上。      2、提供小时级数据服务，改观原有的周报和月报方式，通过数据平台，报表能够进行小时级数据更新，业务人员和管理人员更及时地掌握业务进展。      3、数据统计逻辑归一化，公司重要会议可打开BI报表直接使用数据，避免了数据口径不一致问题。      4、释放了技术团队资源，通过FineReport报表工具，数据项目组可自行开发报表，技术水平要求低，报表开发难度下降，报表开发周期由原先的一周提升到天，开发效率提升86%。4.2典型场景      场景一：数据指标量化，推动服务质量改进      问题痛点：      钢联物流作为一家物流服务提供商，服务质量、运输作业效率对于提升公司核心竞争力至关重要。整个集团每天都有几千个车次在运输，单纯依赖人员盯的方式已经难以解决问题，给管理工作带来很大挑战。运输服务质量如何，哪些地方存在问题需要改进，发现业务上的不足，是公司重点需要解决的痛点。      解决思路：      数据量化，把管理问题转为数据问题，通过数据的质量反应业务的服务质量，是我们数据项目组解决这个问题的思路。      1、服务标准指标化。物流运输可分为委托、派单、装点装货、在途、卸点交付等几个环节，我们从每个环节做分析，制定可量化的服务标准，确保可以进行指标统计，最终制定的指标包括：派单规范率、装点规范率、运价规范率、运量规范率等7项指标。    146712      图4 业务数据质量评价指标       2、质量模型构建。以上7项指标的数据仍难以直观地反应情况，因此我们构建了数据质量的模型，每项指标可根据规则得到质量分数。对每项指标按重要程度赋予不同的权重，各项指标加权计算后得到整体的质量分数。这样我们的管理者可通过质量分数，直观地判断当前业务的质量情况。 146714        图5 数据质量大屏看板       3、多维度数据质量分析。不仅可以知道各项指标的情况，而且通过数据质量模型，我们可以知道司机的质量数据、客户的质量分数。由此给我们的管理者提供决策依据，哪些司机、哪些业务应该要加强管理。     146715    图6 客户维度业务数据质量       价值：      通过指标，将服务标准量化为可衡量的数据，通过模型的构建，将多维度指标汇总为单维度的数据，使复杂的问题变的简单直观，给管理工作提供了直接的抓手。      场景二：司机画像，更懂我们的司机      问题痛点：      作为物流企业，司机资源是我们最核心的资产，双方是合作共赢的关系。目前司机运力池达6万的规模，月度活跃的司机也有2万多的规模。通过对司机行为的研究，让我们更清楚地了解司机，以求为司机提供更好的服务，同时，通过司机画像的研究，在业务运力紧张时，能够找到合适的司机进行推荐。      解决思路：      1、司机画像体系梳理。根据业务线的梳理，我们构建了3级标签的司机画像模型，包含了基本属性、价值分群、行为偏好等7项维度的一级标签及130余项的三级标签体系，标签以统计类标签和规则类标签为主。   146717      图7 司机画像标签体系       2、标签数据指标体系。分别对统计类标签和规则类标签制定数据的统计规则，梳理成标签数据体系。      3、标签数据开发。基于数据平台采集的各类数据，编写python标签数据处理的脚本，打好标签的数据写回数据平台进行存储。      4、司机画像应用。      开发司机画像分析大屏，通过大屏可以查看司机群里的各维度数据，如年龄分布、性别分布、地域分布，司机重复接单率、转化率、留存等数据，通过FRM价值分类查看司机的价值分群。并可以对即将过期的证件进行预警。个体司机画像的大屏可以查看司机的基本信息，及其业务偏好。 146992   图8 司机画像大屏看板   146993   图9 个体司机画像大屏看板       价值：      1、通过司机画像的研究，发挥数据的价值，让我们更加清晰地了解每个司机的情况，更加清楚地掌握司机与公司的合作粘性，通过司机重复接单率指标，分析未重复接单的司机，结合个体司机偏好，通过业务智能推荐，定期消息提醒等方式，提升司机重复接单率。      2、司机核心运力维护。通过RFM模型对司机价值分类，找出哪些司机属于优质核心司机。同时，我们会对接单数有较大下滑、服务质量较差等问题的司机进行预警，引导运营同事及时跟进，确保优质司机不会流失，服务较差的司机进行及时淘汰，保障服务质量。      3、通过司机行为偏好的研究，知道司机的运距、线路、作业货物等偏好，为我们业务的运力推荐及其他增值服务提供支撑。      场景三：财务经营管报线上化      问题痛点：      财务经营管报手工编制，耗时耗力，效率低。每月初都是财务部门繁忙的时候，为编制财务报表，需要从各系统中导出数据，手工excel做数据统计，编制成报表后向管理层进行汇报。每个月均要花费几天的时间进行数据处理核对，效率差，而且次月才能知道月度的经营情况，报表的时效性差。      解决思路：       1）明确统计口径：与财务人员明确统计口径，口径保持一致，统计口径梳理成文档，做成线上报表，做到统计口径透明化，供大家随时链接查看。      2）确定取数来源：所有数据来源于系统，避免取自线下数据。      3）支持数据对比查看：经营管报单月数据或年度累计数据，缺乏数据对比，难以反应经营异常，因此在线上报表中引入环比、同比、预算比等多时间维度的对比数据，给管理者提供更加立体的数据。      4）数据权限管控：经营管报为敏感数据，数据安全性非常重要。经沟通确定各部门及各管理者的数据权限，做成数据权限配置表。      146724   图10 经营管理报表       价值：      1）报表时效性大大增强，由原先的每月出具一次提升到每天出具，而且无需额外人员介入，释放大量人力。      2）管理意义大，管理者可随时把握当前公司的业务经营情况，目前集团公司主要公司板块的经营报表均实现了线上化，在一个BI决策系统可查看所有公司的数据。      3）一表多用，因为数据权限的管控，一个报表可支持不同部门、不同角色管理者使用，每个用户进来只能看到权限内的数据，既避免了报表重复开发，又可以确保数据的安全。五、项目总结5.1项目负责人点评      1）如今信息化时代，钢联物流虽然身处传统型企业，也在积极的进行数字化的转型，信息化时代下，企业之间的竞争更多地体现在效率的竞争，体现在数据化管理的精细程度，这也让数据成为我们管理中最为关键的一部分。      2）帆软作为BI行业的佼佼者，提供的FineReport工具，能够让我们在数据报表开发，可视化大屏开发上更加的有效率，更快的进行产出。产品使用便捷，技术要求门槛低，让我们可以通过少量的培训，便可以让数据分析师进行使用。相信FineReport可以成功助力钢联数字化转型。5.2经验心得      1）数字化转型是一把手工程，需要从上至下进行推动；      2）业务需求具有不确定性，很多时候需求是不清晰的，我们往往按照自己对于业务的认知，利用最短的时间先给出demo，让需求部门有一定的了解，再谈修改，最后开发，力求不返工。      3）要注重基础数据的治理，确保数据的准确性和及时性，好的数据质量才能确保好的数据产品产出。