【2021夏季挑战赛】疫情期间的水务数据分析

athlonk7 · 这个人不太懒，写了一点东西

恭喜本作品荣获“2021帆软BI可视化夏季挑战赛-最佳行业应用奖”

1、点击浏览在线作品

2、点击查看/编辑在线模板（完成问卷即可获取平台账号）

帆软专家点评：

一个成功的数据可视化要满足两要素：

1、提供足够的社会价值/商业价值：本作品的“群体性事件”分析带来的重大社会价值，体现了国企的强烈的社会责任感。

（1）独居用户用水异常挖掘：社会老龄化的问题日益严重，独居老人的安危牵动人心。通过智能水表，按照既定的数据特征识别出水表可能的用水异常，能够对独居老人实行智能守护。

（2）区域群体性事件异常挖掘：通过水量预知群体性社会事件，能够做到比如精准打击传销组织

2、帮助读者快速理解信息：本作品无论是内容的信噪比、数据表达的准确度，还是突出洞察信息的标识，都达到了一个极高的水平。同时本作品还别出心裁的制作出日历图、对比杠铃图、环形分析图等等创意图表。告别千篇一律的传统图表，引起读者的好奇心，简明有效的传达数据价值。

一、选手简介

1、选手介绍

团队选手版
团队名称：水务加BI数据联队

队长介绍：社区id：athlonk7，本名徐毅力，某企业信息主管，某大学数据科学专业在读研究生；一位疯狂的帆软产品粉丝，一位匪夷所思的数据工作初学者，一位丧心病狂的数据可视化爱好者。
团队职责：团队吉祥物、数据源提供、数据清洗及处理、数据可视化
成员介绍：
武昆峰，珠海卓邦科技有限公司技术总监，大数据专业硕士，十年数据工作从业者。致力于格数致知，走向对世界的深度认知。本次比赛负责资源协调和技术支持工作。
周忠清，珠海卓邦科技有限公司在职数据挖掘工程师，致力于挖掘数据潜在价值，热爱学习。本次比赛负责数据开发和算法开发工作。
谢诗琪，珠海卓邦科技有限公司在职产品运营，致力于将产品做得更好，追求极致的完美主义者。本次比赛负责运营相关工作。
李丽琦，珠海卓邦科技有限公司在职UI设计师，热爱生活，热爱设计（设计源于生活，细节成就品质）。本次比赛负责UI设计。
参赛初衷：
- 不为获奖，就交个朋友，
- 演练数据团队的分工协作能力
- 准备在部门内推广BI工具，先来学习了解
- 和更多FineBI大神交流学习，进行数据可视化作品以及分析思维的激烈碰撞
- 检阅目前已整理的结构化数据
  二、作品介绍
- 疫情的发生潜移默化地改变着真个世界格局，而水务企业作为承担社会基础保障重要的单位，除了做好本职工作，更要使用好自身宝贵的数据资产，来发挥企业的社会责任感。
- 1、业务背景：
  疫情对各行各业带来巨大影响，对水务行业的影响也是比较明显，直观就能感受到热线业务量增加，工业用水波动很大等问题。但是水务企业很少有数据部门或者专注研究数据的人，去进行数据分析挖掘定量的分析疫情的工作的影响程度，导致很多工作不能科学的决策，比如热线排班，供水调度等。希望我们的研究成果能给业界同行带来参考价值。
- 2、数据来源：
  企业数据：本次一共用到23个数据集，均取自企业各大系统真实数据并脱敏处理，总数据量超1000万行，涵盖全市疫情前后一年内的数据。
  营业收费系统:
  
  其他：本次使用到的数据集
  
  3、分析思路
  - 早期的讨论里，我们希望能展现自己完整的数据集和强大的分析能力，通过头脑风暴商议主题如下：
  - 经过裁剪后，去除了一些关联度不高并很难表达的主题，将范围缩小至疫情期间的用水分析：
  4、数据处理
- 数据对齐：
  整理不规范的时间数据，统一对齐为标准时间制，并按月分类汇总：
- 数据清洗：
  提取的数据表中有大量的空值，在原系统中用于统计查询，对本次可视化分析并无直接帮助，因此需直接过滤掉：
- 汇总整理：
  对各指标按照需要的维度进行汇总统计：
- 5、数据挖掘
  
  独居用户用水异常：随着社会老龄化不断加快，一些独居用户面临照料问题。将智能水表进行分析管理，按照既定的数据特征识别出水表可能的用水异常：管道水回流、持续用水、长期零水量等，对独居用户实行智能守护，能节省人力，也提高了效率。
- 某用户用水波动情况：
- 用户在下午14:00:00时间范围用水分布：
- 用水性质异常：
  供水管网漏损是供水行业普遍存在的严重现象。传统的防止管网漏损方法主要通过定期巡查、定期校检水表、用户举报商业偷水等手段来发现漏水或计量装置故障。但这种方法对人的依赖性太强，抓住漏损的目标不明确。决策树是一种有监督的常用数据挖掘定位工具，使用该算法首先要计算所有特征变量的信息熵，由此确定变量的优先级，对用户用水量、地址、抄表周期等数据进行特征提取并进行处理，对处理好的特征使用XGBoost算法进行分类。被识别出疑似异常的用户，以高亮的方式在图表中呈现，便于巡检人员重点定向排查。
- XGBoost分类模型中的1棵树结构：
  
  区域群体性事件异常：对热线的类型、地址等信息进行分析，识别在一定时间、区域范围内群体事件发生。
  
  6、可视化报告
  
  分析疫情期间热线话务量的变化
色块颜色深浅表示当日话务量的大小，可见疫情期间（2020全年）热线话务量的日均数据均超过了前后年的同期水平，广大居民在对用水的焦虑是一直持续的。我们绘制的"热线十二时辰"，数据生成取自工作日的全天时段，多数诉求来自水管设备的维护，疫情期间，巡检外勤人员巡检次数相对变少，间接导致了管网问题的增多。
- 分析热线工单类别的变化对比、分析企业处理热线工单的及时率
从诉求频率的环形分析图看出，2020年的频率要高于其他两年，诉求的数量高于平均值，也多次超出了高频警戒线。而通过对比2020年与其他2年的工单趋势，位于2020年1月-2月，同比显著下降，这也是疫情发作最严重的时期。而右侧的销单频率直方图中可以看出，2019年的斜率显著高于其他年份，而2020年还未恢复回疫情前水平，这一定程度上与企业的管理方式变更有关联。

营业收费与用户用水量分析
- 分析
疫情期间受影响最大的企业恐怕就是经营服务行业，一度下跌到33%以下，疫情后随报复式增长了14%，整体却仍未完全恢复元气。而行政事业用水持续低迷，很多学校采取了远程教育的模式。
- 居民住宅的用水量占据了本市最高位置，其次是工业用水，疫情期间的餐饮、娱乐行业用水几近消失，甚至低于消费用水。而商业金融方面复苏较快。同时，本市正在大量加强基建工作，基建用水也逐年提升。在杠铃图中，我们能清晰地看到各用水组成及其最高/最低值与中位数。
  
  大用户的变化分析
  - 分析重点用户受疫情的影响程度
  我们提前了重点大用户的数据进行对比，数据随时间变化的趋势与整体基本一致，20%的大用户占据了全市近80%的用水量，商业、工厂、市政出现了短暂负增长，但很快也恢复了生机；与餐饮业的整体低迷不同，全市体量较大的餐饮企业并未受到很大影响，疫情之后仍然表现出强悍的生命力。
  - 分析不同营业厅管理用户的波动
  用户数据挖掘
  - 供水管网漏损是供水行业普遍存在的严重现象。传统的防止管网漏损方法主要通过定期巡查、定期校检水表、用户举报商业偷水等手段来发现漏水或计量装置故障。但这种方法对人的依赖性太强，抓住漏损的目标不明确。决策树是一种有监督的常用数据挖掘定位工具，使用该算法首先要计算所有特征变量的信息熵，由此确定变量的优先级，对用户用水量、地址、抄表周期等数据进行特征提取并进行处理，对处理好的特征使用XGBoost算法进行分类。被识别出疑似异常的用户，以高亮的方式在图表中呈现，便于巡检人员重点定向排查。
  - 随着社会老龄化不断加快，一些独居用户面临照料问题。将智能水表进行分析管理，按照既定的数据特征识别出水表可能的用水异常：管道水回流、持续用水、长期零水量等，对独居用户实行智能守护，能节省人力，也提高了效率。
  - 通过水量预知群体性社会事件，是供水企业的重要的社会责任。对热线中产生的区域查表投诉、区域水质通俗的数据进行挖掘，结合以发生事件的类型、地址等信息进行分析，可以有效识别在一定时间、区域范围内群体事件发生的风险，便于采取进一步措施。
    
    2、参赛总结
    - 有幸得到了专业数据挖掘团队的支持，虽然最后结果受限于数据本身的特征不够全面，还借助算法还是成功地达成了一直以来都想做的分析，也挖掘出了很有价值的结论，相信这些都能为日后的数据工作提供帮助。
    - Deadline是第一生产力，不管制作作品的时间有多长，一旦你开始准备，工作量就会自动填满你的业余时间，让你沉浸得不能自拔，痛并快乐…
    - 我真的不擅长颜色调优，自己制作的版本被众人唾弃，已经全部改掉了…
    - 数据集取得太多，个人电脑也崩掉了，感谢帆软售后支持，帮我换到了服务器版…
    - 衷心感谢我的队友，集体的分工协作的感觉真的很好…我还是不太喜欢在图表里写描述文字，data has better words
    - 不会还有冬季吧，我精疲力竭了…
    - 下次求个组织收留，我不想当队长了…
    新冠疫情期间的水务数据分析.pdf (1.96 M)