【2021夏季挑战赛】疫情期间的水务数据分析

回帖奖励 8300 个F豆      回复本帖可获得 100 个F豆奖励! 每人限 1 次
楼主
这个人不太懒,写了一点东西

恭喜本作品荣获“2021帆软BI可视化夏季挑战赛-最佳行业应用奖”

1、点击浏览在线作品

2、点击查看/编辑在线模板(完成问卷即可获取平台账号)

 

帆软专家点评:

一个成功的数据可视化要满足两要素:

1、提供足够的社会价值/商业价值:本作品的“群体性事件”分析带来的重大社会价值,体现了国企的强烈的社会责任感。

(1)独居用户用水异常挖掘:社会老龄化的问题日益严重,独居老人的安危牵动人心。通过智能水表,按照既定的数据特征识别出水表可能的用水异常,能够对独居老人实行智能守护。

(2)区域群体性事件异常挖掘:通过水量预知群体性社会事件,能够做到比如精准打击传销组织

 

2、帮助读者快速理解信息:本作品无论是内容的信噪比、数据表达的准确度,还是突出洞察信息的标识,都达到了一个极高的水平。同时本作品还别出心裁的制作出日历图、对比杠铃图、环形分析图等等创意图表。告别千篇一律的传统图表,引起读者的好奇心,简明有效的传达数据价值。

 
 

一、选手简介
   
1、选手介绍
      

团队选手版        
团队名称:水务加BI数据联队                       

  • 队长介绍:社区id:athlonk7,本名徐毅力,某企业信息主管,某大学数据科学专业在读研究生;一位疯狂的帆软产品粉丝,一位匪夷所思的数据工作初学者,一位丧心病狂的数据可视化爱好者。
  • 团队职责:团队吉祥物、数据源提供、数据清洗及处理、数据可视化
  • 成员介绍:
  • 武昆峰,珠海卓邦科技有限公司技术总监,大数据专业硕士,十年数据工作从业者。致力于格数致知,走向对世界的深度认知。本次比赛负责资源协调和技术支持工作。
  • 周忠清,珠海卓邦科技有限公司在职数据挖掘工程师,致力于挖掘数据潜在价值,热爱学习。本次比赛负责数据开发和算法开发工作。
  • 谢诗琪,珠海卓邦科技有限公司在职产品运营,致力于将产品做得更好,追求极致的完美主义者。本次比赛负责运营相关工作。
  • 李丽琦,珠海卓邦科技有限公司在职UI设计师,热爱生活,热爱设计(设计源于生活,细节成就品质)。本次比赛负责UI设计。
  • 参赛初衷:                  
    • 不为获奖,就交个朋友,
    • 演练数据团队的分工协作能力
    • 准备在部门内推广BI工具,先来学习了解
    • 和更多FineBI大神交流学习,进行数据可视化作品以及分析思维的激烈碰撞
    • 检阅目前已整理的结构化数据                                                   
      二、作品介绍
    • 疫情的发生潜移默化地改变着真个世界格局,而水务企业作为承担社会基础保障重要的单位,除了做好本职工作,更要使用好自身宝贵的数据资产,来发挥企业的社会责任感。
    • 1、业务背景:
      疫情对各行各业带来巨大影响,对水务行业的影响也是比较明显,直观就能感受到热线业务量增加,工业用水波动很大等问题。但是水务企业很少有数据部门或者专注研究数据的人,去进行数据分析挖掘定量的分析疫情的工作的影响程度,导致很多工作不能科学的决策,比如热线排班,供水调度等。希望我们的研究成果能给业界同行带来参考价值。
    • 2、数据来源:
      企业数据:本次一共用到23个数据集,均取自企业各大系统真实数据并脱敏处理,总数据量超1000万行,涵盖全市疫情前后一年内的数据。
      营业收费系统:



      其他:本次使用到的数据集



      3、分析思路
      • 早期的讨论里,我们希望能展现自己完整的数据集和强大的分析能力,通过头脑风暴商议主题如下:




      • 经过裁剪后,去除了一些关联度不高并很难表达的主题,将范围缩小至疫情期间的用水分析:




      4、数据处理  

    • 数据对齐:
      整理不规范的时间数据,统一对齐为标准时间制,并按月分类汇总:

    • 数据清洗:
      提取的数据表中有大量的空值,在原系统中用于统计查询,对本次可视化分析并无直接帮助,因此需直接过滤掉:
    • 汇总整理:
      对各指标按照需要的维度进行汇总统计:

    • 5、数据挖掘

       
      独居用户用水异常:随着社会老龄化不断加快,一些独居用户面临照料问题。将智能水表进行分析管理,按照既定的数据特征识别出水表可能的用水异常:管道水回流、持续用水、长期零水量等,对独居用户实行智能守护,能节省人力,也提高了效率。
    • 某用户用水波动情况:

    • 用户在下午14:00:00时间范围用水分布:

    •  

      用水性质异常:
      供水管网漏损是供水行业普遍存在的严重现象。传统的防止管网漏损方法主要通 过定期巡查、定期校检水表、用户举报商业偷水等手段来发现漏水或计量装置故障。但这种方法对人的依赖性太强,抓住漏损的目标不明确。决策树是一种有监督的常用数据挖掘定位工具,使用该算法首先要计算所有特征变量的信息熵,由此确定变量的优先级,对用户用水量、地址、抄表周期等数据进行特征提取并进行处理,对处理好的特征使用XGBoost算法进行分类。被识别出疑似异常的用户,以高亮的方式在图表中呈现,便于巡检人员重点定向排查。
    • XGBoost分类模型中的1棵树结构:

      区域群体性事件异常:对热线的类型、地址等信息进行分析,识别在一定时间、区域范围内群体事件发生。

      6、可视化报告

      分析疫情期间热线话务量的变化  

    色块颜色深浅表示当日话务量的大小,可见疫情期间(2020全年)热线话务量的日均数据均超过了前后年的同期水平,广大居民在对用水的焦虑是一直持续的。我们绘制的"热线十二时辰",数据生成取自工作日的全天时段,多数诉求来自水管设备的维护,疫情期间,巡检外勤人员巡检次数相对变少,间接导致了管网问题的增多。

    • 分析热线工单类别的变化对比、分析企业处理热线工单的及时率

     

  • 从诉求频率的环形分析图看出,2020年的频率要高于其他两年,诉求的数量高于平均值,也多次超出了高频警戒线。而通过对比2020年与其他2年的工单趋势,位于2020年1月-2月,同比显著下降,这也是疫情发作最严重的时期。而右侧的销单频率直方图中可以看出,2019年的斜率显著高于其他年份,而2020年还未恢复回疫情前水平,这一定程度上与企业的管理方式变更有关联。

    营业收费与用户用水量分析

    • 分析

    疫情期间受影响最大的企业恐怕就是经营服务行业,一度下跌到33%以下,疫情后随报复式增长了14%,整体却仍未完全恢复元气。而行政事业用水持续低迷,很多学校采取了远程教育的模式。

    • 居民住宅的用水量占据了本市最高位置,其次是工业用水,疫情期间的餐饮、娱乐行业用水几近消失,甚至低于消费用水。而商业金融方面复苏较快。同时,本市正在大量加强基建工作,基建用水也逐年提升。在杠铃图中,我们能清晰地看到各用水组成及其最高/最低值与中位数。



      大用户的变化分析
      • 分析重点用户受疫情的影响程度

      我们提前了重点大用户的数据进行对比,数据随时间变化的趋势与整体基本一致,20%的大用户占据了全市近80%的用水量,商业、工厂、市政出现了短暂负增长,但很快也恢复了生机;与餐饮业的整体低迷不同,全市体量较大的餐饮企业并未受到很大影响,疫情之后仍然表现出强悍的生命力。

      • 分析不同营业厅管理用户的波动




      用户数据挖掘

      • 供水管网漏损是供水行业普遍存在的严重现象。传统的防止管网漏损方法主要通 过定期巡查、定期校检水表、用户举报商业偷水等手段来发现漏水或计量装置故障。但这种方法对人的依赖性太强,抓住漏损的目标不明确。决策树是一种有监督的常用数据挖掘定位工具,使用该算法首先要计算所有特征变量的信息熵,由此确定变量的优先级,对用户用水量、地址、抄表周期等数据进行特征提取并进行处理,对处理好的特征使用XGBoost算法进行分类。被识别出疑似异常的用户,以高亮的方式在图表中呈现,便于巡检人员重点定向排查。
      • 随着社会老龄化不断加快,一些独居用户面临照料问题。将智能水表进行分析管理,按照既定的数据特征识别出水表可能的用水异常:管道水回流、持续用水、长期零水量等,对独居用户实行智能守护,能节省人力,也提高了效率。
      • 通过水量预知群体性社会事件,是供水企业的重要的社会责任。对热线中产生的区域查表投诉、区域水质通俗的数据进行挖掘,结合以发生事件的类型、地址等信息进行分析,可以有效识别在一定时间、区域范围内群体事件发生的风险,便于采取进一步措施。




        2、参赛总结
        • 有幸得到了专业数据挖掘团队的支持,虽然最后结果受限于数据本身的特征不够全面,还借助算法还是成功地达成了一直以来都想做的分析,也挖掘出了很有价值的结论,相信这些都能为日后的数据工作提供帮助。
        • Deadline是第一生产力,不管制作作品的时间有多长,一旦你开始准备,工作量就会自动填满你的业余时间,让你沉浸得不能自拔,痛并快乐…
        • 我真的不擅长颜色调优,自己制作的版本被众人唾弃,已经全部改掉了…
        • 数据集取得太多,个人电脑也崩掉了,感谢帆软售后支持,帮我换到了服务器版…
        • 衷心感谢我的队友,集体的分工协作的感觉真的很好…我还是不太喜欢在图表里写描述文字,data has better words
        • 不会还有冬季吧,我精疲力竭了…
        • 下次求个组织收留,我不想当队长了…



        新冠疫情期间的水务数据分析.pdf (1.96 M)

     

  •  

 

编辑于 2021-8-9 19:53
分享扩散:
参与人数 +3 F豆 +66 贡献 +5500 F币 +5500 理由
兔子酱 + 500 + 500 队长特别奖励
帆软苏茜 + 5000 + 5000 恭喜荣获"最佳行业应用奖"
大猫吖 + 66 老太太摔倒了我都不扶,就服你

查看全部评分

沙发
发表于 2021-6-29 17:21:16

回帖奖励 +100 个F豆

板凳
发表于 2021-6-29 17:53:34 发布于APP客户端
徐总,请收下我的膝盖,这个大招可以
地板
发表于 2021-6-29 18:58:23

回帖奖励 +100 个F豆

徐总真的是应了那句话:“大神永远是最后登场的!!!"
5楼
发表于 2021-6-30 08:05:35

回帖奖励 +100 个F豆

这个大招可以
6楼
发表于 2021-6-30 09:11:47

回帖奖励 +100 个F豆


徐总的团队厉害,膜拜大佬们。
7楼
发表于 2021-6-30 09:17:19

回帖奖励 +100 个F豆

给力的
8楼
发表于 2021-6-30 16:24:13

回帖奖励 +100 个F豆

9楼
发表于 2021-7-1 17:29:47

回帖奖励 +100 个F豆

大佬,是你吗?
10楼
发表于 2021-7-1 23:47:00

回帖奖励 +100 个F豆

大神厉害
11楼
发表于 2021-7-2 08:17:49

回帖奖励 +100 个F豆

12楼
发表于 2021-7-10 22:17:02

回帖奖励 +100 个F豆

我天在首页看到是水务的就猜是不是徐老师的作品。点开以后shock到我,徐老师真是说转型就转型!分析主题也全,数据也全。水务能分析的东西都在作品里了吧?!
图表丰富度没得说,100分满我给200分
13楼
发表于 2021-7-14 15:49:45

回帖奖励 +100 个F豆

14楼
发表于 2021-7-26 15:48:04

回帖奖励 +100 个F豆

膜拜大佬
15楼
发表于 2021-11-24 19:27:34

回帖奖励 +100 个F豆

16楼
发表于 2021-11-24 22:17:02

回帖奖励 +100 个F豆

好帖,赞一个,顶楼主
17楼
发表于 2021-11-25 09:49:46

回帖奖励 +100 个F豆

纯友情支持 帮顶
18楼
发表于 2022-4-1 23:32:51

回帖奖励 +100 个F豆

学习到了
19楼
发表于 2022-4-13 10:35:02

回帖奖励 +100 个F豆

跟大佬学习
20楼
发表于 2022-4-25 10:47:55

回帖奖励 +100 个F豆

水务行业BI分析艰难前行,真的学习了!
21楼
发表于 2023-9-15 16:27:22

回帖奖励 +100 个F豆

惊艳到了
22楼
发表于 2024-1-4 11:52:49

回帖奖励 +100 个F豆

学到了
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

返回顶部 返回列表