|
数据质量究竟是什么？
大家学习数据分析的理论，学习FineBI这类商业分析的工具，甚至考取了相关的证书，是否真的具备了数据分析的能力呢？
答案是不一定的，每个人对数据和业务的理解不同，深度不同自然能力也千差万别，理论是基础，工具是辅助，现实面临的问题很复杂。大家在论坛听老师讲的课，做的demo都是优化过的，现实中从数据的获取开始就面临了困难；
再讲数据质量之前，我先要铺垫一些“基础知识”，这块是没有任何老师讲过，涉及到审计和财管，因为太抽象，而这块内容从审计和财管的角度很贴近！
*寻找数据原始的样子
假设你是财务BP经理，以财务分析为例，首先你要获取相关数据搭建模型，那么多种报表你要哪种？
可能在你看来这个问题从来不是问题，需要哪个用哪个即可，不过这里讨论的问题比这个要深奥的多；
我们做账是从：凭证——账簿——总帐——报表这个过程，也就是说报表是已经加工过的数据，并非数据原始的样子！
也就是说我们如果能获取账簿或者科目余额表就能完成报表的制作，从原始数据层面完成数据分析工作；
那么总账和报表对于FP&A或者财务BP之间的区别是什么呢？这里你在脑子里要建立一个报表框架；
总账、汇总的科目余额明细表是标准的列式报表，字段就是科目、时间、借、贷、余额，是总纲，是原始的，是简单的，没有逻辑结构的；
如果大家学过审计，我们知道重大错报风险分为认定层次的重大错报风险和财务报表层的重大错报风险～，这里其实就是认定层的；
财务报表或者末级的科目余额表虽然也有时间（截止日）有借、贷、余额，但是里面是有逻辑的；
比如管理费用里面包括：工资、折旧、费用化支出等等，固定资产的账面价值是考虑折旧和减值的；
一旦涉及到报表，那么就是牵一发而动全身，这样就是财务报表层的重大错报风险；
资产负债表、利润表、现金流量表彼此是有勾稽关系的，这种关系对于数据分析而言是不利的，工具难以理解。以至于要用Excel做统计分析，因为它灵活。给你一张标准的报表（能导入FineBI），你能从里面分析的指标是有限的（字段个数），熟练的人甚至可以一边看一边口述，FineBI这种商业智能工具可以提高速度和准确性。报表的维度决定了你能分析的指标个数。
*补充的“基础知识”结束～开始正文
我们做数据分析，可以从顺流分析，即：原始数据——指标档案卡——指标综合分析——业务分析、商业分析、战略分析；
也可以逆流分析，即：计划指标档案卡——计划获取哪些数据——等等；
很明显对于数据质量好的，我们可以直接做顺流分析，我们相信信息系统的内部控制是健全的（绝大情况下是比较全面的）
对于数据质量不好的，我们一看原始数据就知道其能够获得的指标的适当性（质量）和充分性（数量），结合业务（首先要熟悉业务层面原理）了解哪些关键指标欠缺，分析这些关键指标的敏感度和业务的相关性，这时候再开展逆流分析，计划都指标档案卡......
以上的都是关于数据维度方面的数据质量的思考，比如再增加一个什么维度的字段就可以计算出一个或多个新指标，该指标很重要～这个字段该如何获取？怎么设计？是否能嵌入到这个报表中（要获取的数据是否为原始数据，还是关联数据需要单独开展业务，例如：财务报表）？
以上是我们能够获取数据的情况，只是数据质量不高，我们可以通过专业性的工作完成数据的优化，但是数据质量问题远不止如此，我分为如下几类：
1、没有数据，不知道如何获取，脱离业务导致的数据空白；
2、有数据，但是数据维度不全，就是我们上面讨论的问题；
3、有数据，数据维度很多，不知道如何下手；
4、有数据，单个数据维度不复杂，但是关联性极其复杂，好比财务报表层面；
*5、记录数据的内部控制不高，导致数据的不准确、错误，往往参杂人工工作，缺乏数据管理或者专业的数据运营官；
以上是全部数据质量问题，可以同时出现，其中*5可能是无法避免的问题，结合其他问题出现，针对于*5的应对，我习惯叫“数据的清洗”；
针对于*5的情况我举个例子，先讲一下：
我们都知会计科目编码是4位数，比如1001是库存现金，1002是银行存款；
我们要在银行存款下面设立几个账户按照银行区分，比如100201是招商银行、100202是工商银行、100203是建设银行；
比如10020101是招商银行下面的一个账户，10020305是建设银行下面的一个账户；
然后我们会计就开始了一个蜜汁操作，比如没有设立100203；
10020301～10020305都是建设银行的账户，在账簿上都有过记录，在系统上1002银行存款的余额是准确的，但是我们就无法获取100203；
如果这里难以理解，可以自己去研究一些FineBI的数据分层，比如：
借方：100202 工商银行 3000万元；
借方：10020201 账户一 40万元；
借方：10020202 账户二 100万元；
借方：10020203 账户三 800万元；
借方：10020204 账户四 1000万元；
借方：10020205 账户五 500万元；
借方：10020206 账户六 560万元；
借方：10020301 账户一 100万元；
借方：10020302 账户二 300万元；
借方：10020303 账户三 40万元；
借方：10020304 账户四 100万元；
借方：10020305 账户五 11万元；
数据就是上述的样子，主key是会计编码没有问题，但是我们根本就不知道100203是什么银行，但是系统1002银行存款的核算是没有问题的，借贷是平的；
以上的问题就是人工设置科目的时候不细心导致的，就是我说的*5问题。我们要知道目前会计从业人员的水平并不高，会计与财务之间隔了整整一个CPA，如果讨论到数据层面，还差一个数据管理。我们经常听说一个企业的账务很乱，其实不是说会计不会做账，因为一笔业务只有一个对应的分录，没有水平的高低，只有科目设置水平的高低。这类问题出现绝大多数企业的财务核算中，随着ERP系统的普及，相关从业人员的水平则越来越低。同样的问题也出现在库存管理、成本核算等诸多业务中，品名、规格、金额的错误，尤其是品名的错误导致了核算工作的冗余。
*再补充一个知识点，数据分析不怕数据量的多，而是怕乱！我们有足够多的工具解决样本量的问题，但是难以解决上述1～5问题中的逻辑混乱和内部控制缺陷。大数据（Big Data）只是统计的样本很大，全部都不放过，但是必须要保证逻辑清晰，样本量达到一定数量后就有统计意义！
问题1、没有数据，不知道如何获取，脱离业务导致的数据空白；
不怕没有数据，就怕没有渠道获取，因为获取的过程是需要成本的，能建立信息系统的就不要使用人工调研，根据具体业务开展数据获取。我们要考虑数据的成本效益原则，如果说这个数据获取是有意义的，但是需要大量的时间和成本，得到的指标其实并不是那么那么的重要，我们是否要重新思考呢？
问题2、已经讨论过，不再赘述；
问题3、有数据，数据维度很多，不知道如何下手；
这种问题好比打扫家，收拾干净。企业需要一个数据分析领域的专家。解决这种问题其实我们需要多一些的项目操作经验来体会一些感觉，这种感觉其实是可以通过FineBI来体会的，通过维度来感觉指标。其次我们需要针对于这个行业和业务学习相关的理论知识，但是一般来说系统学过管理学和数据分析，工作经验+基础的描述统计就足够了。我们自身如果达到标准后，就可以着手开展“优化”工作。与问题2类似，我们都要先顺流再逆流，还要贯彻业务，数据维度再多也能得出有限个数的指标，况且绝大多数情况下，很多维度都是无用的～所以结合业务的关键绩效指标卡则十分重要。其实删除无用字段也是一种快感～
问题4、有数据，单个数据维度不复杂，但是关联性极其复杂，好比财务报表层面；
这个问题是最复杂的，要理解这个问题，必须先看懂我前面给铺垫的“基础知识”；
我们假设一个场景，一个商家有储值活动，有消费，采用会计核算，我们能够获取CRM上消费者的充值和消费记录，也能获取财务数据；
这样我们对于收入有两个系统能够获取，它们彼此是有关系的，对于折扣我们也能获取，但是在财务领域如何核算也是我们要了解的；
面对这样的现实问题，我们能够分析的报表数量就很多，该分析那块的数据，如何构建勾稽关系是数据分析师应该考虑的问题；
再者，从审计学的角度来说，一个折扣费用如果财务计入到财务费用里肯定是错误的，会计水平不高的人还真有可能；
借：银行存款 1000万
财务费用 260万
贷：预收账款 1260万
（假设260万金额重大）
这笔分录中高估了财务费用，应该计入销售费用，虽然净利润一样，但是性质不同，属于审计中的认定层次的重大错报风险；
如果会计错的很离谱，把这260万计入到其他综合收益（这个其他综合收益的二级科目是计量投资的一个子公司的权益工具变动）那么会有什么影响呢？
首先本来是影响净利润的一个指标，现在不影响净利润了，那么会导致净利润的高估，影响了利润表！从这一点来说就是财务报表层的重大错报风险；
再者如果以后处置对于子公司的长期股权投资，我们要结转其他综合收益到盈余公积和未分配利润，影响的范围更大！
通过上面一个例子，我们看出数据质量不高如果影响的是关联性很复杂的业务，这块工作是最难的；
针对于单个数据维度不复杂，但是关联性极其复杂的业务。我们要紧抓业务本身不放，评价单个业务的指标。然后综合考虑业务之间的关联性，不能一把抓，否则就会出现很多难以预料的问题导致返工，浪费大量的成本、时间和精力，这个时候思维导图之类的工具就显得很重要了。
我用了大量篇幅讲了一个关于“数据质量”的问题，原因在于这个问题是现实中必须要面对的问题，数据分析不是单纯的加加减减，也不是单纯的做个表格画个图。数据的管理和运营的思维是数据运营官和分析师要考虑的深层次问题。
编辑于 2021-5-25 11:25
编辑于 2021-9-18 08:40
| 
