不少企业把数字化转型当成一次采购:买套平台,接上系统,以为就转型了。平台跑起来了,报表里的数仍旧对不上。问题通常出在更前面的地方——数据散在各业务系统里,命名、编码、口径各不相同;数据质量参差不齐;安全和合规各有顾虑。这些不理顺,数据就难释放价值。
治理这件事要走四道工序:数据现状调研、治理体系设计、数据标准化、数据治理核验。每一步都有各自的交付物,跳过哪一步,后面都得回头补。
数据现状调研:先有一本数据底账
治理之前,得先知道手里有什么。现状调研要落三件事:数据的基本信息,有哪些表、哪些字段;归属主体,谁产生、谁维护、谁使用;关联关系,业务对象之间怎么勾连。调研不是列个清单就完,更新频率、系统之间的依赖也要一并记下,后面标准化能做到什么颗粒度,取决于这一步摸得多细。做完交出的是数据盘点文档。
常见的情况是,同一家客户在销售系统里是全称,在财务系统里是简称,在工单系统里是一串编码。盘点时先把主键统一,后面的比对才有基础。动辄上百万条记录的底账,靠人工翻不现实,需要千万级数据处理能力撑住。
没有盘点文档,后面的标准和核验都无处落笔。
治理体系设计:把标准、清洗、质量三条线定清
有了底账,下一步是把规则写下来。体系设计要落成规范文件,明确三件事:数据标准,字段叫什么、用什么格式;数据清洗,哪些脏数据怎么处理;数据质量,合格线划在哪里。三条线连同配套规范一次说清,流程才算固定下来。规则定在前面,后面每接一个系统,才有一把共同的尺子。
阈值不是拍脑袋定的。字段命名、字典值范围、缺失率与重复率的合格线,都要参照足够大的样本。设计行业分类、企业属性这类口径时,参照的数据底座越大,规则越不容易偏
规范文件的用处,在于它是后面每次数据进出的判据。
数据标准化:统一口径、格式和编码
体系定了规则,标准化负责把它执行下去。对照规范,把口径、格式、编码三样统一,同时把数据分类分级明确下来。分清了级,谁能看、谁不能用也就有了依据,开头提到的安全与合规顾虑,在这一步一起减轻。这一步最费工,也最影响后面能不能对得上。
口径打架通常发生在三处:企业规模按人数还是按营收、行业分类按国标还是按内部习惯、行政区划用新旧编码。标准化之后做成一张对照表,跨部门汇总不再各算各的。
规则要能沉淀、能复用,靠的是一套可复制的管理方法。
标准化的检验标准只有一条:两个部门报同一个数,得出的结果一致。
数据治理核验与落地:出报告,未达标回炉
最后一步是核验。围绕数据标准、数据质量两项,全面检查,输出核验报告;没达标的回头整改,整改后再核验一遍,通过之后才接入实际应用。
流程上通常这样走:核验发现某类客户信息的缺失率超过阈值,就回到清洗环节补齐,补齐后再到核验环节确认,通过后数据才进入分析场景。核验不是走个过场,报告里要写清哪些指标达标、哪些没达标、问题出在哪个环节,它决定这一轮治理算不算完成。
核验报告是治理的验收单,也是下一轮的起点。只有通过核验的数据,才谈得上找得到、看得懂、用得上。
写在最后
四道工序有先后:先有底账,才谈得上定标准;标准落到位,核验才有依据;核验通过,数据才谈得上用。数据可用性提高、重复存储和处理减少、合规风险下降,都是走完这四道工序之后的结果,而不是开工时就能拿到的承诺。数据治理也不是一次性项目,每做完一轮,下一轮的起点就更高一些。