当前位置：经营头条
【11年·11个认知】政务云建设运营之道⑥
数据治理篇：治理的终点，是让数据说同一种语言
数据是是云中流淌的血液——血不净，流得越快，风险反而越大。这些年，政务数据从“有没有”到“通不通”，再从“通不通”到“准不准”，每一步都比上一步更难。数据不同于设备，买来即可用；它的价值不在存量，而在流动，在一次次跨部门、跨层级的调用中被反复兑现。而流动的前提是互认，彼此看不懂的数据，堆得再多，也只是沉淀的资产。
做数据治理这些年，我们最深的体会是：难点不在数据有多少，而在于数据各说各话。政务云里跑的，从来不是一种数据。有结构化的——人口库、法人库、电子证照，一行行躺在关系数据库里；有半结构化的——日志、JSON、XML、各种接口报文，格式还对不齐；也有非结构化的——扫描的档案、办事的影像、会议的音视频，连“字段”都没有。它们又散落在不同的数据库里：甲骨文、SQL Server，加上达梦、人大金仓、GaussDB；由不同厂商、不同部门各自建设，各有一套字段、一套编码、一套口径。于是同一个“人”，在公安是一个编号，在民政又是另一个；同一个“企业”，市场监管认统一社会信用代码，税务那边却又是另一串数字。数据孤岛不是墙围出来的，是口径分歧一点点长出来的。更麻烦的是质量：缺失、重复、过期、一数多源、源多不一，谁也不敢说自己手上那份是否准确。业务部门想跨部门核验一件事，往往要发函、要调库、要对表，等数据对齐了，办事群众的耐心也耗尽了。
面对这种局面，数据是各单位的家底，谁也不会为了一朵云的整齐而把自己多年的积累推倒重建。我们能做的，是给这些各异的数据搭桥。
一是“全量汇聚”。把分散在各委办局、各数据库、各类格式的数据汇聚起来。结构化、半结构化、非结构化一并接；数据库、文件、接口、消息队列一并通；实时流与离线批量并进——高频事项走实时同步，历史存量走离线归集。这一层最考验的不是技术，是耐心：一家一家对接，一类一类适配，把每条“数据毛细血管”都接到主干上来。我们常对团队讲，汇聚不能指望一步到位，今天多接一个库、多通一类格式，明天数据底座就厚一寸。
二是“全面治理”。聚起来只是原料，还得有规矩。建统一的数据目录，让每一份数据都有“身份证”；建统一的标准与编码，把 A 部门的“男”和 B 部门的“1”对到一起；建元数据管理，理清数据从哪来、到哪去、被谁用；再叠加质量规则与安全分级，该清洗的清洗，该脱敏的脱敏，授权分级也要管起来。治理不是把数据改成一个样子，而是让它们在标准之下各归其位。这一步最不出成果，却决定了后两步的上限——标准立不住，聚得再多也是一笔乱账；目录建不实，用得越广越容易出错。
三是“全面应用”。治好了不等于用得上。我们用“湖仓一体”把数据湖的灵活与数据仓库的严谨合到一处：原始数据先进湖，清洗建模后再入仓；再用数据服务化的方式，把结果封装成统一的 API 与数据服务，供共享交换、供各部门按需调用。使用者不必关心它原来在哪张表、哪个库、什么格式，只调一个服务，拿到一份可信的数据。
这三步——聚、治、用，正对应数据治理的三个动作：先纳进来，再抹平差异，最后调得动。我们越来越清楚，数据治理的价值，从来不是把数据堆得更多，而是让原本各说各话的数据“说同一种语言”。当公安、民政、人社、市场监管的数据能在一个口径下对话，一次次“证明我是我”的折腾，才真正有了被消除的可能；一网通办、跨省通办，也才有了一致的依据。
认知：数据的差异并不可怕，可怕的是我们总想用一套格式去消灭它。真正的数据治理，是承认差异、建立标准、搭好桥梁，让异构的数据在同一个语义世界里各说其话、却又彼此听懂。数据治理在这里的最高形态，是“统一语言”，不是“统一数据”这也是形成高质量数据集的唯一路径。
打印
关闭
