编辑导语：如今跟着互联网的成长，数字化给我们带来了更多的时机，在大数据时代，数据局限也在不绝的膨胀，所以各类企业需要大数据管理；本文作者分享了关于大数据管理的问题以及要领，我们一起来看一下。

01 数据管理的配景

从1969年开始，互联网已经走过了PC、移动，向财富互联网时代迈进，人类勾当被全面数字化。

数字化技能革命给贸易带来前所未有的时机，大数据让我们更懂用户和这个世界，这一切看上去很优美，可是危机已经在悄然中光降。

跟着业务的成长，数据局限也在以滚雪球的速度膨胀，带来了一系列棘手的问题：

1. 奋发的本钱支出

据测算，存储1PB数据的硬件投入总本钱在80万阁下，对付那些业务遍布全国的互联网公司来说数据量到达60-80PB是很常见的事，这就意味着一年的存储本钱要花5000-8000万阁下；并且数据中心的机架容量是有限的，建树新的数据中心不是易事；这一切都在制约着企业的成长，吞噬着企业的利润。

2. 数据质量风险增加

海量的数据带来了巨大的链路依赖，数据质量风险濒临失控；跟着数据量的增长，运维压力也越来越大，妨碍告警次数显著增多。

3. 组织协作呈现问题

复杂的数据局限，零乱的定名和存储，以及理不清的业务逻辑，让团队协同越来越难，推进大型项目需要参加的团队人数越来越多，表此刻企业会合气力办大事的本领逐渐丧失。

4. 数据孤岛开始呈现

想要得到一项指标，找差异的人可以获得差异的查询功效，这个中呈现的问题主要是口径对焦；差异的人对付业务的领略也并不沟通，缺少统一的尺度，这是许多公司成长进程中都存在的问题。

数据欠好找，找到不敢用、不能用，迫使业务只能选择反复建树资产；而反复建树资产更进一步加剧了数据欠好找欠好用的问题，形成了恶性轮回，数据孤岛壁垒越垒越高。

这一系列的问题假如任由其继承成长，数据对付业务只会酿成鸡肋，甚至会成为企业的欠债。

02 数据管理的方针

数据管理是一项巨大的工程，想要做好数据管理首先要做的事是定好方针；关于数据管理的方针，可以简朴领略——数据管理的方针就是要让数据成为资产而不是欠债。

数据资产的观念是能给企业带来经济效益的资源，想要让数据成为资产，不过乎是”开源”、”节约”，前者指的是释放数据代价，为业务带来增长，后者指的是节省本钱；这里的节省本钱不光单是涉及到数据存储本钱，还包罗了打点本钱、数据风险本钱等隐形的部门，让数据酿成高质量的数据。

03 数据管理的焦点

险些所有关于数据管理的界说都在谈论成立“组织”、明晰“权责”、拟定“要领/制度/尺度”。

事实上，数据之所以需要管理，问题的来源在于“无序”；而数据管理的焦点就是拟定命据世界的游戏法则，让数据世界重归有序。

1. 组织设计

明晰数据管理的权责是开展数据管理事情的首要步调。因为一切问题都可以归根于人的问题；资源的更换，制度的设计、执行、监视，最终都要落实在人上；许多时候问题难以推进，原因就在于人的重视不足，级别不足，相关方不共同。

某金融科技独角兽公司在从事数据管理的进程中识别到主要问题表示在数据架构腐坏，而数据架构的腐坏的来源在于缺少推进全局数据架构一连演进的组织；这个组织是数据管理顶层设计的魂灵，为数据管理的最终成就认真；为此，该公司创立了数据超域架构师小组。

橙色团体十余年来的数据架构履历外貌，一个不变的一连迭代的中间层是保持数据架构有序的要害，跟从业务飞跃进程中总需要有人停下来修缮屋顶；为此，该团体将数据资产研发和数据应用研发脚色剥分开来，以沉淀资产、中间层建树、资产架构优化为主要职责，设立数据资产工程师岗亭和独立提升通道。

2. 法则拟定

法则类型的指定是开始详细事情的前提，目标在于统一尺度，冲破由于尺度纷歧致带来的数据孤岛问题。

某金融科技独角兽拟定了三项焦点类型：”数据资产必需先界说后研发”、”数据资产不能反复建树”、”应用资产依赖民众处事资产建树”；这三项焦点类型具备大纲性质，易于影象和流传。

在焦点类型指导下，更贴近于执行层面的，有一系列更具体的指导类型；譬喻如何保障指标的一致性、如何确保标签资产实现互通互享、如何制止数据资产反复建树等。

3. 机制设计

机制设计的目标是办理组织协作的效率问题，可以分成研发协作机制和数据互通机制两方面来讲。