一、数据建设与治理的现状与诉求
随着全球数字化进程的加速,企业面临着更加严峻的市场竞争,各行各业的企业都开始建设数据中台。
1. 当前数据建设与治理所面临的问题
从阿里巴巴数据中台的建设历程,以及阿里云多年在数据中台领域的耕耘中,当前数据建设与治理所面临的问题有:
∙ 数据标准问题:烟囱式开发及局部业务服务支撑,导致指标同名不同口径问题频发;历史上不同业务系统逐步迭代上线,相同对象属性编码不一致等问题突出。
∙ 数据质量问题:重复建设导致任务链冗长、任务繁多,计算资源紧张,数据时效性不好;口径梳理定义的文档沉淀到开发代码实现之间存在脱节,数据准确性保障风险高。
∙ 需求响应问题:烟囱式开发周期长、效率低,面向应用的服务化不足,导致业务响应速度慢,业务不满意的同时技术又觉得没有沉淀与成长;既懂业务又懂数据的人才不足,需求理解到开发实现涉及大量沟通,服务效率较差。
∙ 成本资源问题:烟囱式开发的重复建设浪费技术资源;上线难下线更难,源系统或业务变更不能及时反映到数据上,加之数据不标准,研发维护难上加难的同时,大量无用计算和存储造成资源浪费。
2. 构建企业级数据中台的核心诉求
企业构建数据中台既要解决以上所遇到的问题,又有着更高的要求:
∙ 数据体系化组织:数据中台的数据来自企业的业务系统,而企业中各个业务有着各自独立的系统。系统之间的数据可能存在交叉,全部抽取到数据中台后,需要进行体系化的组织,否则就是一团乱麻,无法快速准确的找到想要的数据。需要一个将数据按照统一的体系来组织,这个体系内,数据标准一致,并且有数据落标后可以被稽核,企业可以获得高质量的,口径统一的,可用性高的数据。
∙ 数据高效生产:数据中台来自很多个业务系统,对应着海量的业务分析需求。企业希望数据中台可以快速响应业务端的需求,并且保障数据生产的安全可靠和数据正确。同时,又要降低在生产过程中的各种成本,提升投入产出比。
∙ 数据便捷服务:数据中台需要服务业务,需要有便捷的数据消费方式。数据消费需要接入便捷,安全可控,响应及时。
3. 企业数据能力建设的三个发展阶段
企业构建数据中台,所遇到的问题挑战不是一下子全部出现的,而是在建设历程中逐渐显现出来的。基于阿里巴巴数据中台内部实践经验,企业数据能力建设可以分为三个阶段:
∙ 在线开发阶段:起步阶段,数据量相对较小,团队规模不大,以满足业务需求为主要目标。随着数据量的增加,人员的扩张,就需要回答数据的价值在哪里的问题,以匹配所投入的成本。自然地,就进入下一阶段。
∙ 数据平台构建与管理阶段:数据量级提升,数据来源多样,除了来自业务的取数和基本分析需求之外,开始梳理数据之间的关系,挖掘潜在的价值,同时还需要保障数据的质量,这就是数据资产化。这个阶段的数据平台,除了基本的数据开发功能之外,还需要提供资产管理和质量监测的能力。
∙ 数据综合治理阶段:当数据平台内部的建设完备之后,就需要回馈平台外的各个业务。这个回馈不是应答业务的需求,而是通过挖掘出数据的价值,反向来促进业务的发展。