什么是数据中台?跟数据仓库、数据平台有什么区别?

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 2019年,数据中台是一个很火的名词,基本上遇到的互联网公司都说自己在搞中台。但是什么是中台?到现在我也没有看到一个十分满意的答案。

云栖号资讯:【点击查看更多行业资讯
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!

导读:2019年,数据中台是一个很火的名词,基本上遇到的互联网公司都说自己在搞中台。但是什么是中台?到现在我也没有看到一个十分满意的答案。

因此,我在19年参加杭州了阿里的云栖大会,买了市面上能买到了关于中台的书,并且看了公开能看到的资料,同时和很多做过中台的朋友进行了交流,结合自己在实际工作中的理解后,最终整理了三篇短的讲稿,本文是这三篇讲稿的汇总篇,用来回答如下三个问题:

  • 什么是数据中台?
  • 数据中台和数据平台、数据仓库的区别是什么?
  • 做数据中台需要注意什么?

1F406132_8ED8_43a6_A05C_89A494B8DA66

01 理解数据中台的三重境界

第一重境界:数据平台化

数据中台是要打破重复造轮子的过程,不再每个团队搭建一套Hadoop、Spark这样的大数据组件;而是,从全公司的角度,整合这些工具,所有团队使用公司级别统一提供的大数据平台、开发工具、资产管理平台等。

第二重境界:数据服务化

数据中台要能打通烟囱式的数据体系,减少每个团队的数据“私货”,做到全域数据打通,构建公司级统一的数据仓库。

同时,也提供更方便的数据访问方式:比如数据API、可视化访问、自助提取等。

真正做到,让数据更好用!

第三重境界:数据价值化

数据中台要能做到,让数据真正能产生价值,这是一种结合了数据平台和数据服务后,让数据持续为业务赋能的机制。比如,如何让数据分析结论能落地?数据分析效果反馈的路径是否顺畅等等。

综述

总的来讲:

  • 第一重境界:平台化代表的是工具共享
  • 第二重境界:服务化代表的是数据共享
  • 第三重境界:价值化代表的就是,让数据产生价值

7065A003_31C6_4ab3_91B1_9BCCBF687064

02 数据中台、数据仓库和数据平台的区别和联系

在互联网行业,数据平台一般是指以Spark Hadoop这套开源大数据组件为主的大数据平台。

数据仓库一般是指数据建设的方法论,并且在这一套方法论指导下构建的数据表。它包含了数据建模、元数据管理和数据质量管理等这一整套内容。

关于数据中台可参考前面的内容。

那整体来讲,我们可以大致这样理解:

  • 数据平台提供的是计算和存储能力。
  • 数据仓库是利用数据平台提供的计算和存储能力,在一套方法论指导下建设的一整套的数据表。
  • 数据中台呢,包含了数据平台和数据仓库的所有内容,将其打包,并且以更优雅以及更产品化的方式对外提供服务和价值~

8D9E51AB_61C0_4510_88A0_8F5341D28EB2

03 构建数据中台前要想清楚的三个问题!

今天要和大家分享的是,当企业选择构建数据中台前,要提前想清楚的三个问题。

问题一:你是否真的需要数据中台

数据中台虽然很火,但是它并不是万能的,并不是说搭建了一个数据中台你们的问题就都能解决了,业务效果就能提升了。

可以考虑一下,你现在面临的问题和痛点,数据中台能解决吗?

问题二:你是否有专业的团队能够建设数据中台

数据中台不是简单地搭建一套开源的大数据框架、开发一些数据表就完成了,他要求团队从方法论、到平台化再到产品化都有一定的理解和积累。整体来讲,也就是需要你的团队有足够的专业度。

问题三:你能投入多少资源建设数据中台

投入的资源数量决定了数据中台的建设情况,你愿意投入多少人,花费多少钱,用多长时间来搞数据中台,能否一直坚持支持下去?

数据中台是一个大的工程,要相信,这可不是一个人随便花半个月就能搞定的。

总结

最近看到越来越多的文章来写数据中台了,大家的解释也越来越另辟蹊径。

不管中台到底是什么,我个人的观点还是要看它解决的是什么问题,和现在的平台有什么区别,做之前要注意什么。

本文没有详细的论证,只是个人经验的分享。

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/zhibo

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间:2020-05-06
本文作者:木东居士
本文来自:“大数据DT 微信公众号”,了解相关信息可以关注“大数据DT

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
4月前
|
存储 缓存 Cloud Native
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
|
4月前
|
存储 NoSQL 关系型数据库
MPP架构数据仓库使用问题之Visibility bitmap表被删除的文件信息是如何记录的
MPP架构数据仓库使用问题之Visibility bitmap表被删除的文件信息是如何记录的
|
2月前
|
机器学习/深度学习 运维 Kubernetes
AllData数据中台核心菜单三:数据平台(K8S)
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
AllData数据中台核心菜单三:数据平台(K8S)
|
3月前
|
存储 机器学习/深度学习 数据管理
数据技术的进化史:从数据仓库到数据中台再到数据飞轮
数据技术的进化史:从数据仓库到数据中台再到数据飞轮
|
3月前
|
机器学习/深度学习 消息中间件 搜索推荐
【数据飞轮】驱动业务增长的高效引擎 —从数据仓库到数据中台的技术进化与实战
在数据驱动时代,企业逐渐从数据仓库过渡到数据中台,并进一步发展为数据飞轮。本文详细介绍了这一演进路径,涵盖数据仓库的基础存储与查询、数据中台的集成与实时决策,以及数据飞轮的自动化增长机制。通过代码示例展示如何在实际业务中运用数据技术,实现数据的最大价值,推动业务持续优化与增长。
102 4
|
2月前
|
存储 机器学习/深度学习 人工智能
AllData数据中台核心菜单二:数据平台
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
2月前
|
存储 数据管理 大数据
从数据仓库到数据中台再到数据飞轮:社交媒体的数据技术进化史
从数据仓库到数据中台再到数据飞轮:社交媒体的数据技术进化史
|
4月前
|
SQL 算法 关系型数据库
MPP架构数据仓库使用问题之ADB PG对于sort scan算子要如何生成并优化
MPP架构数据仓库使用问题之ADB PG对于sort scan算子要如何生成并优化
|
4月前
|
缓存 Cloud Native 关系型数据库
MPP架构数据仓库使用问题之Calcite 是一个什么样的类库,它主要用于什么地方
MPP架构数据仓库使用问题之Calcite 是一个什么样的类库,它主要用于什么地方
|
4月前
|
缓存 Cloud Native 关系型数据库
MPP架构数据仓库使用问题之DADI的文件异步预取机制是怎么工作的
MPP架构数据仓库使用问题之DADI的文件异步预取机制是怎么工作的