构建大数据中台实践经验分享

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 过往3年,一直在帮各地政府构建大数据中台, 以下是一些实施经验分享

随着云计算、大数据和人工智能为代表的新一代信息技术迅猛发展,信息时代开始快速过渡到大数据时代。人工智能的发展为服务型政府建设提供了技术支撑,管理型政府向服务型政府的转型也成为大势所趋。当前我们处于IT时代往DT时代转型、管理型政府往服务型政府转型的过程中。建设服务型政府,应当创新传统的信息化项目运行管理模式。
大数据中台建设有以下建议:
1、 构建符合DT时代的更创新灵活的“大中台、小前台”的业务机制。
a) “大中台”主要是指构建大数据中台,搭建全市统一的大数据中台,支撑全市各业务部门对外提供数据化服务,通过数据中台打通全市各业务部门的数据,更精准地为全市提供全方位数据服务。
b) 前台是指全市各业务部门的不同应用组成的前端系统平台,例如,各业务部门搭建的业务系统、门户网站、手机APP、微信公众号等都属于前台。前台各种应用从大数据中台获取数据支持并将新增数据沉淀在大数据中台,但每个业务系统的开发不受大数据中台建设模式及其运营公司制约;大数据中台更多的是起到决策、支撑、监管、服务等方面的作用。
c) 通过采用“大中台、小前台”模式,实现了业务与数据的分离,数据成为了各部门业务系统共同需要的土壤。构建大数据中台的目的是实现数据的统一存储、统一管理、统一安全、统一模型和统一数据服务,强化对数据资源的整合利用。
d) 从技术复杂性角度分析,中台战略集中了平台大多数的核心技术,“小前台”所代表的各单位业务系统虽然数量多,但是对平台整体产生影响的技术含量小。
e) 对于比较复杂的综合性系统,可以在数据中台的基础上搭建业务中台,但鉴于该市业务系统数量较少、功能相对简单,不需要构建单独的业务中台。
2、 大数据中台构建需要选择成熟的基础架构和实施团队
a) 数据中台的概念是最早由阿里巴巴首次提出,是为了应对像双十一这样的业务高峰、应对大规模数据的线性可扩展问题、应对复杂业务系统的解耦问题,也是中国乃至世界第一家系统地践行了中台战略的大型互联网公司。从2018年下半年开始,以中台战略为核心的组织和技术变革席卷互联网和各地方政府。
b) 基于成熟基础架构构建大数据中台,不要再依靠拿来主义发展短平快的软件平台,摆脱对开源软件技术路线的依赖(无法真正做到自主可控,受制于人,Bug偏多,稳定性和扩展性差),采用依靠自主创新开发的具有自主可控特点的成熟基础架构软件。
c) 项目建设过程中选用在DT时代有成功落地经验的团队提供业务咨询和落地服务,尽量在别人的成功经验上进一步扩展平台,同时吸收别人的失败教训避免犯类似的错误。
d) 充分参考借鉴其他城市成功经验,如杭州、衢州等。
3、 采用渐近式实施策略
a) 由于各单位原有业务系统的复杂性,数据中台的建设和完善不可能一蹴而就,应当采取渐进式实施策略,将原有系统数据逐步整合接入大数据中台,新业务系统则一律直接构建在大数据中台之上。
b) 要把数据、系统看做是资产,探索对数据资产的运营,大力从数据中挖掘价值反哺投资的不足,促进数据资产的增值,从而实现大数据局和大数据公司之间的紧耦合。
c) 平台建设是一项一把手工程,具体建设时可以采取成立临时工作机构的方式,让各单位信息化管理人员集中办公,由市大数据局统一管理、统一考核,增强平台建设力量。
d) 建议大数据中台实施分期进行,可以尝试指定3到5年长期发展战略。

  1. 第1年主要关注大数据中台本身的落地,少量接入现有业务系统,并重点打造1到2个亮点业务功能。
  2. 第2年开始大量接入现有业务系统并开始为新建系统和老业务系统改造提供数据服务支撑。
  3. 第3年随着大量数据的落地,尝试提供全局级的数据调用服务和数据增值服务,为更多创新型业务提供数据支撑。
相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
12天前
|
SQL 分布式计算 运维
如何对付一个耗时6h+的ODPS任务:慢节点优化实践
本文描述了大数据处理任务(特别是涉及大量JOIN操作的任务)中遇到的性能瓶颈问题及其优化过程。
|
27天前
|
存储 SQL 分布式计算
Hadoop生态系统概述:构建大数据处理与分析的基石
【8月更文挑战第25天】Hadoop生态系统为大数据处理和分析提供了强大的基础设施和工具集。通过不断扩展和优化其组件和功能,Hadoop将继续在大数据时代发挥重要作用。
|
28天前
|
分布式计算 搜索推荐 物联网
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
|
28天前
|
人工智能 分布式计算 架构师
大数据及AI典型场景实践问题之基于MaxCompute构建Noxmobi全球化精准营销系统如何解决
大数据及AI典型场景实践问题之基于MaxCompute构建Noxmobi全球化精准营销系统如何解决
|
29天前
|
存储 监控 安全
大数据架构设计原则:构建高效、可扩展与安全的数据生态系统
【8月更文挑战第23天】大数据架构设计是一个复杂而系统的工程,需要综合考虑业务需求、技术选型、安全合规等多个方面。遵循上述设计原则,可以帮助企业构建出既高效又安全的大数据生态系统,为业务创新和决策支持提供强有力的支撑。随着技术的不断发展和业务需求的不断变化,持续优化和调整大数据架构也将成为一项持续的工作。
|
1月前
|
机器学习/深度学习 自然语言处理 算法
LangChain 构建问题之智能体协同中的决策机制的实现如何解决
LangChain 构建问题之智能体协同中的决策机制的实现如何解决
28 1
|
1月前
|
自然语言处理
LangChain 构建问题之实例化一个聊天模型如何解决
LangChain 构建问题之实例化一个聊天模型如何解决
11 1
|
28天前
|
人工智能 分布式计算 大数据
大数据及AI典型场景实践问题之“开发者藏经阁计划”的定义如何解决
大数据及AI典型场景实践问题之“开发者藏经阁计划”的定义如何解决
|
1月前
|
人工智能 自然语言处理 前端开发
LangChain 构建问题之MetaGPT 和 ChatDev 的支持功能差异如何解决
LangChain 构建问题之MetaGPT 和 ChatDev 的支持功能差异如何解决
34 0
|
1月前
|
数据可视化 Unix Linux
LangChain 构建问题之可视化智能代理对游戏的生成过程如何解决
LangChain 构建问题之可视化智能代理对游戏的生成过程如何解决
10 0

热门文章

最新文章