浅谈传统企业的大数据平台如何上云

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 浅谈传统企业的大数据平台如何上云

大家好,我是明哥!

今天我们来看下,传统企业的大数据平台如何上云,一点感悟,欢迎大家交流。

1. 趋势介绍与阐述:大数据和云计算进一步深度融合, 拥抱云计算走向云原生化

首先我们来解读下“大数据和云计算进一步深度融合, 拥抱云计算走向云原生化”:

  • 云原生(Cloud Native)理念,本质上是一套“利用云计算技术为用户降本增效”的最佳实践与方法论;
  • 大数据拥抱云计算走向云原生化,其驱动力来自于以下四个方面:
  • 一是各个具体的大数据组件都在主动改变自身架构,积极“云化”以适应云部署环境(在底层技术架构上,为适应云部署环境,大数据更加青睐存储计算分离的架构,在存储层也融合了文件系统和对象存储且更加青睐云友好的对象存储);
  • 二是各个传统大数据供应商已经转向依托云来提供自己的产品和服务;
  • 三是各个云计算厂商在不断推出各种云上托管的基于大数据的服务,以加强自己的市场竞争力;
  • 四是应用方的大数据平台很多也有主动上云的需求;
  • 各个行业和各家公司的发展阶段不同,融合本地数据中心和云环境的进度也不同,但在部署架构上,基于混合云和多云模式,融合公有云私有云与非云模式,来构建企业整体的IT基础设施,必将是大势所趋。

2 大数据跟云计算的融合现状和趋势

大数据跟云计算的融合现状和趋势如下:

  • 很多云计算头部厂商,比如AWS、阿里和华为等,都提供了云上托管的Hadoop和NoSQL数据库等大数据解决方案; 很多传统的大数据供应商,如 elastic, cloudera, databricks,confluent等,也在公有云上推出了自己的大数据解决方案;
  • 很多初创企业和中小企业选择了公有云上托管的大数据解决方案,来搭建和部署自己的应用系统,以快速面向市场推出产品提供服务;
  • 也有很多规模较大的公司,出于云端的数据安全和隐私保护,出于大规模租用公有云的成本考量,出于多个业务系统之间数据跨区域移动的成本等考量,没有使用公有云,而是自行搭建私有云;
  • 从长远整体上看,大数据云计算是越来越深度融合的,大数据朝着深度挖掘用户价值、注重数据时效性、强调边缘计算、非结构化协同处理等方向发展,对云计算底座的要求也越来越高。

3 机构大数据平台建设建议

  1. 企业业务系统上云的最终目标,出于各种考量(有业务系统高可用的考量,也有不被云厂商绑定即 vendor-lockin的考量,也有生态系统合作伙伴即经济因素等多种考量),部署架构不会是单一的某个公有云,而是多个公有云和私有云的混合部署形态;
  2. 企业需要意识到,业务系统的上云不是一蹴而就的,也不是单向的一帆风顺的:
  • 这里涉及到新开发的业务系统的主动上云(由于是采用云原生技术栈新开发的业务系统,其上云相对顺畅些);
  • 也包括历史遗留系统的迁移上云(单个遗留系统的改造迁移和上云,视乎复杂程度,往往需要一年多甚至更长的时间周期);
  • 有时也会有从云端部署回退到私有云或数据中心的情形(上云后系统不顺畅,IT人员不适应等,也有会退的场景)。
  • 所以企业需要制定从上到下的整体的云化整合方案,梳理所有的业务系统,根据其业务关键性的不同,数据时效要求的不同,以及安全与隐私考量的不同等多种因素,分阶段有步骤地,迁移部分业务系统到公有云或私有云上,基于混合云和多云模式,融合公有云私有云与非云模式,来构建企业整体的IT基础设施。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
SQL 存储 监控
大数据Flume企业开发实战
大数据Flume企业开发实战
69 0
|
2天前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
20 1
|
14天前
|
Oracle 大数据 数据挖掘
企业内训|大数据产品运营实战培训-某电信运营商大数据产品研发中心
本课程是TsingtaoAI专为某电信运营商的大数据产品研发中心的产品支撑组设计,旨在深入探讨大数据在电信运营商领域的应用与运营策略。通过密集的培训,从数据的本质与价值出发,系统解析大数据工具和技术的最新进展,深入剖析行业内外的实践案例。课程涵盖如何理解和评估数据、如何有效运用大数据技术、以及如何在不同业务场景中实现数据的价值转化。
31 0
|
4月前
|
存储 机器学习/深度学习 大数据
参与开源大数据Workshop·杭州站,共探企业湖仓演进实践
Apache Flink 诚邀您参加 7 月 27 日在杭州举办的阿里云开源大数据 Workshop,了解流式湖仓、湖仓一体架构的最近演进方向,共探企业云上湖仓实践案例。
173 12
参与开源大数据Workshop·杭州站,共探企业湖仓演进实践
|
4月前
|
存储 监控 数据挖掘
云上大数据分析平台:赋能企业决策,挖掘数据金矿
5.3 场景化 针对不同行业和领域的需求特点,云上大数据分析平台将推出更多场景化的解决方案。这些解决方案将结合行业特点和业务场景进行
115 7
|
4月前
|
存储 分布式计算 数据可视化
ERP系统中的大数据分析与处理:驱动企业智能决策
【7月更文挑战第29天】 ERP系统中的大数据分析与处理:驱动企业智能决策
376 0
|
5月前
|
机器学习/深度学习 数据采集 大数据
大数据技术下的企业智能决策支持系统
大数据技术下的企业智能决策支持系统
169 0
|
6月前
|
运维 供应链 大数据
数据之势丨从“看数”到“用数”,百年制造企业用大数据实现“降本增效”
目前,松下中国旗下的64家法人公司已经有21家加入了新的IT架构中,为松下集团在中国及东北亚地区节约了超过30%的总成本,减少了近50%的交付时间,同时,大幅降低了系统的故障率。
|
6月前
|
存储 人工智能 安全
AI大数据分析对企业安全隐私的保护非常重要
AI大数据分析在提供企业发展和决策支持的同时,也涉及到大量的企业数据和用户隐私信息。因此,保护企业安全隐私是非常重要的。
|
6月前
|
分布式计算 大数据 数据处理
大数据开发企业级案例__某通信企业数据处理需求(建议收藏)
大数据开发企业级案例__某通信企业数据处理需求(建议收藏)
59 0