从混合云存储看阿里云对下一代企业计算架构的思考

本文涉及的产品
对象存储 OSS,20GB 3个月
密钥管理服务KMS,1000个密钥,100个凭据,1个月
对象存储 OSS,内容安全 1000次 1年
简介: 2020年,全面激活混合云市场。

1_

摘要:在公共云视角下,把企业本地存储视为一整套存储与计算方案中的一个部分与环节,通过公共云对云上云下存储和计算统一管理,以满足脉冲计算、基因计算、AI与机器学习等新型计算与数据存储的需求,这就是阿里云的混合云思路。

阿里云在2019年最后一个月发布了针对混合云的两款产品:入门级混合云存储阵列SA2100以及混合云CPFS一体机,加上2019年发布的混合云存储阵列中高端产品SA2600、3600、5600以及基于容器的ACK混合云2.0等,阿里云已经为2020年混合云市场的全面激活做好了准备。

混合云存储阵列SA系列融合IP SAN、FC SAN、NAS和OSS对象存储协议于一体,而CPFS主要面向海量小文件存储场景,二者可满足企业存储的大部分需求,而SA系列与CPFS一体机都可部署在企业数据中心,与阿里云公共云无缝对接,企业无需改变现有的IT架构,就能从企业本地数据中心充分利用公共云存储易于扩展、快速灵活部署的优势。

阿里云智能存储资深总监Alex Chen表示,阿里云存储集合十年的技术积累下沉服务企业级客户,从混合云存储角度推动传统企业加速上云,让传统企业客户可以放心使用本地和云端混合部署的存储解决方案,真正打通上云的数据“高速路”。

2alexchen_jpeg

(阿里云智能存储资深总监Alex Chen)

相对于传统企业存储厂商来说,阿里云的混合云方案原生带有大规模公共云服务和实践经验;而相对于公共云服务厂商来说,阿里云更有向混合云进行投入的决心。

Alex Chen强调,阿里云对于混合云的决心并不仅仅是丰富的硬件产品和加密、安全、迁移等软件解决方案,更是诸如购买混合云存储阵列即可赠送阿里公共云服务这样的商务方案,以及刚推出的针对企业级预算型采购的SCU按量付费、灵活置换存储类型的公共云售卖方案。阿里云要用混合云,打通公共云的最后一公里。

从大数据到新数据

早在2014年的时候,业界就提出了大数据的4个V:多样化、海量、高速度和高价值。到了2019年,随着5G大规模商用的起步,大数据的时代才真正到来。然而,今天的企业不仅面临着大数据的挑战,还面临着移动互联网和人工智能所带来的新数据挑战,以及越来越严格的政府和行业数据监管要求。

在大数据方面,随着数字经济和数字社会的快速发展,企业依然面临着每年数据量剧增的大趋势。这直接导致对数据中心投资的大幅增加,根据赛迪顾问的数据,2018年中国数据中心IT投资规模达到3257亿元,比2017年同期增长17.8%,其中硬件投资占46%;而预计未来3年中国数据中心市场规模将保持13.6%的增长速度。

但是企业自建数据中心的速度远远跟不上移动互联网场景下的新型数据场景,特别是脉冲式数据现象。近年来电商带来了脉冲式数据流,特别是以每年阿里的双十一为典型代表。2009年的时候,双11零点峰值交易笔数为400笔/每秒,而到了2019年则达到了54.4万笔/每秒,脉冲式数据峰值十年实现了1360倍的增长,直接导致对各种存储和日志服务需求的十倍和数十倍增长。在阿里双11的带动下,全社会也出现了双11、双12、各种秒杀等脉冲式数据现象。

3_

在人工智能方面,智能图像视频识别和智能语音识别的需求正在爆发,不仅带来了各类图像、照片、视频和语音数据的大规模增长,例如直播应用一天产生的视频数据量就以TB甚至PB计,而连接千万用户的智能音箱、智能语音助手等产生的语音数据更是爆发性增长。更为重要的是一个深层神经元网络的参数就可能达亿计、芯片计算量可达百亿次/秒,AI并行并发计算的特性要求大量数据交换和移动,提出了计算存储一体化或统一化的挑战。

而基因计算、容器计算等海量小文件、低时延、高IOPS、无缝快速切换数据副本等新兴数据和计算场景,以及对企业关键关系型数据的统一管理等,都对企业级存储提出了新的需求。此外,越来越严格的政策和行业法规遵从,例如2017年10月实施的新版《民用运输机场安全保卫设施》标准(MH/T 7003-2017)要求机场安保数据的存储从原来的30天升级为90天,而2018年5月的欧洲GDPR也对数据存储有要求,不同的国内外合规遵从不断对全球化运营的企业提出存储新需求。

在新兴数据及数据存储需求下,企业级存储面临着更可靠、更高性能、更灵活、弹性扩缩容和简化运维的新挑战。

公共云视角下的混合云

企业新兴的数据需求以及对于企业级存储带来的挑战,已经不能从自有数据中心存储角度加以解决,公共云视角下的混合云正在成为企业级存储创新的方向。

市场咨询与研究公司Wikibon指出,当前正在进入云的第三个发展阶段:云的企业阶段。Wikibon的调研显示,2019年将是企业开始建立具体的长期云战略的一年。而在云的第二个阶段,大数据向云迁移且建立了AI和机器学习分析等创新模式,但企业的ERP等高价值核心应用并没有向云迁移。随着新的边缘数据和本地核心数据源的出现,企业数据趋于保留在本地和边缘,相反的是云服务将移向本地核心和边缘移动。

从公共云数据中心、本地数据中心和边缘数据中心等视角下来看,混合云更多指的是包括了所有IT形态的混合IT&多云环境下的IT资源管理,而非本地存储资源的虚拟化(也就是之前流行的企业级存储虚拟化)。而所谓的分布式存储软件,也将扩展到公共云、本地和边缘计算存储资源的统一管理,也就是云上、云下的一体化。这是公共云视角下的混合云存储,与企业数据中心的存储虚拟化以及基于开源软件的数据中心分布式存储的最大区别。

传统数据中心视角下的混合云存储,将公共云存储视为补充的扩展资源,作为备份及灾备的方案;而公共云视角下的混合云存储,是把企业本地存储视为一整套存储与计算方案中的一个部分与环节,通过公共云软件对云上云下存储和计算统一管理,以满足脉冲计算、基因计算、AI与机器学习等新型计算与数据存储的需求,而这就是阿里云的混合云思路。

Alex Chen强调,在存储硬件越来越标准化的今天,本地环境下的企业级存储以及分布式文件存储等场景的创新空间已经越来越小,更大的创新空间实际上来自公共云下沉到企业本地以及云上云下的计算与资源联动。例如阿里云在国内所有Region提供了同城冗余能力,也就是上传到阿里云的数据有3个备份,分别存放于3个不同的数据中心,如果一个数据中心出现问题,另外2个数据中心还可以继续提供服务。而同城冗余存储提供了数据12个9可靠性,也就是存储100万文件到阿里云,在100万年内不会有任何的数据丢失。

同城冗余存储是阿里云对象存储OSS最近发布的产品,阿里云对象存储OSS多年支撑双11业务高峰,历经高可用与高可靠的严苛考验,其多重冗余架构设计为数据持久存储提供可靠保障,基于高可用架构设计可消除单节故障、确保数据业务的持续性。

阿里云的文件存储CPFS (Cloud Parallel File Storage),是阿里云完全托管、可扩展的并行文件存储系统,提供对数据毫秒级的访问和高聚合IO、高IOPS的数据读写请求,可用于AI深度训练、自动驾驶、基因计算、EDA仿真、石油勘探、气象分析、机器学习、大数据分析以及影视渲染等业务场景中。

阿里云的NAS文件存储则可以挂载到弹性计算ECS、神龙裸金属、容器服务ACK、弹性容器ECI、批量计算BCS、高性能计算EHPC、AI训练PAI等计算业务上,提供高性能的共享存储。值得一提的是极速型NAS是针对海量小文件场景提供百微秒级低时延和高IOPS访问,解决了传统存储云化架构下海量小文件访问出现的过大时延导致web网站访问缓慢、容器集群批量启动时并发读取配置文件卡顿、DevOps持续集成效率低下、实时日志分析文件系统负载过高等问题。

而阿里云块存储服务推出的ESSD云盘,是阿里云推出全球首个跨入IOPS百万时代的云盘,单盘IOPS高达100万,比SSD云盘快40倍,这是阿里云迄今为止性能最强的企业级块存储服务。除ESSD外,阿里云块存储类型丰富,包括SSD云盘、高效云盘、普通云盘、NVMe SSD本地盘、SATA HDD本地盘、SSD共享块存储、高效共享块存储等多种磁盘类型,满足不同业务场景需求。2019年的技术更新包括单云盘最多可保存1000个自动快照,ESSD在线最大扩容32TB(即无需停机)等。

Alex Chen介绍,阿里云存储的软件特色还包括:安全方面支持服务端加密、客户端加密、防盗链、IP黑白名单、细粒度权限管控、日志审计、WORM特性,获得多项合规认证,包括SEC、FINRA等,满足企业数据安全与合规要求;提供标准、低频、归档多种类型,通过生命周期自动化实现数据类型转换与过期管理,覆盖从热到冷多种存储场景;提供RESTFul API、控制台、多种开发语言的SDK、命令行工具、图形化工具等多种使用方式,可以随时随地通过网络管理数据等。

4_

实际上,在过去十年里阿里云在存储方面有着大量的创新场景和创新技术,更多是与计算类型相结合的存储技术和系统创新。从2008年开始,阿里云存储在规模化,可靠性、性能和稳定性,便捷性以及软硬一体化等四个方向发展,在这个过程中积累了大量的创新甚至是自研芯片、自研协议和自研硬件以实现更加极致的存储体验。

把云存储推向企业

2019年11月,总部位于澳大利亚的动画和视觉效果工作室Animal Logic宣布正与阿里云开展合作,将本地制作内容备份到阿里云中,以满足不断增长的媒体制作需求。Animal Logic的作品包括《X战警:逆转未来》、《乐高大电影》以及《复仇者联盟2》,而Animal Logic对澳大利亚本地的公共云服务商进行了严格的评选,最终阿里云胜出。

Alex Chen认为,阿里云能在澳大利亚市场中胜出,证明了阿里云的能力以及建立了企业市场的信心。在国内市场,国内知名智能汽车制造商小鹏汽车即将采用阿里云文件存储CPFS来对训练过程中的模拟数据进行计算。CPFS不仅能解决小鹏汽车日均几十TB数据挑战,还能帮助AI系统迅速处理数据,加速汽车在复杂路况和驾驶技巧的训练速度。小鹏汽车物联网与商业技术高级总监谭蔚华表示,阿里云在数据采集、数据传输和计算处理全链条上提供了全方面的改善,帮助小鹏汽车提升了车联网技术的协同研发效率40% 以上。

在看到了企业市场的需求后,阿里云也加快了把云存储服务向企业本地数据中心推进的进程。本次发布的企业入门级混合云存储阵列SA2100,是专门为中小企业及大型企业分支机构设计的本地部署混合云存储阵列产品,企业无需更改原有的IT架构就可以像使用传统企业存储设备一样使用阿里云混合云存储阵列。而SA2100的本地存储空间和云端存储空间可以实现多副本跨区域保护,提供12个9的数据高可靠性。

混合云存储阵列SA2100提供了丰富的企业特性:在硬件设计方面,采用全冗余架构,支持数据加密、ACL及快照、卷克隆、卷镜像、远程复制等企业存储特性,与阿里云公共云存储无缝结合;在产品配置方面可扩展FC、万兆、千兆主机接口,支持最多300块SSD、SAS、NL-SAS等类型硬盘组合,精细匹配业务不同需求。

而本次发布的CPFS混合云一体机也与阿里云公共云的存储资源无缝打通,帮助企业无缝上云,实现“云下资源可控,云上弹性伸缩”的多级存储池架构。

此外,阿里云创新地引入了存储容量单位包(Storage Capacity Unit,以下简称SCU),可以用来抵扣多种不同类型云盘的按量付费账单。作为一种创新型的售卖形态,SCU让预付费企业可在不同类型存储产品之间转换,而无需繁琐、冗长的财务流程。Alex Chen强调,公共云是由互联网公司发起的,其售卖方式并不适合企业级预算型用户,而SCU正是阿里云存储对企业级客户的创新。目前SCU并不包括本地部署的阿里混合云产品,未来时机成熟时将扩展到企业本地。

5_

从目前阿里云的混合云存储产品和服务的布局来看,下一代企业级计算架构将向着分布式和云化架构相融合的方向发展,这种所谓分布式云架构即把公共云服务拓展向各个物理位置而主要由公共云厂商进行管理、运维和治理等工作,各类集群分布在客户数据中心、边缘和云数据中心并通过统一管理而实现场景创新,当然企业对于本地部署的IT资源可以选择更大自主权以满足合规等要求。

总体来说,阿里云所推动的混合云创新还在演进中,还在根据企业级客户需求、市场发展趋势以及阿里云技术进展而不断寻找公共云服务与本地管控IT资源之间的平衡点。不过可以肯定的是,公共云服务下沉到企业本地数据中心的混合云,将是下一代企业计算架构的大方向。(文/宁川)

目录
相关文章
|
9天前
|
Java Linux C语言
《docker基础篇:2.Docker安装》包括前提说明、Docker的基本组成、Docker平台架构图解(架构版)、安装步骤、阿里云镜像加速、永远的HelloWorld、底层原理
《docker基础篇:2.Docker安装》包括前提说明、Docker的基本组成、Docker平台架构图解(架构版)、安装步骤、阿里云镜像加速、永远的HelloWorld、底层原理
220 89
|
1月前
|
弹性计算 运维 监控
阿里云云服务诊断工具:合作伙伴架构师的深度洞察与优化建议
作为阿里云的合作伙伴架构师,我深入体验了其云服务诊断工具,该工具通过实时监控与历史趋势分析,自动化检查并提供详细的诊断报告,极大提升了运维效率和系统稳定性,特别在处理ECS实例资源不可用等问题时表现突出。此外,它支持预防性维护,帮助识别潜在问题,减少业务中断。尽管如此,仍建议增强诊断效能、扩大云产品覆盖范围、提供自定义诊断选项、加强教育与培训资源、集成第三方工具,以进一步提升用户体验。
689 243
|
1月前
|
监控 数据可视化 架构师
为什么企业需要开展架构治理?
随着数字化转型加速,企业面临的技术和业务环境日益复杂,传统架构难以应对快速变化的需求。企业架构治理成为数字化转型的关键,通过确保技术与战略对接、优化资源利用、降低风险和复杂性,提升企业灵活性、效率和创新能力,支持快速响应市场变化,推动数字化转型成功。
109 7
为什么企业需要开展架构治理?
|
13天前
|
机器学习/深度学习 弹性计算 人工智能
阿里云服务器ECS架构区别及选择参考:X86计算、ARM计算等架构介绍
在我们选购阿里云服务器的时候,云服务器架构有X86计算、ARM计算、GPU/FPGA/ASIC、弹性裸金属服务器、高性能计算可选,有的用户并不清楚他们之间有何区别,本文主要简单介绍下这些架构各自的主要性能及适用场景,以便大家了解不同类型的架构有何不同,主要特点及适用场景有哪些。
|
1月前
|
监控 数据可视化
如何通过建模工具实现企业架构治理全流程管理
企业架构治理工具通过构建统一的架构语言、可视化建模、流程管理、资源整合和多场景分析,实现企业架构的全生命周期管理。该工具赋能企业数字化转型,确保业务、平台、数据及技术相互耦合闭环,提供从规划到决策的一站式服务,助力提升业务运营、优化组织管理和加速数字化建设。
47 2
如何通过建模工具实现企业架构治理全流程管理
|
17天前
|
人工智能 运维 监控
云卓越架构:企业稳定性架构体系和AI业务场景探秘
本次分享由阿里云智能集团公共云技术服务部上海零售技术服务高级经理路志华主讲,主题为“云卓越架构:企业稳定性架构体系和AI业务场景探秘”。内容涵盖四个部分:1) 稳定性架构设计,强调高可用、可扩展性、安全性和可维护性;2) 稳定性保障体系和应急体系的建立,确保快速响应和恢复;3) 重大活动时的稳定重宝策略,如大促或新业务上线;4) AI在企业中的应用场景,包括智能编码、知识库问答、创意广告生成等。通过这些内容,帮助企业在云计算环境中构建更加稳定和高效的架构,并探索AI技术带来的创新机会。
|
18天前
|
存储 人工智能 运维
面向AI的服务器计算软硬件架构实践和创新
阿里云在新一代通用计算服务器设计中,针对处理器核心数迅速增长(2024年超100核)、超多核心带来的业务和硬件挑战、网络IO与CPU性能增速不匹配、服务器物理机型复杂等问题,推出了磐久F系列通用计算服务器。该系列服务器采用单路设计减少爆炸半径,优化散热支持600瓦TDP,并实现CIPU节点比例灵活配比及部件模块化可插拔设计,提升运维效率和客户响应速度。此外,还介绍了面向AI的服务器架构挑战与软硬件结合创新,包括内存墙问题、板级工程能力挑战以及AI Infra 2.0服务器的开放架构特点。最后,探讨了大模型高效推理中的显存优化和量化压缩技术,旨在降低部署成本并提高系统效率。
|
18天前
|
监控 架构师 安全
企业架构(EA)项目开发综合指南
企业架构(EA)是一种全面的方法,用于对齐企业的业务目标与其 IT 战略和资源。EA 涵盖了企业的各个层面,包括业务流程、信息流、应用系统和技术基础设施。本指南将详细探讨 EA 项目开发的关键步骤、[EA](https://www.visual-paradigm.com/features/enterprise-architecture-diagram-tool/) 与 TOGAF、ArchiMate 以及其他建模图(如 BPMN 和 UML)之间的关系,以及推荐 Visual Paradigm 作为 EA 团队的最佳解决方案。
48 3
|
1月前
|
弹性计算 负载均衡 安全
企业业务上云经典架构方案整体介绍
本次课程由阿里云产品经理晋侨分享,主题为企业业务上云经典架构。内容涵盖用户业务架构现状及挑战、阿里云业务托管经典架构设计、方案涉及的产品选型配置,以及业务初期如何低门槛使用。课程详细介绍了企业业务上云的全流程,帮助用户实现高可用、稳定、可扩展的云架构。
|
1月前
|
弹性计算 Cloud Native Serverless
阿里云 SAE 邀您参加 Serverless 高可用架构挑战赛,赢取精美礼品
阿里云 SAE 邀您参加 Serverless 高可用架构挑战赛,赢取精美礼品。

热门文章

最新文章