服务全球百万用户的最佳实践:硬件创新经验没有压缩算法!

简介: 服务全球百万用户的最佳实践:硬件创新经验没有压缩算法!

 硬件创新有没有经验可循?从亚马逊云科技服务全球百万用户的最佳实践来看,硬件创新经验没有压缩算法,只有从用户中来到用户中去。

作为特别接地气的技术实用主义公司,亚马逊云科技在云计算方面的创新一直没有停止,而创新的动力源泉就是客户的需求,其 90% 以上的创新都来自于客户的需求反馈,剩下 10% 是和用户交流过程中亚马逊云科技自己的思考。在今年的亚马逊云科技 re:Invent 全球大会主题演讲上,亚马逊云科技 CEO Adam Selipsky 表示: “16 年来,亚马逊云科技一直在优化和创新计算、存储和网络基础设施服务,以支持您的所有工作负载。目前亚马逊云科技已有 600 多种不同的计算实例类型,因此您可以找到适合您的所有应用需求的正确资源组合。”

image.png

“从客户中来,到客户中去”不只是一句简单的口号,而是亚马逊云科技的持续积累和创新实践。通过硬件创新,不断扩展云计算的边界,用更丰富的云计算服务,赋能客户的上云业务场景。亚马逊云科技为所有客户业务负载,提供全方位的计算能力支持。

image.png

服务全球百万用户,依靠亚马逊云科技全球布局的“下一代云基础架构”,将技术积累和技术创新不断转化为云计算底层能力,赋能全球客户。所以,亚马逊云科技在硬件上的创新,才更受万众瞩目。

加速硬件创新,满足客户多样性需求

目前亚马逊云科技已经在 Nitro 系统的加持下,有超过 600 款计算实例,几乎可以满足一切云上负载的需求。如今每天有超过 6000 万个新的 EC2 实例在亚马逊云科技上被创建。

image.png

自 2013 年推出 Amazon Nitro 系统以来,亚马逊云科技已经开发了多个自研芯片,包括五代 Nitro 系统、致力于为各种工作负载提升性能和优化成本的三代 Amazon Graviton 芯片、用于加速机器学习推理的两代 Amazon Inferentia 芯片,以及用于加速机器学习训练的 Amazon Trainium 芯片。

亚马逊云科技在芯片设计和验证的敏捷开发周期中使用基于云的电子设计自动化,这使团队能够更快地创新,更快地将芯片提供给客户。实践证明,亚马逊云科技更现代化、更节能的半导体处理确保了芯片的快速迭代及交付。每推出一款新的芯片,亚马逊云科技都进一步提升了这些芯片支持的 Amazon EC2 实例的性能、效率以及更优化的成本,为客户提供了更多的芯片和实例组合选择,针对他们独特的工作负载进行了优化。

2022 年 11 月 30 日,亚马逊云科技在 2022 re:Invent 全球大会上宣布,推出新的自研芯片支持的 Amazon Elastic Compute Cloud(Amazon EC2)实例,为客户广泛的工作负载提供更高性价比。

高性能计算方面,硬件产品持续升级

亚马逊云科技在大会上推出了 Amazon EC2 Hpc7g 实例,采用最新款的 Amazon Graviton3E 处理器,为高性能计算工作负载提供极佳的性价比。新的 HPC7g 实例类型具有 最多 64 个 vCPU  和 128 GB 内存,主要适用于天气预报、生命科学、工程计算等高性能计算场景。与当前一代 C6gn 实例相比浮点性能提高了 2 倍,与当前一代 Hpc6a 实例相比性能提高了 20%,为亚马逊云科技上的高性能计算工作负载提供了超高性价比。

image.png

此次发布的 Amazon EC2 C7gn 由 Amazon Graviton3E 处理器提供支持。配备了新一代 Amazon Nitro的 C7gn 实例,具有增强的网络处理能力,是目前 Amazon EC2 网络优化型实例中,提供最高网络带宽和数据包转发性能的实例。新推出的 C7gn 实例相比于 C7g,为网络密集型工作负载而设计,如数据分析、集群计算作业场景,以及网络虚拟设备等,将支持 200 Gbps 的网络带宽,提高 50% 的数据包处理性能。

image.png

机器学习,实例创新从未停止

在机器学习方面,此次也有不少实例创新。在 re:Invent 2021 中,Amazon EC2 P4de instance 全新升级,客户可以将它们部署在大的集群中进行机器学习训练。此次发布了Amazon EC2 Inf2实例,采用最新款的Amazon Inferentia2 机器学习加速推理芯片,是专门为运行多达 1,750 亿个参数的大型深度学习模型而构建的,与当前一代 Inf1 实例相比可提供高达 4 倍的吞吐量,降低多达 10 倍的延迟。

image.png

同时,亚马逊云科技还发布了专门用于训练机器学习模型的定制芯片 Amazon Trainium,并于 2021 年发布了对应的 Trn1 实例。Amazon Trainium 支持 TensorFlow、 PyTorch 和 MXNet。Trn1 实例支持最多 16 颗 Trainium 加速芯片。在 Trn1 上运行 Hugging Face BERT 大模型,其性能对比 GPU 实例有 42% 的提升,成本则降低了 54%。Trn1 第一次把实例的网络带宽提高到了 800GB。在 2022 re:Invent上,面向新的 AI 训练需求,亚马逊云科技推出了基于 Trainium 的 Trn1n 训练芯片,针对网络通信进行优化,增加了 1600Gbps EFA 网络功能,使其能够更快地处理超大规模分布式模型训练场景。

image.png

基于 Intel 芯片,加速优化升级

面对高性能计算场景,亚马逊云科技还基于英特尔芯片做了持续创新,推出 Amazon EC2 R7iz 的预览版,该实例采用第四代英特尔至强可扩展处理器,更好地实现内存优化。第四代至强处理器为 EC2 R7iz 实例提供最大 3.9GHz 的全核睿频频率,与其他高频率 EC2 实例相比,该实例的性能提高 20%。R7iz 实例基于第四代英特尔可扩展处理器和 Amazon Nitro 系统,提供包含专用硬件和轻量级虚拟机管理软件的结合,在性能和安全性上有显著提高。

image.png

以 HPC 客户的需求为例,亚马逊云科技正式发布了用于高性能计算(HPC)的新亚马逊弹性计算云 Amazon EC2 Hpc6id instance,基于 Amazon Nitro 系统构建的 EC2 Hpc6id 实例提供 200Gbps 弹性结构适配器网络,用于高吞吐量节点间通信,使客户 HPC 工作负载能够大规模运行,实现成本优化。Adam表示:“Hpc6id 实例旨在为数据、内存密集型 HPC 工作负载、更高的内存带宽、更快的本地 SSD 存储和弹性结构适配器增强的网络提供领先的性价比。使用 EC2 Hpc6id 实例,可以降低 HPC 工作负载的成本,同时利用亚马逊云科技的弹性和可扩展性。”

image.png

亚马逊云科技 Amazon EC2 副总裁 David Brown 表示:“从 Graviton 到Trainium、Inferentia 再到 Nitro,亚马逊云科技每一代自研芯片都为客户的各种工作负载提供更高的性能、更优化的成本和更高的能效。我们不断推陈出新让客户获得卓越的性价比,这也一直驱动着我们的持续创新。我们今天推出的 Amazon EC2 实例为高性能计算、网络密集型工作负载和机器学习推理工作负载提供了显著的性能提升,客户有了更多的实例选择来满足他们的特定需求。”

Graviton 全球和中国最佳实践

现在,亚马逊云科技已经在全球百万用户的基础上,汲取了千行百业的客户需求和最佳实践,每一个实例背后都有一个客户应用场景。

image.png

Mobiuspace 大宇无限是一家提供先进的基于 AI 的内容发现和娱乐平台 公司。最近,Mobiuspace 在新的基于 Amazon Graviton2 的 Amazon EC2 M6g 实例上,测试了其基于 Java 的容器化后端服务,与 M5 实例相比,性能提高了 40%。由于这种性能改进和 Amazon EC2 M6g 实例价格降低 20%,Mobiuspace 公司期待着采用它们。

Epic Games 成立于 1991 年,缔造了《堡垒之夜》、《虚幻》、《战争机器》、《暗影情结》和《无尽之剑》等系列游戏。Epic 的虚幻引擎技术为 PC、游戏机、移动设备、AR、VR 和 Web 提供高保真的交互体验。“展望未来,我们期待为玩家打造更加身临其境、引人入胜的体验,并且很高兴能够使用基于 Amazon Graviton3 的 EC2 C7g 实例。我们的测试表明,它们甚至适用于最苛刻的延迟敏感型工作负载,同时能提供显著的性价比优势,并扩展了《堡垒之夜》内的可能性和任何虚幻引擎营造的体验。” Mark Imbriaco,Epic Games 高级工程总监说到。

Formula1(F1)赛车始于 1950 年,是世界上最负盛名的赛车比赛,也是世界上最受欢迎的年度体育系列。“基于 Graviton2 的 C6gn 实例为我们的一些 CFD 工作负载提供了最佳性价比。我们现在发现,在相同的模拟中,Graviton3 C7g 实例比 Graviton2 C6gn 实例快 40%。我们很高兴 EFA 将成为此实例类型的标准,并鉴于性价比的大幅提升,我们预计基于 Graviton3 的实例将成为运行我们所有 CFD 工作负载的最佳选择。”PatSymonds,Formula1Management 的首席技术官说道。

image.png

开启增长飞轮,引发更多云计算思考

从 2006 年起,亚马逊云科技宣布降价 115 次。表面的是价格的降低,但更多的是亚马逊云科技将规模与技术的红利反馈给客户。这是亚马逊云科技无法模仿的增长飞轮,而跟随者的飞轮需要额外推力才能保持运转。

image.png

亚马逊云科技从不在高性能、高安全性和低成本这三方面进行妥协,在选择悖论中,亚马逊云科技给出的答案是:通过自身技术的不断演进和创新,让云计算可以兼顾高性能、高安全性和低成本。

image.png

作为全球排名第一的云计算平台,亚马逊云科技通过支持丰富的客户应用场景的经验反馈,更推进了亚马逊云科技的芯片创新之路,这是无法比拟的,同时资源的投入,及用户规模的增长,亚马逊云科技的云计算之路已越走越快,越走越宽。

相关文章
|
7月前
|
算法 测试技术 C++
【动态规划】【状态压缩】【C++算法】1815 得到新鲜甜甜圈的最多组数
【动态规划】【状态压缩】【C++算法】1815 得到新鲜甜甜圈的最多组数
|
7月前
|
算法 JavaScript Java
【状态压缩】【动态规划】【C++算法】1125.最小的必要团队
【状态压缩】【动态规划】【C++算法】1125.最小的必要团队
|
9天前
|
存储 人工智能 自然语言处理
Delta-CoMe:清华联合OpenBMB等高校开源的新型增量压缩算法
Delta-CoMe是由清华大学NLP实验室联合OpenBMB开源社区、北京大学和上海财经大学提出的新型增量压缩算法。该算法通过结合低秩分解和低比特量化技术,显著减少了大型语言模型的存储和内存需求,同时保持了模型性能几乎无损。Delta-CoMe特别适用于处理数学、代码和多模态等复杂任务,并在推理速度上有所提升。
35 6
Delta-CoMe:清华联合OpenBMB等高校开源的新型增量压缩算法
|
1月前
|
存储 JSON 算法
TDengine 检测数据最佳压缩算法工具,助你一键找出最优压缩方案
在使用 TDengine 存储时序数据时,压缩数据以节省磁盘空间是至关重要的。TDengine 支持用户根据自身数据特性灵活指定压缩算法,从而实现更高效的存储。然而,如何选择最合适的压缩算法,才能最大限度地降低存储开销?为了解决这一问题,我们特别推出了一个实用工具,帮助用户快速判断并选择最适合其数据特征的压缩算法。
42 0
|
3月前
|
算法 调度
作业调度算法_先来先服务算法_短作业优先算法_高响应比优先算法
本文介绍了作业调度算法,包括先来先服务(FCFS)、短进程优先(SJF)和高响应比优先(HRRN)算法。通过分析进程的到达时间和所需CPU服务时间,计算进程的开始时间、完成时间、平均周转时间和平均带权周转时间,以评估不同算法的性能。FCFS适合长作业,SJF适合短作业,而HRRN则综合了两者的优点。
107 12
|
7月前
|
存储 分布式计算 算法
【底层服务/编程功底系列】「大数据算法体系」带你深入分析MapReduce算法 — Shuffle的执行过程
【底层服务/编程功底系列】「大数据算法体系」带你深入分析MapReduce算法 — Shuffle的执行过程
101 0
|
5月前
|
人工智能 自然语言处理 算法
瓴羊Quick Service智能客服算法通过国家网信办深度合成服务算法备案
瓴羊Quick Service智能客服算法通过国家网信办深度合成服务算法备案
105 2
|
5月前
|
数据采集 搜索推荐 算法
Python基于协同过滤算法进行电子商务网站用户行为分析及服务智能推荐
Python基于协同过滤算法进行电子商务网站用户行为分析及服务智能推荐
|
5月前
|
算法 Java
Java面试题:解释垃圾回收中的标记-清除、复制、标记-压缩算法的工作原理
Java面试题:解释垃圾回收中的标记-清除、复制、标记-压缩算法的工作原理
66 1
|
5月前
|
人工智能 自然语言处理 算法
瓴羊Quick Service智能客服算法通过国家网信办深度合成服务算法备案
瓴羊Quick Service智能客服算法通过国家网信办深度合成服务算法备案