HPC、AI与云计算:当智能时代三叉戟在亚马逊云科技完美融合

简介: HPC、AI与云计算:当智能时代三叉戟在亚马逊云科技完美融合

希腊神话中,海神与丰收之神波塞冬手持三叉戟,为航船保驾护航,为农人带来清泉。从此之后,三叉戟经常用来比喻三种事物紧密结合,形成合力,比如足球世界很多球队都有经典的锋线三叉戟。

在企业上云与产业智能化的浪潮里,也有前沿技术趋势上的三叉戟组合:业务与组织上云正在成为绝大多数企业的数字化发展选择;算力逐渐成为企业的战略性资源,而云端近乎无限的集群算力,使越来越多的行业与场景创新可以依赖云端高性能计算来完成;AI正在改变千行百业的生产方式,成为科研与产业探索的先驱力量,机器学习和深度学习也带来了人工智能专项算力需求的爆发。

image.png

而在很多人的印象中,HPC高性能计算、AI、云服务的三叉戟还处在各自独立,并行发展的阶段,尤其在云端实现高性能计算似乎还过于前卫。

但从产业效率的逻辑上看,在云端实现可以高质量、高效率的AI训练与部署的高性能计算,其实是产业集约化与社会低成本创新的大势所趋。只有把这三项技术完美融合到一起,才能铸成智能时代所需的数字化三叉戟。

如何熔炼这把时代三叉戟,亚马逊云科技已经有了一些答案。

走向云端:高性能计算的产业趋势与挑战

云计算与高性能计算的关系,真的只能格格不入吗?答案可能并非如此。

根据Hyperion Research市场调研的数据来看,到2022年底将会有18.8%的HPC在云端运行,而这个数据在2021年是12.3%,虽然大多数HPC任务依旧依赖于超算中心和本地硬件,但在云端获取高性能计算,可以说是产业发展的大势所趋。在云端获取高性能计算,在目前阶段客户会担心遇到一些挑战。比如说:管理挑战,大规模计算集群难以创建和管理,是否能够有快捷的部署方式和高效便捷的管理手段;能效挑战,或者说是对云上高性能计算的性价比考虑,如何在云端发挥HPC的最大能效是很多用户担心的话题;安全挑战,大量HPC处理的任务与数据都密不可分,有数据势必会有数据安全的顾虑,云端的数据安全如何交付给用户一个放心的环境。

image.png

但从高性能计算行业发展趋势上看,这些问题都是可以在实践中被逐个解决的。从基础的计算逻辑上看,云端获取高性能计算更加经济实惠,并且用户可以弹性获取异构计算资源,真正实现计算与任务的适配。从单个节点性能上看,云端的计算资源性能更好;而在计算集群场景下,云端可以让用户获得线性增长的计算性能,避免算力浪费。

所以,在云端实现高性能计算并不是不可能,反而因为云端海量扩展的算力,不断增强的但节点的计算性能,以及方便高效的算力管理手段,以及云原生的系统及数据的安全保障,使得众多行业的高性能计算可以得以在云端运行。

在如何实现云端获取可靠HPC的探索中,亚马逊云科技已经实现了行业领军级的探索。技术融合与产业平衡:亚马逊云科技的高性能计算探索

技术融合与产业平衡:亚马逊云科技的高性能计算探索

在目前阶段,亚马逊云科技已经可以提供高度可定制的 HPC 计算平台,为用户带来多样化的异构计算资源以及定制化的计算实例。尤其值得注意的是,以软件生态丰富著称的亚马逊云科技在HPC领域同样提供了大量可用、低成本的软件,帮助用户解决管理与调度等领域的问题。

总体而言,亚马逊云科技的HPC探索呈现出两大核心差异:芯片、云、存储、软件、AI等领域的技术经验的高度融合,以及面向行业需求与用户痛点,进行了大量高度产业指向的软硬件生态。

在高性能计算客户关心的计算,网络,存储以及应用软件生态适配上,亚马逊云科技都为客户提供了成熟的HPC相关服务保障。

在算力层,亚马逊云科技提供包括CPU、GPU、ARM在内的多样化异构计算支持,以及定制化的弹性计算实例,满足用户在AI等HPC高发任务中的计算资源需求。

在存储层,集群化算力需求会导致对存储的海量高并发访问,这就让存储的性能非常关键。亚马逊云科技提供了面向高性能计算场景的存储支撑,并且可以在云端实现多级的文件存储策略,帮助用户实现根据计算需求来弹性规划存储使用,进而实现降低云端HPC的存储成本,提升数据调用、管理效率。

在云端的网络里,亚马逊云科技可以为客户提供超级计算应用程序所需的持续低延迟,高带宽的网络环境,用户可以采用亚马逊云科技推出的高达100Gbps带宽吞吐,支持MPI的EFA(Elastic Fabric Adapter)网卡,推出了低延迟,降低网络抖动的SRD(Scalable Reliable Datagram)协议,加速节点之间的通信。

image.png

在软件层,亚马逊云科技面向迁移、调度,包括可视化等等HPC场景需求,提供了丰富且低成本的软件工具。比如使用亚马逊云科技 ParallelCluster 可以说实现快速构建 HPC 计算环境,简化 HPC 集群的部署和管理。亚马逊云科技 Step Functions 是一项低代码、可视化的工作流服务,可以帮助开发人员构建分布式应用程序、自动化 IT 和业务流程并构建数据和机器学习管道,从而降低综合开发成本。这对于AI等领域的高性能计算任务来说非常重要。丰富、专业且低门槛的软件生态,让亚马逊云科技可以帮助高性能计算用户节约掉巨大的软件定制开发成本,实现产业级的高性能计算应用。

基于亚马逊云科技多样化的高性能计算探索,在云端获取集群化的澎湃算力已经成为可能。而这样一种可能带来的直接影响,就是为大规模的AI应用潮奠定基础。

智能晨曦:AI大航海带来的计算浪潮

随着预训练大模型与AI科学计算开始成为行业主流,AI训练与部署所需的算力开始激增,尤其是AI任务对高性能计算的依赖逐渐被放大。或许可以说,产业智能化的晨曦逐渐绽放,必须建立在HPC的坚实算力基座上。

新药研发、科研研究、地质勘探等结构复杂、数据量庞大的AI任务开始增多,对HPC提出了一系列全新的需求。比如计算集群化的要求不断提升,异构计算的能力要求更加严苛、数据吞吐量与吞吐效率要求不断加强等等。而在这样的“AI大航海”时代,如果企业和科研机构依旧广泛采用搭建硬件计算池的方向来实现HPC,那么显然产业效率很低,综合成本浪费巨大,而物理集群从硬件采购,到安装、部署等都需要较长的时间。对于时效性要求极高的高性能计算任务来说,显然无法满足其需求。

image.png

面对机器学习、深度学习以及其他AI任务带来的算力需求,亚马逊云科技在云端不仅提供了搭载企业级GPU的计算资源,同时针对机器学习和深度学习的工作特点,自主研发了相对应的芯片,并且通过云服务的形式交付给客户使用。目前阶段,亚马逊云科技可以为客户的机器学习与深度学习任务提供搭载了4000张NVIDIA A100 GPU的超大规模计算集群,提供400 Gbps非阻塞联网基础设施,以及通过 FSx for Lustre 实现的高吞吐能力、低延迟存储。而这样规模的计算集群,在物理超算中心中其实是很难实现的。在AI大航海时代,从云端获取针对机器学习、深度学习的高性能算力显然是最合理的方案。

面向智能时代必然高速涌起的HPC需求,亚马逊云科技通过产业知识与服务经验的积累,最终将AI、HPC、云计算,三项明星技术融合成了一把三叉戟。这把三叉戟还将持续进化,帮助用户在智能化浪潮中出海远航,在数字化田野中收获价值。

在今年6月初的全球ISC2022大会上,亚马逊云科技推出了一系列针对高性能计算的云服务,有专门针对HPC工作负载的计算实例HPC6a。经过优化,可高效运行计算密集型、高性能计算工作负载,如计算流体动力学、油藏建模、天气模拟,以及有限元分析等。相对于与之相当的 Amazon EC2 基于 x86 的计算优化型实例,Hpc6a 实例所提供的性价比最多更高出 65%。使用 Hpc6a 实例,您可以大幅降低 HPC 工作负载的成本,同时利用亚马逊云的弹性和可扩展性。在GPU实例上,新型实例 Amazon EC2 P4de 推出预览版,这款实例可提供机器学习(ML)训练和高性能计算(HPC)应用程序所需的极佳性能,例如对象检测、语义分割、自然语言处理、地震分析和计算流体动力学等。而亚马逊云科技一直以来致力于发展的基于ARM的芯片Graviton系列,也在今年发布了第三代Graviton处理器系列的最新产品Graviton3。与Amazon Graviton2处理器相比,它们的计算性能提高了25%,浮点性能提高了2倍,加密工作负载性能提高了2倍。

想要了解亚马逊云科技在高性能计算领域的持续进化;想要明晰高性能计算如何与机器学习,真正量子计算这样的前沿科技相结合;想要提前洞察各行业中蕴藏的计算潜力,不妨关注8月24日13:30在金茂北京威斯汀大饭店三层会议大厅 AB举办的“亚马逊云科技 HPC +云上业务加速创新论坛”。

这场活动将汇聚来自亚马逊云科技与各行业的技术专家,共同梳理计算与智能的发展轨迹,揭秘“ HPC +”时代的创新机遇。

8月24日,我们不见不散。

image.png


image.png

image.png

相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
相关文章
|
6天前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
|
4天前
|
存储 安全 网络安全
云计算与网络安全:技术融合的未来之路
【10月更文挑战第30天】在数字化浪潮的推动下,云计算已成为企业信息技术架构的核心。然而,随之而来的网络安全问题也日益凸显。本文将探讨云计算与网络安全的关系,分析云服务中的安全挑战,并提出相应的解决方案。我们将通过实例展示如何在云计算环境中实现网络安全的最佳实践,以期为读者提供一条技术融合的未来之路。
|
1天前
|
存储 XML 人工智能
深度解读AI在数字档案馆中的创新应用:高效识别与智能档案管理
基于OCR技术的纸质档案电子化方案,通过先进的AI能力平台,实现手写、打印、复古文档等多格式高效识别与智能归档。该方案大幅提升了档案管理效率,确保数据安全与隐私,为档案馆提供全面、智能化的电子化管理解决方案。
65 48
|
5天前
|
人工智能 数据库 决策智能
拥抱Data+AI|如何破解电商7大挑战?DMS+AnalyticDB助力企业智能决策
本文为阿里云瑶池数据库「拥抱Data+AI」系列连载第1篇,聚焦电商行业痛点,探讨如何利用数据与AI技术及分析方法论,为电商注入新活力与效能。文中详细介绍了阿里云Data+AI解决方案,涵盖Zero-ETL、实时在线分析、混合负载资源隔离、长周期数据归档等关键技术,帮助企业应对数据在线重刷、实时分析、成本优化等挑战,实现智能化转型。
拥抱Data+AI|如何破解电商7大挑战?DMS+AnalyticDB助力企业智能决策
|
5天前
|
人工智能 运维 关系型数据库
云栖大会|数据库与AI全面融合,迈入数据智能新纪元
2024年云栖大会「数据库与AI融合」专场,来自NVIDIA、宇视科技、合思信息、杭州光云科技、MiniMax等企业的代表与阿里云瑶池数据库团队,共同分享了Data+AI全面融合的最新技术进展。阿里云发布了DMS的跨云统一开放元数据OneMeta和智能开发OneOps,推出《云数据库运维》技术图书,并介绍了PolarDB、AnalyticDB、Lindorm和Tair等产品的最新能力,展示了AI在数据库领域的广泛应用和创新。
|
1天前
|
存储 安全 网络安全
云计算与网络安全的融合之路
【10月更文挑战第32天】随着云计算技术的飞速发展,越来越多的企业和个人选择将数据和应用程序迁移到云端。然而,云服务的安全性问题也日益凸显。本文将从云服务的分类、特点出发,探讨如何保障云环境下的网络安全和信息安全。通过分析常见的网络威胁和攻击手段,提出相应的防护策略和建议,旨在为读者提供一条云计算与网络安全融合的实践路径。
|
5天前
|
存储 安全 网络安全
云计算与网络安全:技术融合的双刃剑
【10月更文挑战第28天】本文旨在探索云计算在提供便利和效率的同时,如何成为网络安全领域的一大挑战。我们将从云服务的基本架构出发,分析其在信息安全中的关键作用,进而讨论当前网络安全面临的主要威胁及防御策略。文章还将探讨云计算环境中的数据保护、身份验证和访问控制机制,以及如何通过加密技术和安全协议来增强安全性。最后,我们将展望未来云计算与网络安全的发展趋势,并思考如何平衡技术创新与安全需求。
|
5天前
|
存储 人工智能 文字识别
利用AI能力平台实现档案馆纸质文件的智能化数字处理
在传统档案馆中,纸质文件管理面临诸多挑战。AI能力平台利用OCR技术,通过图像扫描、预处理、边界检测、文字与图片分离、文字识别及结果存储等步骤,实现高效数字化转型,大幅提升档案处理效率和准确性。
|
2天前
|
存储 安全 网络安全
云计算与网络安全:技术融合的新篇章
【10月更文挑战第31天】本文将深入探讨云计算与网络安全之间的紧密联系,揭示云服务在信息安全领域的关键作用。文章将通过分析网络安全的挑战、云服务的机遇以及信息安全的未来趋势,为读者提供一个全面的视角。同时,文章还将展示如何通过实际的技术手段和策略来增强云计算环境下的安全性。
9 1
|
5天前
|
人工智能
热门 新 1024 云上见 AI大模型助力客户对话分析 2000个智能台灯等你来领
热门 新 1024 云上见 AI大模型助力客户对话分析 2000个智能台灯等你来领
22 3