剑桥大学为超级计算机装上第三个“大脑”,云原生技术正式”吞噬“超算领域

简介: 剑桥大学为超级计算机装上第三个“大脑”,云原生技术正式”吞噬“超算领域

yy.png

超级计算作为“大计算”领域的另一大分支,一般会被用来与云计算进行优劣势类比。但超算与云计算也存在很多不同,比如 HPC(High Performance Computing,HPC)几乎不用虚拟化技术,因为一个应用就可能把多个机器的 CPU 都跑满了,虚拟化技术似乎没有用武之地。

但随着云计算技术的发展,逐渐出现了云超算的概念。这是一种新型的高性能计算方式,基于云平台技术底座,深度融合高性能计算、边缘计算、人工智能等最新技术,提供统一的算力平台,共享的资源池和高性能的算力,可以解决传统 HPC 在使用过程中易遇扩展性不佳、遭遇性能瓶颈、管理维护难等实际问题。

但随着云计算进入“云原生”阶段,云原生也逐渐成为云超算架构中重要组成部分,“Cloud Native is eating the world”,已不再是业内人士的口号,而是大势所趋。


剑桥大学:打造造福全人类的世界级云原生超级计算机

近日媒体曝出,剑桥大学正在打造全球第一台 TOP500 科研云原生超级计算机 —— CSD3(Cambridge Service for Data Driven Discovery),这也是全球性能最强大的科研超级计算机之一。

这台超级计算机获得了由 STFC DiRAC、STFC IRIS、EPSRC、MRC 和 UKAEA 支持的英国研究与创新中心(UKRI)资助,并委托剑桥大学进行管理。

剑桥大学除了是全球知名的高等学府,同时也是英国最大的科研云基地,目前正在扩容一个算力达 4 PFlops 的全新 Dell-EMC 系统,该系统采用 NVIDIA A100 GPU,NVIDIA BlueField DPU 和 NVIDIA InfiniBand 网络,将为英国学术研究机构在广阔的交叉研究上提供安全的、多租户、裸金属高性能计算 AI 和数据分析服务。

同时,CSD3 也采用了由 NVIDIA 赋能的全新云原生超级计算平台以及由剑桥大学和 StackHPC 共同开发的一款名为“Scientific OpenStack”的云 HPC 软件栈。

剑桥大学高性能计算总监 Paul Calleja 表示:“按照 2020 年 11 月 TOP 500 榜单,这套系统将跻身前 100 名。它将使我们的研究人员能够运用超级计算架构领域的最新成果来充分优化他们的应用。”

简单来说,CSD3 系统有望借助 4 PFlops 的应用性能,在一系列领域进行研究,包括天体物理学,核聚变发电和临床医学应用。


云原生超级计算机 —— 为超算装上第三个“大脑”yy.png

超级计算机通常有两个 “大脑” —— CPU 和加速器 GPU。

GPU 一般会集合数千个处理核,可为 AI 和 HPC 应用中最重要的并行运算提供加速。CPU 是针对需要快速串行处理的算法部分而设计的,但随着其管理的系统日益庞大且日渐复杂,通信的层数不断增多,导致 CPU 的负担越来越重。

云原生超级计算机则为超级计算机引入了第三个 “大脑” —— DPU,旨在帮助构建更快、更高效的系统。DPU 能够卸载安全、通信、存储等需要由现代系统管理的工作。

从实际效果层面来看,云原生超级计算机融合了超级计算机的强大算力和云原生服务的安全性与易用性。

首先,它允许多用户共享一台超级计算机,同时保证每个用户的应用的安全性和私密性。这种能力被称为“多租户隔离”,在当今的商业云计算服务中十分普遍,但一般不会出现在技术和科学应用的 HPC 系统中,因为在这些系统中,裸性能的优先级最高,而安全服务会降低系统效率。

其次,云原生超级计算机使用 DPU 来处理存储、租户隔离安全和系统管理等任务。这样可以卸载 CPU,使其专注于处理任务,从而最大限度地提高系统的整体性能。

云原生超级计算机还有一个特点,就是它的计算和通信是并行处理的。

在传统超级计算机中,运行中的计算任务有时不得不暂停等待 CPU 去处理通信任务,这是业界熟知的一个问题,被称为系统噪声。

云原生超级计算机能有效的解决系统噪声的问题。俄亥俄州立大学 MVAPICH 实验室的一份早期测试结果显示,在云原生超级计算机执行某些 HPC 作业的速度是传统计算机的 1.4 倍。该实验室还展示,云原生超级计算机实现了计算和通信功能的 100% 重合,这比现有的 HPC 系统高出 99%。

如此,一台超级计算机便可以在不损失性能的情况下,实现云原生服务,使系统在运行 HPC 和 AI 应用时时刻保持最高的运行效率。


云原生的未来,是什么形状?

云原生超级计算机离我们可能比较远,但正如前文所说,云原生的出现,无疑将为我们的技术发展和形态带来极大的改变。过去两年的行业调研结果表明,无论是中国还是美国,云计算的新增长点已经都转向云原生相关的领域,如容器即服务(Containers as a Service,CaaS)、编排技术、微服务、DevOps 等。

同时云原生相关的技术栈也得到了快速的发展,以 Docker、Kubernetes、Istio 为代表的容器运行时、编排系统、服务网格已经成为事实上的标准,而 API 网关、无服务框架也在快速演进中。

可以预计,未来 5 年内,云原生相关的技术会在互联网企业、金融、运营商等行业得到大量应用落地,那么云原生的未来发展,将会是什么形状?

相关文章
|
18天前
|
边缘计算 Cloud Native 安全
构建灵活高效的下一代应用架构 随着企业数字化转型的加速,云原生技术正逐渐成为构建现代化应用程序的关键支柱。
随着企业数字化转型加速,云原生技术逐渐成为构建现代化应用的关键。本文探讨了云原生的核心概念(如容器化、微服务、DevOps)、主要应用场景(如金融、电商、IoT)及未来发展趋势(如无服务器计算、边缘计算、多云架构),并分析了面临的挑战,如架构复杂性和安全问题。云原生技术为企业提供了更灵活、高效的应用架构,助力数字化转型。
42 4
|
18天前
|
Cloud Native 安全 物联网
云原生技术在现代软件开发中的应用与挑战####
云原生,这一词汇如同一股强劲的科技风暴,席卷了整个信息技术领域,它不仅重塑了软件的开发模式,还引领了一场关于效率、可扩展性和弹性的深刻变革。本文旨在深入探讨云原生技术的核心概念,分析其在现代软件开发中的广泛应用,并直面伴随其发展而来的挑战,为读者勾勒出一幅既充满机遇又不乏考验的云原生技术图景。 ####
|
20天前
|
Kubernetes Cloud Native 持续交付
云计算的转型之路:云原生技术的崛起与实践####
【10月更文挑战第16天】 本文深入探讨了云原生技术在现代IT架构变革中的核心作用,不同于传统概述,本摘要将聚焦于云原生如何促进企业实现敏捷开发、弹性伸缩及高效运维,通过具体案例分析展现其在实际业务场景中的创新应用,揭示这一技术趋势对企业数字化转型的深远影响。 ####
39 2
|
13天前
|
Cloud Native 前端开发 JavaScript
前端开发者必看:不懂云原生你就OUT了!揭秘如何用云原生技术提升项目部署与全栈能力
【10月更文挑战第23天】随着云计算的发展,云原生逐渐成为技术热点。前端开发者了解云原生有助于提升部署与运维效率、实现微服务化、掌握全栈开发能力和利用丰富技术生态。本文通过示例代码介绍云原生在前端项目中的应用,帮助开发者更好地理解其重要性。
44 0
|
16天前
|
Kubernetes Cloud Native 持续交付
云端新纪元:云原生技术重塑IT架构####
【10月更文挑战第20天】 本文深入探讨了云原生技术的兴起背景、核心理念、关键技术组件以及它如何引领现代IT架构迈向更高效、灵活与可扩展的新阶段。通过剖析Kubernetes、微服务、Docker等核心技术,本文揭示了云原生架构如何优化资源利用、加速应用开发与部署流程,并促进企业数字化转型的深度实践。 ####
|
1天前
|
Kubernetes Cloud Native 持续交付
云原生技术在现代应用开发中的实践与思考
【10月更文挑战第35天】云原生技术,作为云计算的进阶形态,正引领着软件开发和运维的新潮流。本文将深入探讨云原生技术的核心理念、关键技术组件以及在实际项目中的应用案例,帮助读者理解如何利用云原生技术优化应用架构,提高开发效率和系统稳定性。我们将从容器化、微服务、持续集成/持续部署(CI/CD)等角度出发,结合实际代码示例,展现云原生技术的强大能力。
|
2天前
|
Kubernetes Cloud Native 云计算
云原生技术深度解析:重塑企业IT架构的未来####
本文深入探讨了云原生技术的核心理念、关键技术组件及其对企业IT架构转型的深远影响。通过剖析Kubernetes、微服务、容器化等核心技术,本文揭示了云原生如何提升应用的灵活性、可扩展性和可维护性,助力企业在数字化转型中保持领先地位。 ####
|
10天前
|
监控 Cloud Native 持续交付
云原生技术深度解析:重塑现代应用开发与部署范式####
本文深入探讨了云原生技术的核心概念、关键技术组件及其在现代软件开发中的重要性。通过剖析容器化、微服务架构、持续集成/持续部署(CI/CD)等关键技术,本文旨在揭示云原生技术如何促进应用的敏捷性、可扩展性和高可用性,进而推动企业数字化转型进程。不同于传统摘要仅概述内容要点,本部分将融入具体案例分析,直观展示云原生技术在实际应用中的显著成效与挑战应对策略,为读者提供更加丰富、立体的理解视角。 ####
|
13天前
|
敏捷开发 Cloud Native 持续交付
云原生技术在现代企业中的应用与实践
【10月更文挑战第23天】本文将深入探讨云原生技术在现代企业中的广泛应用,并结合具体案例分析其对企业数字化转型的推动作用。我们将从云原生技术的基本原理出发,逐步揭示其在提高业务敏捷性、降低成本和增强系统可靠性方面的优势。同时,文章还将分享一系列成功实施云原生技术的企业案例,为读者提供实践中的参考和启示。最后,我们将讨论云原生技术面临的挑战及未来的发展趋势,为企业在这一领域的进一步探索提供指导。
|
14天前
|
Kubernetes Cloud Native 开发者
云原生技术入门:Kubernetes和Docker的协作之旅
【10月更文挑战第22天】在数字化转型的浪潮中,云原生技术成为推动企业创新的重要力量。本文旨在通过浅显易懂的语言,引领读者步入云原生的世界,着重介绍Kubernetes和Docker如何携手打造弹性、可扩展的云环境。我们将从基础概念入手,逐步深入到它们在实际场景中的应用,以及如何简化部署和管理过程。文章不仅为初学者提供入门指南,还为有一定基础的开发者提供实践参考,共同探索云原生技术的无限可能。
24 3

热门文章

最新文章

下一篇
无影云桌面