超级计算,超级未来

简介: 超级计算,超级未来

数字化的时代,创新真正意义成为了引领发展的第一动力。

 

可是创新的代价是高昂的,这不仅仅是研发的成本,而是研发的效率。我们知道,互联网时代创新迭代的速度变得飞快,对很多科研院所来说,让研发的项目有意义的首要原则就是,加快创新的速度。


image.png


这就是为什么很多大学实验室会选择超算的原因。用超算中心提供的强大计算力,去满足大量创新项目的计算需求,缩短研发的周期,进而推动创新的高效。某种意义上,超算就是高性能的巅峰,所以对高性能计算需求旺盛的高等院校和科研机构是超算应用的主要应用场景。

 

LLSC遇到了计算力的挑战

 

和很多全球著名的研究室一样,麻省理工学院林肯实验室致力于支持研究和开发,旨在解决对国家至关重要的问题。其研究涉及多个领域,如空间观测、自动驾驶、通信、网络安全、机器学习、传感器处理、电子设备、生物信息学和空中交通管制等等。

 

可以想象,如此多研究项目的计算力需求会有多么巨大,而且林肯实验室要做到的,是能够把项目从最初的概念阶段,通过模拟和分析,推进到设计和构建工作原型阶段。


image.png


所以,麻省理工学院林肯实验室超级计算中心(LLSC)通过提供互动式的、按需的超级计算功能和大数据处理功能,以零碳足迹的方式满足数千名名麻省理工学院科学家和工程师的超级计算需求。

 

LLSC 的管理者Albert Reuther表示,LLSC新型超级计算机的价值在于满足科学家和工程师的需求,这些科学家和工程师正在不断承接更大更难的问题。 “当我们的用户受到挑战时,他们会期望有更大规模的计算平台,这种期望反过来会对我们形成挑战,这正是我们想要的局面,我们也希望解决真正的难题,麻省理工学院的难题,这些难题甚至事关国家的安全。” Reuther说。

 

需要强调的是,科研院所和高校是超算最主要的使用者,但他们并不是超算的专家,在软硬件方面还是会面对很多的挑战。

 

以LLSC为例,需要管理多种超级计算资源组合,包括基于Intel和AMD的服务器、NVIDIA®GPU、现场可编程门阵列(FPGA)和正在使用的Intel®Xeon Phi™多核系统。这些超级计算资源与希捷和DDN的大型并行文件系统、大型数据文件系统(如Apache™Hadoop®平台)和高速数据网络集成在一起。

 

显然,LLSC还是需要有专业的超算专家来为科研院所提供专业的服务。在对技术和供应商进行筛选后,LLSC选择了戴尔易安信和基于英特尔®Xeon Phi™处理器和英特尔®Omni-Path网络架构的系统。

 

戴尔易安信是一个严肃的选择

 

实际上LLSC之所以选择了戴尔易安信,也是经过了严格的实际测视。

 

我们知道,任何一台超级计算机都是简单的软硬件组合,而是系统架构不断演进的过程。例如在处理器方面,微处理器大举进入超算,CPU从单核演变到多核,并出现了针对超算而优化的芯片和架构等等。


image.png


从LLSC本身来看,对系统性能的要求是苛刻的,而且项目的时间表很紧凑。在系统级别,目标是创建千万亿次级的超级计算机——基于648台采用英特尔至强Phi处理器的服务器,这些服务器具有双高速OmniPath和10GB光纤互连。在项目层面,目标是在一个月内交付和部署系统,并对系统实施基准测试。

 

最终在戴尔易安信的帮助下,LLSC实现了这些目标,超级计算机在不到一个月的时间内成功上线,并使用高性能Linpack(HPL)进行了基准测试,日常的使用可以达到1.032 petaflops的速度。该系统拥有大约40,000个核心,峰值速度约为1.7 petaflops。

 

正是由戴尔易安信解决方案提供了项目所需的计算性能、网络带宽和软件支持方面的强大组合,满足了LLSC在系统自治、器件物理和机器学习领域实现计算密集型研究的长期目标。

 

所以,LLSC系统工程师Matthew Hubbell说“戴尔易安信长期以来一直是我们非常棒的合作伙伴,戴尔易安信的高性能计算团队非常了解我们的需求,并展示了丰富的经验。他们拥有极致的响应能力。这些能力对我们在一个月内交付petaflop级别的运算系统至关重要。只有非常有组织和有能力的团队才能实现这一目标,这些团队高效地聚集在一起,提供的资源真正超出了我们的期望。”

 

超算可以适应未来更多的发展需要

 

从技术的角度看,超算已经经过了几代技术的演变,并开始逐渐与云计算、大数据和AI等技术相结合,并发展出CPU+GPU等新的异构计算架构等等。

 

的确,实验室研究员兼LLSC负责人Jeremy Kepner表示,超级计算机的功能将对研究人员的工作产生重大影响,他们的工作主要围绕机器学习、设备模拟和自治系统开展,这是研究中心当前的三个重点领域。

 

“我们非常高兴能够突破这三个领域的计算瓶颈,我们可以通过基于革命性的英特尔Knights Landing处理器的戴尔易安信新系统提供这种计算能力。在这个超级计算平台上,每个处理器都可以同时瞬间进行数千次操作,同时还可以通过极其强大的网络连接在一起。” Kepner说。


image.png


同时,LLSC团队也期望继续发展并不断开发交互式的、按需的超级计算和大数据计算能力,为自治系统、器件物理和机器学习提供更好的支持。同时,LSC团队已经在考虑为满足用户不断变化的需求而在下一步需要做哪些工作。历史表明,用户将继续提出越来越大的数据集,更大更难的问题,而这将需要更大、更快的超级计算机。而戴尔易安信应该还是LLSC在未来对超算需求的首选。


相关文章
element-ui Pagination分页只保留上一页下一页
有时数据量太大,比如日志数据没必要查看很久之前的,所以把页数屏蔽,不给系统造成卡顿,最简单的方式就是隐藏总条数、页数。具体做法来看一下吧
537 0
|
机器学习/深度学习 人工智能 自然语言处理
【机器学习】十大算法之一 “神经网络”
神经网络是一种模拟人脑信息处理方式的算法,其通过神经元之间不断传递信息、调节连接权重等方式进行学习和预测,最终实现数据分类、识别等功能。由于神经网络算法的强大功能和广泛应用,其在过去几十年间经历了多次的发展和变革。神经网络算法是一种非常强大和广泛应用的算法,其在数据分类、预测、图像处理、自然语言处理等领域都有着非常出色的表现。神经网络算法的发展历程从原始的感知机模型到多层神经网络,再到卷积神经网络,反应了机器学习的发展过程,各个模型优点互补,使神经网络在各个领域得以深入应用。
785 0
【机器学习】十大算法之一 “神经网络”
|
SQL 存储 关系型数据库
解析MySQL Binlog:从零开始的入门指南【binlog入门指南】
解析MySQL Binlog:从零开始的入门指南【binlog入门指南】
13858 0
|
10月前
|
存储 虚拟化 iOS开发
VMware ESXi 7.0U3r macOS Unlocker & OEM BIOS 2.7 标准版和厂商定制版
VMware ESXi 7.0U3r macOS Unlocker & OEM BIOS 2.7 标准版和厂商定制版
137 0
VMware ESXi 7.0U3r macOS Unlocker & OEM BIOS 2.7 标准版和厂商定制版
|
Java API Spring
Spring Boot中的 6 种API请求参数读取方式
本文介绍了Spring Boot中6种常见的请求参数读取方式:@RequestParam用于加载URL查询参数,@PathVariable处理RESTful风格的URL路径参数,@MatrixVariable处理URL路径中的矩阵变量,@RequestBody用于读取POST/PUT请求的复杂请求体,@RequestHeader加载请求头信息,而@CookieValue则用于获取Cookie值。这些注解在不同场景下满足了API参数的多样化需求。
267 6
|
12月前
|
存储 人工智能 数据库
面向医疗场景的大模型 RAG 检索增强解决方案
本方案为您介绍,如何使用人工智能平台 PAI 构建面向医疗场景的大模型 RAG 检索增强解决方案。
|
druid Java 关系型数据库
Spring Boot2 系列教程(二十五)Spring Boot 整合 Jpa 多数据源
Spring Boot2 系列教程(二十五)Spring Boot 整合 Jpa 多数据源
1411 0
|
测试技术 持续交付 Docker
探索软件测试中的自动化策略与挑战
在当今快节奏的软件开发周期中,自动化测试已成为提高产品质量和缩短上市时间的关键。然而,实施有效的自动化测试策略并非易事,它面临着技术选型、脚本维护、环境配置等一系列挑战。本文深入探讨了自动化测试的重要性,分析了常见的自动化测试工具和框架,并讨论了在构建和维护自动化测试体系过程中遇到的主要难题及其解决方案。通过案例分析,本文旨在为软件测试工程师提供实用的指导和建议,以优化他们的自动化测试实践。
|
机器学习/深度学习 PyTorch TensorFlow
ONNX 与量化:提高模型效率
【8月更文第27天】随着人工智能技术的广泛应用,模型部署变得越来越重要。为了在资源受限的设备上运行复杂的机器学习模型,模型量化技术成为了一种有效的手段。Open Neural Network Exchange (ONNX) 作为一种开放格式,支持在不同框架之间交换训练好的模型,同时也支持模型量化。本文将探讨如何结合 ONNX 和模型量化技术来提高模型的效率,减少模型大小并加快推理速度。
2438 2