阿里云研发工程师:HPC优化实例动手实验讲解

简介: 近日,全球领先的云计算厂商阿里云宣布最新HPC优化实例hpc8ae的正式商业化,该实例依托阿里云自研的「飞天+CIPU」架构体系,搭载第四代AMD EPYC处理器,专为高性能计算应用优化,特别适用于计算流体、有限元分析、多物理场模拟等仿真类应用,CAE场景下的性价比最少提升50%。


 

引言:近日,全球领先的云计算厂商阿里云宣布最新HPC优化实例hpc8ae的正式商业化,该实例依托阿里云自研的「飞天+CIPU」架构体系,搭载第四代AMD EPYC处理器,专为高性能计算应用优化,特别适用于计算流体、有限元分析、多物理场模拟等仿真类应用,CAE场景下的性价比最少提升50%。


本文整理自阿里云高性能计算研发工程师曹杭在【HPC优化实例商业化发布会】中的动手实验分享,集中讲解HPC优化实例动手实验Demo细节。


【 单节点的摩托车外流场仿真实验 & 多节点大规模并行的6000万网格风电场模拟实验 demo讲解 】

 

HPC8ae实例性能解读


Hpc8ae优化实例有以下几个特点。


首先它是基于AMD一站式的Zen4 Genoa处理器,基频是3.4GHZ,BOOST3.75GHZ,其次比较重要的是其有内存带宽的增强,适用于仿真HPC应用,比如气候气象、CFD的Fluent等等工业仿真应用。



第三点是其支持云上的eRDMA,支持大规模的并行运行应用的通信需求。最后一点是,这是首次AMD实例支持向量指令集AVX512。上图右侧给出一些细节参数,包括eRDMA 8us时延,实测了浮点峰值3.63GFlops,实测内存带宽,stream带宽603GB/S。


【 HPC应用性能提升表现 】


基于E-HPC的单节点摩托车外流场仿真实验



上述实验我们依然是基于ehpc来做,包括以下几个步骤:


1、使用EHPC集群创建HPC集群;

2、部署OpenFoam环境,使用开源的CFD仿真软件,用其做实验;

3、EHPC-Portal算例前处理演示;

4、提交“作业”进行计算运行;

5、可视化结果。



上图右侧是ehpc界面展示。


以下为【单节点的摩托车外流场仿真实验】详细操作分解:


1首先创建一个集群。大部分选项可以选默认,之后选关键节点,选择从c8ae小规格实例作为管理节点,保存配置。配置计算队列,选高带宽低时延eRDMA网络。可用区切换到M区,实例规格选择HPC8ae优化实例;


2、选择存储。如果有创建可以直接默认,软件部分会有OPEN Foam,后续会添加OPEN Foam环境;登录节点修改成c8ae实例;保存配置,确认配置没有问题后,可以直接设立密码和创建集群。(由于时间关系,我们直接关注已经创建出来的现成集群),扩容时选择HPC8ae实例扩容,此处已经扩容出实例,有6个节点;


3、直接登录上集群。OPEN Foam环境已经部署好;回到控制台,从portal进入,重新登录,进入到submit,提交OPEN Foam作业,已经编排好的摩托车的仿真实验的作业模板;


4、选择作业队列。下面是计算节点和任务数,直接点击提交作业;作业正在RUNNING,也可以从portal进入看到步骤;通过会话管理进到VNC,新建一个会话localhost提交作业;窗口打开了VNC的terminal,因为作业还在运行,先看前处理部分,这是仿生的摩托车模型;


5、等作业运行32个进程。VNC通过调度器命令可以直接看作业运行状态,作业已经结束了,状态可以看到是一个compute状态;回到VNC,再看一下后处理流程。这里用parafoam看一下结果文件;来到paraview界面,查看速度场的变量情况;点击wireframe可以看到仿真速度场结果,这是后处理速度场部分。


到这里,第一个实验,单节点的摩托车外流场仿真实验已经结束,大家可以参照上面的步骤及视频来动手操作。



多节点大规模并行的6000万网格风电场模拟实验


第二个实验,多节点大规模并行的6000万网格风电场模拟实验。和第一个实验操作流程类似,这个模型更大,六千万网格的风电场模拟实验,这一部分主要区别是性能表现。



Demo实验亮点的总结


第一点,单节点性能的大幅领先;第二点,大规模并行HPC集群一键部署与仿真的作业管理支持;第三点,HPC实例+eRDMA,通信低时延高带宽并行效率有明显保证。第四点,E-HPC PORTAL对HPC业务的一站式前后处理支持。


后续OpenFOAm在E-HPC优化实践的实验,HPC的优化实践的实验也会上架到EHPC控制台。后续会直接给出一个集群模板,一键部署OpenFOAm集群例如气候、气象、集群等。

相关文章
|
7月前
|
机器学习/深度学习 人工智能 算法
「AI工程师」算法研发与优化-工作指导
**工作指导书摘要:** 设计与优化算法,提升性能效率;负责模型训练及测试,确保准确稳定;跟踪业界最新技术并应用;提供内部技术支持,解决使用问题。要求扎实的数学和机器学习基础,熟悉深度学习框架,具备良好编程及数据分析能力,注重团队协作。遵循代码、文档和测试规范,持续学习创新,优化算法以支持业务发展。
337 0
「AI工程师」算法研发与优化-工作指导
|
3月前
|
监控 安全 Serverless
"揭秘D2终端大会热点技术:Serverless架构最佳实践全解析,让你的开发效率翻倍,迈向技术新高峰!"
【10月更文挑战第23天】D2终端大会汇聚了众多前沿技术,其中Serverless架构备受瞩目。它让开发者无需关注服务器管理,专注于业务逻辑,提高开发效率。本文介绍了选择合适平台、设计合理函数架构、优化性能及安全监控的最佳实践,助力开发者充分挖掘Serverless潜力,推动技术发展。
114 1
|
7月前
|
传感器 数据采集 测试技术
流体性能测试实验室建设需求参考
流体性能测试实验室建设需求参考
46 0
|
人工智能 算法 数据可视化
带你读《2022龙蜥社区全景白皮书》——5.9.4 KeenTune:智能化全栈调优&容量评估工具
带你读《2022龙蜥社区全景白皮书》——5.9.4 KeenTune:智能化全栈调优&容量评估工具
264 21
|
应用服务中间件 测试技术 网络性能优化
《云上大型赛事保障白皮书》——第三章 压测调优与技术演练——3.1 云上大型赛事压测调优——3.1.3 云上大型赛事系统调优(3)
《云上大型赛事保障白皮书》——第三章 压测调优与技术演练——3.1 云上大型赛事压测调优——3.1.3 云上大型赛事系统调优(3)
110 0
|
SQL 监控 网络协议
《云上大型赛事保障白皮书》——第三章 压测调优与技术演练——3.1 云上大型赛事压测调优——3.1.3 云上大型赛事系统调优(1)
《云上大型赛事保障白皮书》——第三章 压测调优与技术演练——3.1 云上大型赛事压测调优——3.1.3 云上大型赛事系统调优(1)
159 0
|
SQL 弹性计算 监控
《云上大型赛事保障白皮书》——第三章 压测调优与技术演练——3.1 云上大型赛事压测调优——3.1.4 北京冬奥压测调优总结(2)
《云上大型赛事保障白皮书》——第三章 压测调优与技术演练——3.1 云上大型赛事压测调优——3.1.4 北京冬奥压测调优总结(2)
140 0
《云上大型赛事保障白皮书》——第三章 压测调优与技术演练——3.1 云上大型赛事压测调优——3.1.4 北京冬奥压测调优总结(2)
|
Kubernetes 监控 Cloud Native
【勝讯云 Finops Crane 集训营】之集群优化实战
【勝讯云 Finops Crane 集训营】之集群优化实战
145 0
|
机器学习/深度学习 存储 人工智能
如何构建可持续的ChatGPT高性能服务器端架构?
与之前的版本相比,GPT-4最大的改进是其多模态(multimodal)能力——它不仅能够阅读文字,还能识别图像。值得注意的是,虽然之前有消息称GPT-4拥有100万亿个参数,但OpenAI并没有证实这个数字。与其相比,OpenAI更强调GPT-4的多模态能力以及其在各种测试中的表现。
如何构建可持续的ChatGPT高性能服务器端架构?
|
存储 测试技术
《云上大型赛事保障白皮书》——第三章 压测调优与技术演练——3.1 云上大型赛事压测调优——3.1.1 压力测试基本概念
《云上大型赛事保障白皮书》——第三章 压测调优与技术演练——3.1 云上大型赛事压测调优——3.1.1 压力测试基本概念
179 0

热门文章

最新文章