《并行计算的编程模型》一2.3.3 屏障

简介: 本节书摘来华章计算机《并行计算的编程模型》一书中的第2章 ,第2.3.3节, [(美)帕万·巴拉吉(Pavan Balaji)编著;张云泉等译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.3.3 屏障

接下来介绍的是核心API在执行屏障时的调用操作:

与其他的屏障实现不同,GASNet中的同步实现是“分阶段”且支持可选的id匹配。
GASNet的分阶段屏障特性在gasnet_barrier_wait的规范描述中非常明显,其描述为“这是一个只有在所有节点调用gasnet_barrier_notify()函数完成后返回的阻塞操作”。简而言之,假设“notify”递增一个到达计数器,则“wait”将一直处于阻塞状态直至计数器与任务大小相等。gasnet_barrier_try函数同样需要满足上述条件,但是如果未能满足,则会立即返回GASNET_ERROR_NOT_READY的值。完成屏障操作无论使用的是“wait”还是“try”函数,在初始化与完成之间执行大部分GASNet操作都是合法的。
屏障函数中的id和flags参数实现了屏障过程可选匹配。这部分内容建议读者仔细阅读规范手册,这里列举了两个易于理解的用户示例:

  • 异步屏障
    最简单的情况是不使用id匹配支持。在本例中,通过flags参数将GASNET_ BARRIERFLAG_ANONYMOUS常量传递给同步函数。任何数值都能以id参数传递(一般为0),因此可以忽略。
  • 命名屏障
    充分使用id逻辑匹配时最简单的情况是所有调用者间具有相等整型参数的阻塞(与分阶段相反)屏障。

GASNet的分阶段屏障存在一些不太明显的使用限制。为了简化叙述,这里将成功的“try”等价于“wait”操作。第一个限制最为直观,即必须在“notify”与“wait”之间交替使用以确保屏障操作不会相互重叠。第二个限制是在GASNET_PARSYNC或GASNET_PAR编译中,“notify”和“wait”操作在每个节点上只执行一次(客户端可以自由选择执行的线程,且不必为两个阶段选择同一线程)。第三个限制是前两个限制潜在的可能产生的后果:在GASNET_PAR编译时,客户端必须保证在任何时刻都至多有一个客户端线程处于屏障过程中。

相关文章
|
设计模式 程序员 C++
【C++ 泛型编程 高级篇】C++模板元编程:使用模板特化 灵活提取嵌套类型与多容器兼容性
【C++ 泛型编程 高级篇】C++模板元编程:使用模板特化 灵活提取嵌套类型与多容器兼容性
1287 2
|
传感器 安全 API
SCP Firmware入门一篇就够啦
SCP Firmware入门一篇就够啦
1559 0
|
人工智能 缓存 并行计算
技术改变AI发展:Ada Lovelace架构解读及RTX 4090性能测试分析(系列三)
简介:随着人工智能(AI)的迅速发展,越来越多的应用需要巨大的GPU计算资源。Ada lovelace(后面简称Ada)是NVIDIA最新的图形处理器架构,随2022年9月20日发布的RTX 4090一起公布。
144619 62
技术改变AI发展:Ada Lovelace架构解读及RTX 4090性能测试分析(系列三)
|
Linux 开发者
交叉编译工具链的下载与安装
交叉编译工具链的下载与安装
3537 1
|
人工智能 网络协议 Android开发
国内首个!高通量以太网协议标准正式发布
近日,在CCF全国高性能计算学术年会上,阿里云、中国科学院计算技术研究所等40余家机构举办发布会,联合发布国内首个高通量以太网ETH+协议标准,可实现集合通信性能30%的提升。
1435 7
|
机器学习/深度学习 人工智能 调度
【AI系统】推理引擎架构
本文详细介绍了推理引擎的基本概念、特点、技术挑战及架构设计。推理引擎作为 AI 系统中的关键组件,负责将训练好的模型部署到实际应用中,实现智能决策和自动化处理。文章首先概述了推理引擎的四大特点:轻量、通用、易用和高效,接着探讨了其面临的三大技术挑战:需求复杂性与程序大小的权衡、算力需求与资源碎片化的矛盾、执行效率与模型精度的双重要求。随后,文章深入分析了推理引擎的整体架构,包括优化阶段的模型转换工具、模型压缩、端侧学习等关键技术,以及运行阶段的调度层、执行层等核心组件。最后,通过具体的开发流程示例,展示了如何使用推理引擎进行模型的加载、配置、数据预处理、推理执行及结果后处理。
1609 0
|
人工智能 并行计算 云计算
从UALink近期发展再看GPU Scale Up的互连方向
ALink System的目标是聚焦GPU算力需求、驱动云计算定义的开放生态,形成智算超节点的竞争力。
|
人工智能 大数据 云计算
中国首个高通量以太网联盟诞生!阿里云等40多家企业率先加入
阿里云与中国科学院计算技术研究所联合发起高通量以太网联盟,中国首个高通量以太网协议即将发布
|
网络协议 算法 中间件
【总结】单片机重点知识总结记录之CMSIS详解(六)
【总结】单片机重点知识总结记录之CMSIS详解(六)
1719 0

热门文章

最新文章