《并行计算的编程模型》一3.7 集合操作

简介: 本节书摘来华章计算机《并行计算的编程模型》一书中的第3章 ,第3.7节, [(美)帕万·巴拉吉(Pavan Balaji)编著;张云泉等译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.7 集合操作

OpenSHMEM提供了几个通常被认为是集合操作的函数,并分为四类:广播、收集、归约(所有操作都在对称内存中)和非全局同步屏障(通常被划分为同步操作,这里包含它是因为它也依赖于与其他集合操作相同的同步数组(sync array)结构)。其中的每个函数都包含同步并需要使用对称同步数组。这些操作运行在所有PE 或PE的子集上。如果一个集合操作执行在PE的子集上,仅参与这个操作的PE可以调用集合函数;如果未参与的PE试图调用集合操作,结果是未定义的。值得注意的是虽然集合操作包含同步,但对于OpenSHMEM的集合操作,最好将其理解为更宽松的“前后”概念。例如在广播中,可以推断在发送者发送数据前接收者不能完成操作,但除了发送者必须在接收者完成之前启动之外,并不意味着各参与PE的启动和结束时间有任何顺序。

相关文章
|
网络协议 NoSQL API
深入理解 RDMA 的软硬件交互机制
本文深入分析了RDMA技术在数据中心高性能网络环境下的工作原理及软硬件交互机制,通过对比传统Kernel TCP,突出了RDMA在减少延迟、提高系统性能方面的优势,同时讨论了其在内存管理、软硬交互方面的关键技术和挑战,为读者提供了全面理解RDMA技术及其应用场景的视角。
4783 8
|
机器学习/深度学习 虚拟化 异构计算
浅析GPU通信技术(上)-GPUDirect P2P
1. 背景 GPU在高性能计算和深度学习加速中扮演着非常重要的角色, GPU的强大的并行计算能力,大大提升了运算性能。随着运算数据量的不断攀升,GPU间需要大量的交换数据,GPU通信性能成为了非常重要的指标。
30736 1
|
数据采集 机器学习/深度学习 算法
Python小姿势 - # Python的字典排序
Python小姿势 - # Python的字典排序
|
云安全 弹性计算 运维
科普达人丨漫画图解什么是eRDMA?
绕过CPU,将数据直接从一台计算机的内存传输到另一台计算机,进行网络加速
科普达人丨漫画图解什么是eRDMA?
|
并行计算 算法
CUDA 的块间同步方法
CUDA 的块间同步方法
1579 0
|
并行计算 API
《并行计算的编程模型》一3.1 引言
本节书摘来华章计算机《并行计算的编程模型》一书中的第3章 ,第3.1节, [(美)帕万·巴拉吉(Pavan Balaji)编著;张云泉等译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1108 0
|
并行计算 算法 API
《并行计算的编程模型》一导读
对于正在编程的程序员,编程模型可被看作一台虚拟机,并可通过编程语言和函数库实现。如果某个编程模型成为计算机科学研究中的热点,需要具有以下特性:高效性(易于描述各种抽象算法)、移植性(兼容各种硬件计算平台)、高性能(高效均衡地利用硬件平台的计算能力)、通用性(广泛地描述各种算法)。
3786 0
|
并行计算
《并行计算的编程模型》一3.5 远程内存访问:put和get
本节书摘来华章计算机《并行计算的编程模型》一书中的第3章 ,第3.5节, [(美)帕万·巴拉吉(Pavan Balaji)编著;张云泉等译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1203 0
|
存储 并行计算
《并行计算的编程模型》一3.3 OpenSHMEM存储模型
本节书摘来华章计算机《并行计算的编程模型》一书中的第3章 ,第3.3节, [(美)帕万·巴拉吉(Pavan Balaji)编著;张云泉等译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
3484 0
|
并行计算 API
《并行计算的编程模型》一3.4.3 关于分配和对称堆的说明
本节书摘来华章计算机《并行计算的编程模型》一书中的第3章 ,第3.4.3节, [(美)帕万·巴拉吉(Pavan Balaji)编著;张云泉等译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1009 0