《并行计算的编程模型》一2.2.1 相关术语

简介: 本节书摘来华章计算机《并行计算的编程模型》一书中的第2章 ,第2.2.1节, [(美)帕万·巴拉吉(Pavan Balaji)编著;张云泉等译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.2.1 相关术语

本节详细介绍了GASNet使用规范及在本章常用的几个术语。读者可在阅读本章其他内容前将本节的相关术语介绍添加书签以作参考。

  • 客户端:使用GASNet的软件,通常是并行运行时系统而不是终端用户代码。
  • 管道:针对特定网络API的GASNet实现。比如,“mpi-conduit”和“udp-condu- it”是支持非本地模式平台上最大程度移植的实现。
  • 节点:GASNet所使用的“节点”术语表示一个O/S进程而不是网络端点。
  • 超节点:运行同一OS实例的节点集合。在支持的平台上,GASNet可以在这些节点组间进行共享内存通信。
  • 段:可作远程地址的虚拟地址范围(详见2.4节)。
  • 本地完成:当与初始化节点上的输入相关联的存储器可安全重用时。
  • 远程完成:当与输出相关的存储器完成写操作时。
相关文章
|
Java
给网站添加微信扫描二维码登录功能
最近网站PC端集成微信扫码登录,踩了不少坑,在此记录下实现过程和注意事项。
4753 0
|
6月前
|
存储 监控 NoSQL
140_异步推理:队列管理框架 - 使用Celery处理高并发请求的独特设计
在大型语言模型(LLM)部署的实际场景中,推理服务的并发处理能力直接影响用户体验和系统稳定性。随着LLM应用的普及,如何高效处理大量并发请求成为部署优化中的关键挑战。传统的同步请求处理方式在面对突发流量时容易导致系统过载,响应延迟增加,甚至服务崩溃。异步推理通过引入队列管理机制,能够有效缓冲请求峰值,平滑系统负载,提高资源利用率,从而为LLM服务提供更稳定、更高效的并发处理能力。
588 7
|
2月前
|
缓存 人工智能 芯片
拆开“超节点”的伪装:没有内存统一编址,仍是服务器堆叠
当万亿参数大模型成为常态,AI“军备竞赛”已升级为系统级对决。“超节点”应运而生,但真伪之别在于是否实现“内存统一编址”——唯有打破通信墙、构建全局地址空间,才能让集群如单机般高效协同。缺此核心,皆为伪超节点。
207 1
|
3月前
|
人工智能 自然语言处理 搜索推荐
2026AI 元年:智能体技术落地与产业应用变革白皮书
2026年被定义为AI智能体技术规模化落地元年。依托大模型技术成熟、工具生态完善与产业需求爆发,智能体实现从“文本生成”到“自主执行”的跨越,广泛应用于企业服务、智能制造、民生政务与个人生活,推动人机协同新范式,开启智能化发展新篇章。
1354 2
|
7月前
|
机器学习/深度学习 缓存 人工智能
MoE模型加速秘籍:vLLM混合KV缓存管理解析​
vLLM是高效分布式大模型推理引擎,采用分页注意力、连续批处理等技术实现高吞吐与低延迟。本文详解其架构设计与关键技术,包括KV缓存管理、调度机制、推测解码与分布式扩展等,助你深入理解性能优化原理。
1284 1
|
6月前
|
Arthas 数据可视化 Java
深入理解JVM《火焰图:性能分析的终极可视化利器》
火焰图是Brendan Gregg发明的性能分析利器,将复杂调用栈可视化为“火焰”状图形,直观展示函数耗时与调用关系。通过宽度识别热点函数,结合async-profiler或Arthas工具生成,助力快速定位CPU、内存等性能瓶颈,提升优化效率。
|
机器学习/深度学习 人工智能 PyTorch
DeepSeek开源周第四弹之一!DualPipe:训练V3/R1的双向流水线并行技术,计算与训练完全重叠,训练效率提升200%
DeepSeek 开源的 DualPipe 技术通过双向流水线并行设计,显著提升大规模深度学习模型的训练效率,优化计算与通信重叠,降低内存峰值需求,适用于推理加速、多模态数据处理等场景。
935 1
DeepSeek开源周第四弹之一!DualPipe:训练V3/R1的双向流水线并行技术,计算与训练完全重叠,训练效率提升200%
|
存储 缓存 人工智能
阿里云Tair KVCache:打造以缓存为中心的大模型Token超级工厂
Tair KVCache 是阿里云推出的面向大语言模型推理场景的缓存加速服务,基于分布式内存池化和分级缓存体系,解决显存墙与带宽瓶颈问题。为万亿参数模型的高效推理提供技术保障,推动 AI 算力进化与规模化应用。
|
弹性计算 Kubernetes Linux
主流容器工具对比以及重点推荐学习的企业级工具
主流容器工具对比以及重点推荐学习的企业级工具

热门文章

最新文章