IBM 取得内存计算新突破,AI 训练能耗降低 80 倍

简介: IBM Research 称,已经开发出了一种内存计算新方法,可以为微软和谷歌寻求的高性能和机器学习应用的硬件加速器提供答案。该方法被称为“混合精度内存计算”,论文发表在 Nature Electronics 期刊。

IBM Research 称,已经开发出了一种内存计算新方法,可以为微软和谷歌寻求的高性能和机器学习应用的硬件加速器提供答案。

在近日 Nature Electronics 期刊上发表的一篇论文中,IBM 研究人员描述了这种新的 “混合精度内存计算” 方法。

IBM 关注传统计算体系结构的不同看法,在这种体系结构中,软件需要在单独的 CPU 和 RAM 单元之间进行数据传输。

据 IBM 称,这种被称为 “冯·诺依曼” 的体系结构设计,为数据分析和机器学习应用制造了一个瓶颈,这些应用需要在处理单元和内存单元之间进行更大的数据传输。传输数据也是一个耗能的过程。

应对这一挑战,IBM 给出的一种方法是模拟相变内存(PCM)芯片,该芯片目前还处于原型阶段,500 万个纳米级 PCM 器件组成 500×2000 交叉阵列

PCM 的一个关键优势是可以处理大多数密集型数据处理,而无需将数据传输到 CPU 或 GPU,这样以更低的能量开销实现更快速的处理。

IBM 的 PCM 单元将作为 CPU 加速器,就像微软用于加速 Bing 和加强机器学习的 FPGA 芯片一样。

据 IBM 称,研究表明在某些情况下,其 PCM 芯片能够以模拟的方式进行操作,执行计算任务,并提供与 4 位 FPGA 存储器芯片相当的准确度,但能耗降低了 80 倍

模拟 PCM 硬件并不适合高精度计算。所幸的是,数字型 CPU 和 GPU 是适合的,IBM 认为混合架构可以实现更高性能、更高效率和更高精度的平衡。

这种设计将大部分处理留给内存,然后将较轻的负载交给 CPU 进行一系列的精度修正。

根据 IBM 苏黎世实验室的电气工程师、也是该论文的主要作者 Manuel Le Gallo 称,这种设计有助于云中的认知计算,有助于释放对高性能计算机的访问。

Le Gallo 表示:“凭借我们现在的精确度,我们可以将能耗降低到是使用高精度 GPU 和 CPU 的 1/6。”

“所以我们的想法是,为了应对模拟计算中的不精确性,我们将其与标准处理器结合起来。我们要做的是将大量计算任务转移到 PCM 中,但同时得到最终的结果是精确的。”

这种技术更适合于如数字图像识别等应用,其中误解少数像素并不会妨碍整体识别,此外还有一些医疗应用。

“你可以用低精度完成大量计算——以模拟的方式,PCM 会非常节能——然后使用传统处理器来提高精度。”

对于只有 1 兆字节大小的 IBM 原型内存芯片,现在还处于初期阶段。为了适用于现代数据中心的规模化应用,它需要达到千兆字节的内存量级,分布在数万亿个 PCM 中。

尽管如此,IBM 认为可以通过构建更大规模的 PCM 设备或使其中 PCM 并行运行来实现这一目标。



原文发布时间为:2018-04-21

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”。

原文链接:IBM 取得内存计算新突破,AI 训练能耗降低 80 倍

相关文章
|
6月前
|
机器学习/深度学习 人工智能 算法
AI 基础知识从 0.6 到 0.7—— 彻底拆解深度神经网络训练的五大核心步骤
本文以一个经典的PyTorch手写数字识别代码示例为引子,深入剖析了简洁代码背后隐藏的深度神经网络(DNN)训练全过程。
1090 56
|
8月前
|
机器学习/深度学习 数据采集 人工智能
基于生成式物理引擎的AI模型训练方法论
本文探讨了基于生成式物理引擎的AI模型训练方法论,旨在解决传统数据采集高成本、低效率的问题。生成式物理引擎结合物理建模与生成模型(如GAN、Diffusion),可模拟现实世界的力学规律,生成高质量、多样化的虚拟数据。文章介绍了其关键技术,包括神经网络物理建模、扩散模型场景生成及强化学习应用,并分析了其在机器人学习、数据增强和通用智能体训练中的实践价值。未来,随着可微物理引擎、跨模态生成等技术发展,生成式物理引擎将助力AI从静态监督学习迈向动态交互式世界建模,推动通用人工智能的实现。
485 57
基于生成式物理引擎的AI模型训练方法论
|
4月前
|
机器学习/深度学习 人工智能 JSON
PHP从0到1实现 AI 智能体系统并且训练知识库资料
本文详解如何用PHP从0到1构建AI智能体,涵盖提示词设计、记忆管理、知识库集成与反馈优化四大核心训练维度,结合实战案例与系统架构,助你打造懂业务、会进化的专属AI助手。
500 6
|
4月前
|
缓存 异构计算
LLM 内存需求计算方式
GPU上大语言模型的内存主要由模型权重和KV缓存构成。70亿参数模型以16位精度加载时,权重占约14GB;KV缓存则随批大小和序列长度线性增长,显著影响显存使用,限制推理吞吐与长上下文处理。
384 11
|
4月前
|
人工智能 并行计算 PyTorch
以Lama Cleaner的AI去水印工具理解人工智能中经常会用到GPU来计算的CUDA是什么? 优雅草-卓伊凡
以Lama Cleaner的AI去水印工具理解人工智能中经常会用到GPU来计算的CUDA是什么? 优雅草-卓伊凡
405 4
|
6月前
|
人工智能 自然语言处理 机器人
AI Compass前沿速览:Jetson Thor英伟达AI计算、Gemini 2.5 Flash Image、Youtu腾讯智能体框架、Wan2.2-S2V多模态视频生成、SpatialGen 3D场景生成模型
AI Compass前沿速览:Jetson Thor英伟达AI计算、Gemini 2.5 Flash Image、Youtu腾讯智能体框架、Wan2.2-S2V多模态视频生成、SpatialGen 3D场景生成模型
AI Compass前沿速览:Jetson Thor英伟达AI计算、Gemini 2.5 Flash Image、Youtu腾讯智能体框架、Wan2.2-S2V多模态视频生成、SpatialGen 3D场景生成模型
|
11月前
|
存储 分布式计算 监控
阿里云服务器实例经济型e、通用算力型u1、计算型c8i、通用型g8i、内存型r8i详解与选择策略
在阿里云现在的活动中,可选的云服务器实例规格主要有经济型e、通用算力型u1、计算型c8i、通用型g8i、内存型r8i实例,虽然阿里云在活动中提供了多种不同规格的云服务器实例,以满足不同用户和应用场景的需求。但是有的用户并不清楚他们的性能如何,应该如何选择。本文将详细介绍阿里云服务器中的经济型e、通用算力型u1、计算型c8i、通用型g8i、内存型r8i实例的性能、适用场景及选择参考,帮助用户根据自身需求做出更加精准的选择。
|
5月前
|
人工智能 异构计算
敬请锁定《C位面对面》,洞察通用计算如何在AI时代持续赋能企业创新,助力业务发展!
敬请锁定《C位面对面》,洞察通用计算如何在AI时代持续赋能企业创新,助力业务发展!

热门文章

最新文章