《达摩院2023十大科技趋势》——范式重置——存算一体

在线体验各类最新模型,更有模型 免费Token 额度领取!
立即体验
简介: 《达摩院2023十大科技趋势》——范式重置——存算一体

趋势三、存算一体


资本和产业双轮驱动,存算一体芯片将在垂直细分领域迎来规 模化商用。


摘要


存算一体旨在计算单元与存储单 元融合,在实现数据存储的同时直接进 行计算,以消除数据搬移带来的开销, 极大提升运算效率,以实现计算存储的 高效节能。存算一体非常符合高访存、 高 并 行 的 人 工 智 能 场 景 计 算 需 求。 在 产 业 和 投 资 的 驱 动 下, 基 于 SRAM, DRAM,Flash 存储介质的产品进入验 证期,将优先在低功耗、小算力的端侧 如智能家居、可穿戴设备、泛机器人、 智能安防等计算场景落地。 未来,随着 存算一体芯片在云端推理大算力场景落 地,或将带来计算架构的变革。它推动 传统的以计算为中心的架构向以数据为 中心的架构演进,并对云计算、人工智能、 物联网等产业发展带来积极影响。


image.png

趋势解读


随着 AI 在各领域的应用逐渐广泛, 以深度学习为代表的神经网络算 法需要系统高效处理海量的非结构化数 据,例如文本、视频、图像、语音等。 而传统冯·诺依曼体系下运行的计算机通 常包括存储单元和计算单元两部分,数 据需要在处理器与存储器之间进行频繁 迁移,如果内存的传输速度跟不上 CPU 的性能,就会导致计算能力受到限制, 出现“内存墙” “功耗墙”。这就对芯 片的并行运算、低延迟、带宽提出了更 高的要求。


近年来,产业界领军企业在存算一 体的前沿技术研究上持续发力。三星在 顶级学术期刊 Nature 上发表了全球首个 基于 MRAM(磁性随机存储器)的存内 计算研究;台积电在 ISSCC 上合作发表 了六篇关于存内计算存储器 IP 的论文, 大力推进基于 ReRAM 的存内计算方案; SK 海力士则发表了基于 GDDR 接口的 DRAM 存内计算研究。学术界和产业 界普遍认为存算一体有望成为突破算力 性能和功耗瓶颈的技术方向之一。特别 是在大规模并行计算场景中,例如 VR/ AR、无人驾驶、天文数据计算、遥感影 像数据分析等,存算一体芯片具备高带 宽、低功耗的显著优势。微观上,算力 是一个具体的技术指标。算的快(高吞吐、 低延迟)、算的准(高精准度)、算的 省(低成本、低功耗)是对算力的基本 要求。存算一体是从微观层面进行架构 的优化,面临存储器设计和生产工艺的 挑战,需要整个产业链的参与支持。


实现存算一体的技术路径主要有以 下三个:技术较成熟的是近存计算,利 用先进封装技术把计算逻辑芯片和存储 器封装到一起,通过减少内存和处理单元 的路径,以高 I/O 密度来实现高内存带 宽以及较低的访问开销。近存计算主要通 过 2.5D、3D 堆叠来实现,广泛应用在 各类 CPU 和 GPU 上;近期投资热度较 高的是存内计算,通过传统的存储介质如 DRAM、SRAM、NOR Flash、NAND  Flash 来实现。计算操作由位于存储芯片 / 区域内部的独立计算单元完成,更适用 于算法固定的场景;技术尚处于探索期的 是基于非易失性存储器技术做的新型存 储原件,比如通过忆阻器 ReRAM 电阻 调制来实现数据存储。其他如相变存储器 (PCM)、自旋磁存储器 (MRAM) 等,也 作为存算一体新的技术路径。存算一体的 计算方式分为数字计算和模拟计算。数字 计算主要以 SRAM 作为存储器件,具有 高性能、高精度的优势,更适合大算力高 能效场景。模拟计算通常使用 FLASH、 ReRAM 等非易失性介质作为存储器件, 存储密度大,并行度高,更适合小算力, 计算精度要求不高的场景。


目前,存算一体已经在产业细分领 域掀起了创业浪潮,并受到投资界和产业 界的关注和投入。存算一体在技术上向着 高精度、高算力和高能效的方向发展。在 资本和产业双轮驱动下,基于 SRAM、 NOR Flash 等成熟存储器的存内计算将 在垂直领域迎来规模化商用,小算力、低 功耗场景有望优先迎来产品和生态的升 级迭代,大算力通用计算场景或将进入技 术产品化初期。基于非易失性、新型存储 元件的存算一体依赖于工艺、良率的提升, 走向成熟预计需要 5-10 年。


专家点评


存算一体一直是高 能效计算的重要技 术 之 一。 近 年 来, 万物互联和人工智 能的发展加速了存 算一体的技术产品 化 进 程, 产 业 界 对 于存算一体最终的 产品形态也在持续 探 索。 未 来 存 内 计 算产品将以单芯片 和 Chiplet 两种形式 共 存。 应 用 场 景 的 多样性也将从物联 网边缘端设备向大 算力通用计算领域 不 断 拓 展, 有 望 成 为 AI 时代主流的计 算架构。


李科奕  

华夏芯(北京)通 用处理器技术有限 公司董事长

相关文章
|
存储 数据采集 人工智能
AI时代:云存储加速多模态数据存储与管理创新
阿里云存储产品高级解决方案架构师欧阳雁(乐忱)分享了中国企业在全闪存高端存储市场的快速增长,指出AI大模型的发展推动了企业级存储市场。去年,高端企业级存储闪存占比约为25%,相较于欧美50%的比例,显示出中国在AI领域的巨大增长潜力。演讲涵盖AI业务流程,包括数据预处理、训练和推理的痛点,以及针对这些环节的存储解决方案,强调了稳定、高性能和生命周期管理的重要性。此外,还介绍了数据预处理的全球加速和弹性临时盘技术,训练阶段的高性能存储架构,推理场景的加速器和AI Agent的应用,以及应对大数据业务的存储考量,如对象存储、闪电立方和冷归档存储产品。
43983 22
|
安全 算法 API
支付宝支付加密规则梳理,写的太好了!
前言 支付是一个安全等级很高的场景,系统间交互的每一条数据的泄露都有可能造成及其大的损失。因此支付时系统间交互的每一
支付宝支付加密规则梳理,写的太好了!
|
10月前
|
机器学习/深度学习 存储 人工智能
论文阅读——Agile-Quant:面向大语言模型边缘端更快推理的激活引导量化框架
Agile-Quant是一种针对大语言模型(LLMs)在边缘设备上高效推理的激活引导量化框架。它通过分析激活特性,提出了一种结合激活引导量化与token剪枝的优化策略,有效缓解了激活量化中的异常值问题,并提升了模型在边缘设备上的推理速度。该方法在LLaMA、OPT和BLOOM等主流LLMs上验证,实现了高达2.5倍的实际加速,同时保持了优异的模型性能。
769 3
|
9月前
|
机器学习/深度学习 数据采集 自然语言处理
29_序列标注技术详解:从HMM到深度学习
序列标注(Sequence Labeling)是自然语言处理(NLP)中的一项基础任务,其目标是为序列中的每个元素分配一个标签。在NLP领域,序列标注技术广泛应用于分词、词性标注、命名实体识别、情感分析等任务。
783 0
|
存储 人工智能 Java
一文轻松搞清楚数字电路的锁存器和触发器
数字电路中的锁存器和触发器是核心存储单元,均能存储二进制状态。锁存器为电平敏感型,适用于异步电路;触发器为边沿敏感型,适用于同步时序电路。两者在抗干扰能力、时序控制精度等方面有显著差异。锁存器功耗较低,适合低功耗设计;触发器则更易满足时序要求,广泛用于FPGA和ASIC中。选择时需综合考虑应用场景与时序收敛等因素。
1550 0
|
机器学习/深度学习 人工智能 算法
【AI系统】推理参数
本文介绍了AI模型网络参数的基本概念及硬件性能指标,探讨了模型轻量化的重要性。随着深度学习的发展,模型参数量和计算量不断增大,导致难以直接部署到移动端。文章详细解析了FLOPs、FLOPS、MACCs等计算指标,并对比了标准卷积层、Group卷积、Depth-wise卷积和全连接层的参数计算方法,为模型优化提供了理论基础。
1049 1
|
机器学习/深度学习 存储
数据的表示:原码、反码、补码、移码以及浮点数的运算
数据的表示:原码、反码、补码、移码以及浮点数的运算
930 0
数据的表示:原码、反码、补码、移码以及浮点数的运算
|
机器学习/深度学习 存储 算法
【类脑计算】突触可塑性模型之Hebbian学习规则和STDP
本文介绍了突触可塑性中的Hebbian学习规则和STDP(Spike-Timing Dependent Plasticity),两种基于神经元活动调节突触强度的机制,其中Hebbian规则强调同时活动的神经元间的连接增强,而STDP则考虑了脉冲时间差异对突触强度的调节作用。
1783 2
|
存储 机器学习/深度学习 人工智能
存内计算的应用:存算一体芯片的发展与挑战
存内计算的应用:存算一体芯片的发展与挑战
3280 4
|
存储 缓存 NoSQL
Redis 缓存失效策略及其应用场景
Redis 缓存失效策略及其应用场景
485 1