超低功耗AI芯片:神经脉冲只需同类神经网络能量的0.02%

简介: 超低功耗AI芯片:神经脉冲只需同类神经网络能量的0.02%
这种人工智能芯片达到了新的超低功耗。


人类大脑并不是很大,却承载着所有的计算任务。出于这一原因,许多研究者开始对创建模拟大脑神经信号处理的人工网络感兴趣。这种人工网络被称为脉冲神经网络(spiking neural networks, SNN)。

脉冲神经网络最早由 Maass 教授于 1997 年提出,它是基于大脑运行机制的新一代人工神经网络,被誉为第三代神经网络模型。它是目前最接近类脑计算水平的一类生物启发模型,具有可处理生物激励信号以及解释大脑复杂智能行为的优势。

SNN 旨在弥合神经科学和机器学习之间的差距,使用最拟合生物神经元机制的模型来进行计算,它与目前流行的神经网络和机器学习方法有着根本上的不同。

SNN 使用脉冲,这是一种发生在时间点上的离散事件,而非常见的连续值。每个峰值由代表生物过程的微分方程表示出来,其中最重要的是神经元的膜电位。本质上,一旦神经元达到了某一电位,脉冲就会出现,随后达到电位的神经元会被重置。

然而,大脑有 1000 亿个微小神经元,每个神经元通过突触与其他 10000 个神经元相连,这些神经元通过协调的电峰值模式来表示信息。事实证明,在一个紧凑的设备上使用硬件来模拟这些神经元,同时还要确保以一种节能的方式进行计算,非常具有挑战性。

在最近的一项研究中,来自孟买理工学院的研究者实现了超低功耗人工神经元,允许 SNN 排列更紧凑。

论文地址:https://ieeexplore.ieee.org/document/9782075

新研究实现 5000 倍的每个脉冲能量降低

就像大脑中的神经元,超出能量阈值会出现脉冲信号,SNN 依赖于人工神经网络,其中电流源为 leaky 电容器充电,直到达到阈值水平,人工神经元 fires,之后存储的电量重置为零 。然而,现有的 SNN 需要大的晶体管电流来为其电容器充电,这导致了高功耗,以及人工神经元 fire 过快。

在该研究中,孟买理工学院的 Udayan Ganguly 教授和他的同事合作创造了一种 SNN,这种 SNN 依赖于一种新的、紧凑的电流源来为电容器充电,这种电流源被称为 BTBT( band-to-band-tunneling current)。

在 BTBT 中,量子隧穿电流以极低的电流使电容器充电,这意味着所需的能量更少。BTBT 方法还省去了用较大电容来存储大量的电流,为芯片上更小的电容铺平了道路,从而节省了空间。

研究人员使用 45 纳米商用绝缘硅片晶体管技术对 BTBT 神经元方法进行测试,结果显示这种方法节省了大量的能源和空间。同时,他们宣布了一种新的低功耗 AI 芯片,它可以实现所谓的脉冲神经网络。

孟买理工学院研究者,包括 Maryam Shojaei Baghini(左一) 和 Udayan Ganguly(右一) 教授

与在硬件脉冲神经网络中实现的 SOTA [人工] 神经元相比,该研究在相似区域实现了 5000 倍的每个脉冲能量降低,并且在相似的区域和每个脉冲的能量降低了 10 倍,Ganguly 解释。

研究人员将 SNN 应用于语音识别模型,该模型使用 20 个人工神经元作为初始输入编码,还额外使用了 36 个人工神经元,该模型能够有效的识别口语,从而验证了该方法在现实世界中的可行性。

这项技术适用于语音活动检测、语音分类、运动模式识别、导航、生物医学信号、分类等等。虽然这些应用程序可以通过当前的服务器和超级计算机完成,但 SNN 可以使这些应用程序与边缘设备一起使用,比如手机和物联网传感器,尤其是在能源紧张的情况下。

Ganguly 表示,他的团队已经展示了 BTBT 方法对特定应用程序(例如关键字检测)有用,他们的目标是创建一个极低功耗的神经突触核心,并开发一种实时片上学习机制,这一技术是实现自主仿生神经网络的关键。

参考链接:https://spectrum.ieee.org/low-power-ai-spiking-neural-nethttps://jishuin.proginn.com/p/763bfbd6cfac

相关文章
|
SQL 关系型数据库 MySQL
MySQL 定时备份的几种方式,这下稳了!
在MySQL中提供了命令行导出数据库数据以及文件的一种方便的工具mysqldump,我们可以通过命令行直接实现数据库内容的导出dump,首先我们简单了解一下mysqldump命令用法:
MySQL 定时备份的几种方式,这下稳了!
|
SQL 分布式计算 DataWorks
调度参数在MaxCompute的使用
本文主要讲解如何测试DataWorks调度参数在MaxCompute上使用
5122 0
调度参数在MaxCompute的使用
|
2月前
|
存储 人工智能 JSON
构建AI智能体:五十四、智能投资顾问的两种实现:反应式与深思式实践策略对比
反应式与深思熟虑式智能投资顾问架构代表了AI在投资咨询领域应用的两种不同哲学和实践路径。反应式架构以其快速响应、高可扩展性的特点,适合标准化、高并发的咨询场景;而深思熟虑式架构通过深度推理、个性化服务为复杂投资决策提供专业支持。未来智能投顾的发展方向不是二选一,而是通过混合架构实现优势互补。金融机构应根据自身业务特点、客户群体和技术能力,选择合适的架构组合策略。对于追求极致用户体验的机构,可以优先部署反应式架构快速获客;对于服务高净值客户的机构,则应重点建设深思熟虑式架构提供深度服务。
371 8
|
10月前
|
定位技术
云端服务器与实体服务器的差异是什么?香港CN2服务器的评价如何?
总的来说,云端服务器和实体服务器各有优势,选择哪种类型的服务器,主要取决于你的业务需求和预算。而香港CN2服务器则是一种高质量的网络服务选择,适合对网络质量有较高要求的用户。
240 33
|
机器学习/深度学习 编解码 人工智能
InvSR:开源图像超分辨率生成模型,提升分辨率,修复老旧照片为超清图像
InvSR 是一个创新的图像超分辨率模型,基于扩散模型的逆过程恢复高分辨率图像。它通过深度噪声预测器和灵活的采样机制,能够高效地提升图像分辨率,适用于老旧照片修复、视频监控、医疗成像等多个领域。
2723 9
InvSR:开源图像超分辨率生成模型,提升分辨率,修复老旧照片为超清图像
|
机器学习/深度学习 人工智能 自动驾驶
ONNX 在多模态应用中的角色
【8月更文第27天】随着人工智能技术的发展,多模态学习成为了一个热门的研究方向。多模态学习指的是结合多种不同类型的数据(如图像、文本和音频等)进行建模,以提取更丰富的信息并做出更准确的预测。Open Neural Network Exchange (ONNX) 作为一种开放的标准,支持多种机器学习框架之间的模型交换,为多模态应用的开发提供了强大的支持。本文将探讨 ONNX 在多模态应用中的作用,并通过具体的代码示例来展示如何利用 ONNX 来实现图像、文本和音频数据的融合处理。
676 1
|
人工智能 开发框架 安全
【专栏】.NET 开发:突破传统的创新之路
【4月更文挑战第29天】本文探讨了如何利用.NET技术构建高质量应用,介绍了.NET的发展历程、关键优势及未来展望。作为微软的开发框架,.NET支持多语言,具有高效的开发效率、跨平台能力和丰富的类库。Visual Studio IDE提升开发效率,跨平台特性降低企业成本。随着.NET 6的规划,平台将进一步整合并支持更多应用类型。面对云计算和AI,.NET通过Azure和ML.NET适应新兴技术,持续为开发者和企业提供创新动力。
123 0
|
Kubernetes 调度 Docker
kubernetes核心技术之Volume知识点总结
kubernetes核心技术之Volume知识点总结
280 0
|
前端开发 JavaScript API
前端封装库/工具库的UI框架之Layui
随着互联网时代的到来,Web应用程序的UI设计和开发变得越来越重要。而为了更高效地进行UI开发,前端封装库/工具库的出现成为了一个非常好的解决方案。其中一个备受欢迎的UI框架就是Layui。
515 1
|
算法 Cloud Native Linux
《云原生网络数据面可观测性最佳实践》—— 一、容器网络内核原理——3.tc子系统(上)
《云原生网络数据面可观测性最佳实践》—— 一、容器网络内核原理——3.tc子系统(上)