存在比深度学习更好的技术吗?有人说脉冲神经网络和哥德尔机器

简介: 什么比深度学习更好?由此引出深度学习的三大局限性:缺乏解释性、缺乏迁移能力以及巨大的计算资源消耗。什么比深度学习更好?脉冲神经网络和哥德尔机器算吗?

本文选自Quora上的提问,“什么比深度学习更好?”(What is better than deep learning?)

以下是来自用户Sridhar Mahadevan的回答。

(Sridhar Mahadevan 1990年毕业于罗格斯大学,获得计算机科学博士学位;是AAAI Fellow;是SRI International的执行主任)

在回答这个问题之前,必须先搞清楚“更好”是什么意思。有以下几种解读“更好”的方式。

“更好”=标签数据集的精确度。在这种情况下,目前来看没有优于机器学习的。例如,深度学习在Imagenet或者言语/语言翻译等领域的大型标签数据集上表现最好。但是,根据我在机器学习30多年的研究经验,世事无常。正如一切奥运纪录都将被打破,总会有更新更好的事物出现。但目前为止,深度学习仍然拔得头筹。

“更好”=结果解读能力。在这种情况下,深度学习表现不佳。Imagenet上令人印象深刻的30多层网络主要是黑盒子。除了尝试逐层解码每个隐藏单元的计算,黑盒子能够提供的洞察不多。这很乏味,是广泛使用深度学习的最大障碍。如果你有一辆使用深度学习的无人驾驶汽车,或有一个使用深度学习的自动化医疗程序,那就需要依照法律对其决策进行解释。为什么这辆车在撞到其它车前不停下?为什么这个程序断定患者是否患乳腺癌?如果这个问题不解决,深度学习无法得到更广泛应用。

“更好”=跨任务转移。在这种情况下,深度学习表现依旧不佳。大部分深度学习奏效的原因是适应于任务。如果测试集分布和训练分布差别太大,除非经过专门训练,通常情况下深度学习表现不好。有些深度学习的变体专门产生通用特征,但仍在初级阶段。在适应和转移学习问题方面,还有更好的解决措施。

“更好”=“计算成本更低”。深度学习表现不佳。这是因为深度学习需要重复多次,并需要高性能GPU电脑。

简而言之,如果你只在乎准确性(而不关注结果解读),如果你的测试数据与培训数据高度匹配,如果你有数百万的标签数据,以及有很多高性能GPU电脑,那么深度学习是最好的选择。反之,则有很多比深度学习更好的选择。

以下是来自用户Chansa Kabwe的回答:

(Chansa Kabwe是神经网络研究人员)

回答这个问题时,我将假设以下两点:“深度学习”是指第二代深层神经网络(dnn);“更好”是泛指机器学习和人工智能的表现。

除了理论太复杂或难以实现等因素,可能有很多系统比深度神经网络表现好,例如脉冲神经网络和哥德尔机器(spiking neural networks and the gödel machine)

脉冲神经网络 (snn)已被归为第三代神经网络,并利用Hodgkin-Huxley,izhikevich,Fitzhugh-Nagumo等神经元生物模型。在1996年的论文里,Wolfgang Maas表明 SNNs表现优于第二代神经网络。神经元芯片试图通过在IC上直接实施snn来利用这一理论。IBM的truenorth芯片是一个很好的例子。

哥德尔机器最初由Jürgen Schmidhuber设计,是一个在数学上完全自我参照、自我完善的问题解决者。理论上要比深度学习更好。深度学习是哥德尔机器的一个变体,缺少自我反思等重要部分。哥德尔机器并未完全实施,但Steunebrink和Schmidhuber的工作已取得了实际进展。

总而言之,我们还不完全了解智能,而深度学习只能利用其中一小部分。深度学习的确是一个很好的解决方案,但有一些缺点。如果解决这些缺点,将会有更好的系统。例如,DeepMind的可微分神经计算机(dnc)试图解决神经网络中的遗忘性问题。

原文发布时间为:2017-10-19
本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”微信公众号
原文链接

相关文章
|
5月前
|
机器学习/深度学习 人工智能 搜索推荐
机器会“看病”?深度学习正在颠覆医学成像!
机器会“看病”?深度学习正在颠覆医学成像!
350 10
|
8月前
|
机器学习/深度学习 人工智能 运维
网管不再抓头发:深度学习教你提前发现网络事故
网管不再抓头发:深度学习教你提前发现网络事故
209 2
|
9月前
|
机器学习/深度学习 人工智能 算法
基于FPGA的SNN脉冲神经网络之IM神经元verilog实现,包含testbench
本内容介绍了一种基于Izhikevich-Memristive(IM)神经元模型的算法,该模型结合忆阻器特性和神经元动力学,适用于神经形态计算。算法通过Vivado2019.2运行,提供无水印运行效果预览及部分核心程序,完整版含中文注释与操作视频。理论部分详细解析了Izhikevich神经元方程及其放电行为,包括膜电位、恢复变量等参数的作用,并探讨了IM模型在人工智能和脑机接口领域的应用潜力。
|
4月前
|
机器学习/深度学习 数据采集 人工智能
深度学习实战指南:从神经网络基础到模型优化的完整攻略
🌟 蒋星熠Jaxonic,AI探索者。深耕深度学习,从神经网络到Transformer,用代码践行智能革命。分享实战经验,助你构建CV、NLP模型,共赴二进制星辰大海。
|
5月前
|
机器学习/深度学习 边缘计算 算法
SEENN: 迈向时间脉冲早退神经网络——论文阅读
SEENN提出一种时间脉冲早退神经网络,通过自适应调整每个样本的推理时间步数,有效平衡脉冲神经网络的准确率与计算效率。该方法基于置信度判断或强化学习策略,在保证高精度的同时显著降低能耗与延迟,适用于边缘计算与实时处理场景。
331 13
|
7月前
|
机器学习/深度学习 人工智能 算法
Wi-Fi老是卡?不如试试让“深度学习”来当网络管家!
Wi-Fi老是卡?不如试试让“深度学习”来当网络管家!
341 68
|
4月前
|
机器学习/深度学习 数据采集 自然语言处理
29_序列标注技术详解:从HMM到深度学习
序列标注(Sequence Labeling)是自然语言处理(NLP)中的一项基础任务,其目标是为序列中的每个元素分配一个标签。在NLP领域,序列标注技术广泛应用于分词、词性标注、命名实体识别、情感分析等任务。
|
6月前
|
机器学习/深度学习 存储 人工智能
深度解析大模型压缩技术:搞懂深度学习中的减枝、量化、知识蒸馏
本文系统解析深度学习模型压缩三大核心技术:剪枝、量化与知识蒸馏,详解如何实现模型缩小16倍、推理加速4倍。涵盖技术原理、工程实践与组合策略,助力AI模型高效部署至边缘设备。
1243 2
|
10月前
|
机器学习/深度学习 编解码 人工智能
计算机视觉五大技术——深度学习在图像处理中的应用
深度学习利用多层神经网络实现人工智能,计算机视觉是其重要应用之一。图像分类通过卷积神经网络(CNN)判断图片类别,如“猫”或“狗”。目标检测不仅识别物体,还确定其位置,R-CNN系列模型逐步优化检测速度与精度。语义分割对图像每个像素分类,FCN开创像素级分类范式,DeepLab等进一步提升细节表现。实例分割结合目标检测与语义分割,Mask R-CNN实现精准实例区分。关键点检测用于人体姿态估计、人脸特征识别等,OpenPose和HRNet等技术推动该领域发展。这些方法在效率与准确性上不断进步,广泛应用于实际场景。
1277 64
计算机视觉五大技术——深度学习在图像处理中的应用
|
6月前
|
机器学习/深度学习 算法 数据库
基于GoogleNet深度学习网络和GEI步态能量提取的步态识别算法matlab仿真,数据库采用CASIA库
本项目基于GoogleNet深度学习网络与GEI步态能量图提取技术,实现高精度步态识别。采用CASI库训练模型,结合Inception模块多尺度特征提取与GEI图像能量整合,提升识别稳定性与准确率,适用于智能安防、身份验证等领域。