存在比深度学习更好的技术吗?有人说脉冲神经网络和哥德尔机器

简介: 什么比深度学习更好?由此引出深度学习的三大局限性:缺乏解释性、缺乏迁移能力以及巨大的计算资源消耗。什么比深度学习更好?脉冲神经网络和哥德尔机器算吗?

本文选自Quora上的提问,“什么比深度学习更好?”(What is better than deep learning?)

以下是来自用户Sridhar Mahadevan的回答。

(Sridhar Mahadevan 1990年毕业于罗格斯大学,获得计算机科学博士学位;是AAAI Fellow;是SRI International的执行主任)

在回答这个问题之前,必须先搞清楚“更好”是什么意思。有以下几种解读“更好”的方式。

“更好”=标签数据集的精确度。在这种情况下,目前来看没有优于机器学习的。例如,深度学习在Imagenet或者言语/语言翻译等领域的大型标签数据集上表现最好。但是,根据我在机器学习30多年的研究经验,世事无常。正如一切奥运纪录都将被打破,总会有更新更好的事物出现。但目前为止,深度学习仍然拔得头筹。

“更好”=结果解读能力。在这种情况下,深度学习表现不佳。Imagenet上令人印象深刻的30多层网络主要是黑盒子。除了尝试逐层解码每个隐藏单元的计算,黑盒子能够提供的洞察不多。这很乏味,是广泛使用深度学习的最大障碍。如果你有一辆使用深度学习的无人驾驶汽车,或有一个使用深度学习的自动化医疗程序,那就需要依照法律对其决策进行解释。为什么这辆车在撞到其它车前不停下?为什么这个程序断定患者是否患乳腺癌?如果这个问题不解决,深度学习无法得到更广泛应用。

“更好”=跨任务转移。在这种情况下,深度学习表现依旧不佳。大部分深度学习奏效的原因是适应于任务。如果测试集分布和训练分布差别太大,除非经过专门训练,通常情况下深度学习表现不好。有些深度学习的变体专门产生通用特征,但仍在初级阶段。在适应和转移学习问题方面,还有更好的解决措施。

“更好”=“计算成本更低”。深度学习表现不佳。这是因为深度学习需要重复多次,并需要高性能GPU电脑。

简而言之,如果你只在乎准确性(而不关注结果解读),如果你的测试数据与培训数据高度匹配,如果你有数百万的标签数据,以及有很多高性能GPU电脑,那么深度学习是最好的选择。反之,则有很多比深度学习更好的选择。

以下是来自用户Chansa Kabwe的回答:

(Chansa Kabwe是神经网络研究人员)

回答这个问题时,我将假设以下两点:“深度学习”是指第二代深层神经网络(dnn);“更好”是泛指机器学习和人工智能的表现。

除了理论太复杂或难以实现等因素,可能有很多系统比深度神经网络表现好,例如脉冲神经网络和哥德尔机器(spiking neural networks and the gödel machine)

脉冲神经网络 (snn)已被归为第三代神经网络,并利用Hodgkin-Huxley,izhikevich,Fitzhugh-Nagumo等神经元生物模型。在1996年的论文里,Wolfgang Maas表明 SNNs表现优于第二代神经网络。神经元芯片试图通过在IC上直接实施snn来利用这一理论。IBM的truenorth芯片是一个很好的例子。

哥德尔机器最初由Jürgen Schmidhuber设计,是一个在数学上完全自我参照、自我完善的问题解决者。理论上要比深度学习更好。深度学习是哥德尔机器的一个变体,缺少自我反思等重要部分。哥德尔机器并未完全实施,但Steunebrink和Schmidhuber的工作已取得了实际进展。

总而言之,我们还不完全了解智能,而深度学习只能利用其中一小部分。深度学习的确是一个很好的解决方案,但有一些缺点。如果解决这些缺点,将会有更好的系统。例如,DeepMind的可微分神经计算机(dnc)试图解决神经网络中的遗忘性问题。

原文发布时间为:2017-10-19
本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”微信公众号
原文链接

相关文章
|
6月前
|
机器学习/深度学习 数据采集 人工智能
深度学习实战指南:从神经网络基础到模型优化的完整攻略
🌟 蒋星熠Jaxonic,AI探索者。深耕深度学习,从神经网络到Transformer,用代码践行智能革命。分享实战经验,助你构建CV、NLP模型,共赴二进制星辰大海。
|
7月前
|
机器学习/深度学习 边缘计算 算法
SEENN: 迈向时间脉冲早退神经网络——论文阅读
SEENN提出一种时间脉冲早退神经网络,通过自适应调整每个样本的推理时间步数,有效平衡脉冲神经网络的准确率与计算效率。该方法基于置信度判断或强化学习策略,在保证高精度的同时显著降低能耗与延迟,适用于边缘计算与实时处理场景。
402 13
|
6月前
|
机器学习/深度学习 人工智能 监控
上海拔俗AI软件定制:让技术真正为你所用,拔俗网络这样做
在上海,企业正通过AI软件定制破解通用化难题。该模式以业务场景为核心,量身打造智能解决方案,涵盖场景化模型开发、模块化架构设计与数据闭环优化三大技术维度,推动技术与业务深度融合,助力企业实现高效、可持续的数字化转型。
216 0
|
6月前
|
机器学习/深度学习 数据采集 自然语言处理
29_序列标注技术详解:从HMM到深度学习
序列标注(Sequence Labeling)是自然语言处理(NLP)中的一项基础任务,其目标是为序列中的每个元素分配一个标签。在NLP领域,序列标注技术广泛应用于分词、词性标注、命名实体识别、情感分析等任务。
577 0
|
8月前
|
机器学习/深度学习 存储 人工智能
深度解析大模型压缩技术:搞懂深度学习中的减枝、量化、知识蒸馏
本文系统解析深度学习模型压缩三大核心技术:剪枝、量化与知识蒸馏,详解如何实现模型缩小16倍、推理加速4倍。涵盖技术原理、工程实践与组合策略,助力AI模型高效部署至边缘设备。
1523 2
|
7月前
|
监控 前端开发 安全
Netty 高性能网络编程框架技术详解与实践指南
本文档全面介绍 Netty 高性能网络编程框架的核心概念、架构设计和实践应用。作为 Java 领域最优秀的 NIO 框架之一,Netty 提供了异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端。本文将深入探讨其 Reactor 模型、ChannelPipeline、编解码器、内存管理等核心机制,帮助开发者构建高性能的网络应用系统。
470 0
|
9月前
|
监控 算法 安全
基于 C# 基数树算法的网络屏幕监控敏感词检测技术研究
随着数字化办公和网络交互迅猛发展,网络屏幕监控成为信息安全的关键。基数树(Trie Tree)凭借高效的字符串处理能力,在敏感词检测中表现出色。结合C#语言,可构建高时效、高准确率的敏感词识别模块,提升网络安全防护能力。
223 2
|
11月前
|
调度 Python
探索Python高级并发与网络编程技术。
可以看出,Python的高级并发和网络编程极具挑战,却也饱含乐趣。探索这些技术,你将会发现:它们好比是Python世界的海洋,有穿越风暴的波涛,也有寂静深海的奇妙。开始旅途,探索无尽可能吧!
260 15
|
11月前
|
监控 算法 JavaScript
基于 JavaScript 图算法的局域网网络访问控制模型构建及局域网禁止上网软件的技术实现路径研究
本文探讨局域网网络访问控制软件的技术框架,将其核心功能映射为图论模型,通过节点与边表示终端设备及访问关系。以JavaScript实现DFS算法,模拟访问权限判断,优化动态策略更新与多层级访问控制。结合流量监控数据,提升网络安全响应能力,为企业自主研发提供理论支持,推动智能化演进,助力数字化管理。
275 4

热门文章

最新文章