摩尔定律提出的时候，人们从来没有想到过芯片的算力会有到达极限的一天，至少从来没有想到芯片算力极限会这么快到来。
MIT发出警告：算力将探底，算法需改革
近日，MIT发出警告：深度学习正在接近现有芯片的算力极限，如果不变革算法，深度学习恐难再进步。
根据麻省理工学院研究人员的一项研究，深度学习的进展「非常依赖」算力的增长。他们断言，必须发明革命性的算法才能更有效地使用深度学习方法。
研究人员分析了预印本服务器Arxiv.org上的1058篇论文和其他基准资料，以理解深度学习性能和算力之间的联系，主要分析了图像分类、目标检测、问题回答、命名实体识别和机器翻译等领域两方面的计算需求:
1、给定深度学习模型中单次遍历(即权值调整)所需的浮点运算数。
2、训练整个模型的硬件负担，用处理器数量乘以计算速度和时间来估算。
研究结果表明，除从英语到德语的机器翻译（使用的计算能力几乎没有变化）外，所有基准均具有「统计学上显著」的斜率和「强大的解释能力」。
命名实体识别和机器翻译对于硬件的需求大幅增加，而结果的改善却相对较小。更有甚者，算力增长为ImageNet上的图像分类模型贡献了43%的准确率。
根据多项式和指数模型的预测，通过深度学习获得相应性能基准所需的算力（以Gflops为单位），碳排放量和经济成本，最乐观的估计，ImageNet分类误差要想达到1%，需要10^28 Gflops的算力，这对硬件来说是不小的压力。
网友评论：算力提升不一定要堆更多晶体管
这篇论文发表后，在reddit上引发了网友热议。算力还可能再提高吗，能不能搞出更贴合人脑的计算芯片？
网友@respecttox认为，现在的硬件算力提升有些误区，不一定非得在晶体管上堆更多的晶体管，我们需要更好的框架来支持底层条件计算以及相应的硬件改进。理想情况下，用消费级的GPU就能跑很多深度模型。 这样的GPU值得期待，动辄上万的N卡，对很多学生党来说的确是不小的障碍。
那人类大脑是一台超级计算机吗？这个问题此前有过很多讨论，网友@Red-Portal认为就功耗而言，大脑并不是超级计算机。在这方面，简单地认为更多的计算能力将为我们提供人类智能的想法就产生了误导，因为它并不是真正的「人工智能」。
就大脑中神经元的数量来说绝对可以称的上「超级」，至于它的能耗为啥这么低，低到跟现实中的计算机相比几乎可以忽略不计，谁又能拿出证据说，大脑不可能有一个更高效的计算机制？
神经科学家也参与进来了。他认为人脑和神经网络最大的两个差异可能是A：大脑区域之间和内部的反馈令人难以置信，B：神经元比人工神经网络中的节点有更多的非线性。非线性才是导致人脑如此优于「人工智能」的根本原因。
计算机不断在人脑中汲取经验，各种类脑芯片也如雨后春笋一般被制造出来。量子计算也取得了惊人的进步，霍尼韦尔宣称已经造出64量子体积的计算机。随着软件算法和硬件算力的协同进步，未来机器的算力甚至于智力会超过人类吗？
算力接近无限会出现什么情况，会让人类成为上帝吗？
虽然物理世界一直在阻碍我们走向无限的终点，但我们自有办法在精神世界去突破物理限制，畅想在无限的边界。
当亚马逊设备高级副总裁David Limp畅想亚马逊人工智能助手Alexa的未来时，他想象了一个与《星际迷航》不一样的世界：在未来，你可以在任何地方，问任何事情，一台环境计算机将在那里满足你的每一个需求。
「想象一下，在不远的未来，你可以拥有无限的计算能力和无限的存储空间让你可以抛开服务器的束缚，你会做什么呢？」 Leiden大学研究院Steven de Rooij认为，无限算力将大大打破物理学定律。
经典计算机可以模拟量子系统，但它的速度从根本上比量子计算机慢。 但如果拥有无限的计算能力，一台经典计算机可以在眨眼间模拟任何物理系统。是的，这将涉及到信息传播速度超过光速。
我们可以做的事情有：
- 用暴力瞬间解决任何优化问题，这将成为非常简单的程序。例如，一个程序员可以在一个下午轻松地写出象棋、围棋、拼字游戏的无敌对手。制造汽车发动机的最佳方法是什么？一架飞机？太阳能电池板？简单地尝试所有可能的设计，然后选择一个性能最好的设计!
- 我们就解决了停顿的问题：只要运行程序，如果程序没有立即停止，就永远不会停止了。
- 如果我们能解决停顿问题，那么很多不可计算的函数就会变得可计算。特别是，我们可以计算Kolmogorov复杂性。这又可以建立理论上理想的学习系统。我们就可以建立理想的推理引擎，可以在任何数据中找到任意模式，并泛化到未来。我相信用不了多久，成熟的超智能人工智能就会出现，并让人类被淘汰。
这是不是意味着《计算中的上帝》所描述的，在宇宙中那个操控一切的超级生命？
届时，《西部世界》《我。机器人》中的剧情，将变得像现在我们玩的刺客信条一样可以轻松实现，人类是否会成为「上帝」呢？
但这样一来，也会带来很多未知的问题。显而易见的问题之一就是现有的人类伦理道德将会受到极大的挑战。
Louisiana State大学博士William Donahue抛出了一个有趣的话题。
如果我们对身体的每一个细胞的细胞信号和功能进行高度详细的模拟，我们就会拥有终极的医学研究工具。我们可以模拟药物和其他治疗方法对人类的影响，而不需要任何动物。
如果我们有这样的模型，我说的不是一个简单的可视化，而是整个事情到每一个原子，我们开始一个神经元发射，那么我们是否会创造一个活人？在模拟环境中使用它们会是道德的吗？
亲爱的读者，你怎么看？
