人工智能，Artificial Intelligence，是计算机学科的一个分支，也是心理学、语言学、生物学等多学科交汇的一个热门领域。
它企图了解人类智能的实质，并用计算机去模拟它，完成一些较为复杂的任务，让机器看起来像是“有了智能”。
该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
压缩，Compression。用规则拟合数据，我们能得到比数据更简单的解释，需要的存储空间更少。例如，一旦你掌握了加法规则，就不必记忆每对可能数字的和是多少。
什么是layer-wise？
该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
思维学普遍认为，人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维三种基本方式。机器人在工作强度、运算速度和记忆功能方面可以超越人类，但在意识、推理等方面不可能超越人类。
1.机器学习定义
Tom Mitchell（1998）给的定义:
定义任务Task为T，性能测量方法Performance Measure为P，经验Experience为E。
对于一个计算机程序来说，给它一个T和P，如果在E的影响下，P对T的测量结果得到了显著的改进，我们就说它在E中得到了学习。
2.能做些什么
分类，Classification。
预测，Prediction，一旦我们拥有拟合以往数据的规则，如果未来与过去类似，那么我们就能够对新的实例做出预测。
模式识别，Pattern Recognition。
光学字符识别，OCR ,Optical Character Recognition，即从字符图像识别字符编码。
不同的人有不同的书写风格；字体有大有小；倾斜角度不同；用的钢笔或中性笔也不同，所以同一个字符可对应许多不同的图像。图像不只是点的集合，更是笔画的集合，并且是有规律的，通过机器学习我们能够捕获这些规律。
预测，Prediction，一旦我们拥有拟合以往数据的规则，如果未来与过去类似，那么我们就能够对新的实例做出预测。
模式识别，Pattern Recognition。
光学字符识别，OCR ,Optical Character Recognition，即从字符图像识别字符编码。
不同的人有不同的书写风格；字体有大有小；倾斜角度不同；用的钢笔或中性笔也不同，所以同一个字符可对应许多不同的图像。图像不只是点的集合，更是笔画的集合，并且是有规律的，通过机器学习我们能够捕获这些规律。
压缩，Compression。用规则拟合数据，我们能得到比数据更简单的解释，需要的存储空间更少。例如，一旦你掌握了加法规则，就不必记忆每对可能数字的和是多少。
回归，Regression。假设我们要做一个能够预测二手车价格的系统。该系统的输入是能影响到汽车价格的一些属性，如品牌、车龄、发动机性能、里程等；输出是报价。这种输出为数值的问题就属于回归。
3.人工神经网络
人工神经网络，Artificial Neural Networks。它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
神经网络概述见：http://blog.csdn.net/chuchus/article/details/41410073 。
4.有无监督
有监督的学习，Supervised Learning。
有监督是指训练数据中有人工标注的答案。包括分类与回归。
无监督学习，Unsupervised Learning。
无监督学习，Unsupervised Learning。
5.深度学习
Deep Learning.为了克服神经网络训练中的问题，采用了与神经网络很不同的训练机制。
传统神经网络中，采用的是back propagation的方式进行，简单来讲就是采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前输出和label之间的差去改变前面各层的参数，直到收敛（整体是一个梯度下降法）。
而deep learning整体上是一个layer-wise的训练机制。这样做的原因是因为，如果采用back propagation的机制，对于一个deep network（7层以上），残差传播到最前面的层已经变得太小，出现所谓的gradient diffusion（梯度扩散）。
而deep learning整体上是一个layer-wise的训练机制。这样做的原因是因为，如果采用back propagation的机制，对于一个deep network（7层以上），残差传播到最前面的层已经变得太小，出现所谓的gradient diffusion（梯度扩散）。
什么是layer-wise？
答：这算是一个思想吧，就是网络有很多层，然后我一层一层的训练。先训练好第一层，然后固定第一层，将第一层的输出作为第二层的输入，训练第二层。然后固定第一和第二层，将第二层的输出作为第三层的输入，训练第三层……一直往下，知道需要的层数。然后再在网络最顶，加一个分类层，训练的时候，全部层一起训练（微调）。
