数据挖掘十大经典算法(3) Svm
支持向量机，英文为Support Vector Machine，简称SV机（论文中一般简称SVM）。它是一 种监督式学习的方法，它广泛的应用于统计分类以及回归分析中。
支持向量机属于一般化线性分类器.他们也可以认为是提克洛夫规范化（Tikhonov Regularization）方法的一个特例.这族分类器的特点是他们能够同时最小化经验误差与最大化 几何边缘区.因此支持向量机也被称为最大边缘区分类器。在统计计算中，最大期望（EM） 算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无 法观测的隐藏变量（Latent Variabl）。最大期望经常用在机器学习和计算机视觉的数据集聚 （Data Clustering）领域。最大期望算法经过两个步骤交替进行计算：
第一步是计算期望（E）， 也就是将隐藏变量象能够观测到的一样包含在内从而计算最大似然的期望值；
另外一步是最 大化（M），也就是最大化在 E 步上找到的最大似然的期望值从而计算参数的最大似然估计。 M 步上找到的参数然后用于另外一个 E 步计算，这个过程不断交替进行。
Vapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则。其原 理也从线性可分说起，然后扩展到线性不可分的情况。甚至扩展到使用非线性函数中去，这 种分类器被称为支持向量机(Support Vector Machine,简称SVM)。支持向量机的提出有很深的 理论背景。支持向量机方法是在近年来提出的一种新方法。
SVM 的主要思想可以概括为两点：
(1) 它是针对线性可分情况进行分析，对于线性不可分 的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使
其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可 能；
(2) 它基于结构风险最小化理论之上在特征空间中建构最优分割超平面，使得学习器得 到全局最优化,并且在整个样本空间的期望风险以某个概率满足一定上界。
在学习这种方法时，首先要弄清楚这种方法考虑问题的特点，这就要从线性可分的最简单情 况讨论起，在没有弄懂其原理之前，不要急于学习线性不可分等较复杂的情况，支持向量机在设计时，需要用到条件极值问题的求解，因此需用拉格朗日乘子理论，但对多数人来说， 以前学到的或常用的是约束条件为等式表示的方式，但在此要用到以不等式作为必须满足的 条件，此时只要了解拉格朗日理论的有关结论就行。
介绍
支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。 在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距 离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。一个极好的指南是 C.J.C Burges的《模式识别支持向量机指南》。van der Walt 和 Barnard 将支持向量机和其他 分类器进行了比较。
动机
有很多个分类器(超平面）可以把数据分开，但是只有一个能够达到最大分割。 我们通常希望分类的过程是一个机器学习的过程。这些数据点并不需要是中的点，而可以是 任意(统计学符号)中或者 (计算机科学符号) 的点。我们希望能够把这些点通过一个n-1维的 超平面分开，通常这个被称为线性分类器。有很多分类器都符合这个要求，但是我们还希望 找到分类最佳的平面，即使得属于两个不同类的数据点间隔最大的那个面，该面亦称为最大 间隔超平面。如果我们能够找到这个面，那么这个分类器就称为最大间隔分类器。
