标签：

      说明：此篇是作者对“SVM”的第二次总结，因此可以算作对上次总结的查漏补缺以及更进一步的理解，所以很多在第一次总结中已经整理过的内容在本篇中将不再重复，如果你看的有些吃力，那建议你看下我的第一次总结：

      http://blog.csdn.net/xueyingxue001/article/details/51261397

如何定位唯一的分隔超平面

      如上所示，有无数根线可以把两种样本的完全正确分开，那么谁是最优的？

      SVM是这样求的：

           1，假设上图中这一个个分隔超平面的方程是: f(x, w)，于是第一个是f(x,w₁)，第二个是f(x,w₂)，...，第n个是f(x, w_n)。

                 PS：x是所有样本的集合，w是方程的参数，如：w_nx= y。当然了，方程可能是ax + b =y的形式，这样的话w就是(a, b)

           2，上图所示的那些分隔超平面是可以通过某种算法求出来的，即：所有超平面的方程的参数w_n是已知的，于是我们将所有的样本代入这一个个分隔超平面的方程中就可以算所有样本与这一个个超平面的距离。

           假设：

                 1号样本到1号超平面的距离是d₁¹；

                 2号样本到1号超平面的距离是d₁²；

                 ...

                 n号样本到1号超平面的距离是d₁ⁿ；

           于是可以得出所有样本中距离1号超平面最近的点：d₁*；

           同理得出所有样本距离所有超平面最近的点：d₂*，d₃*，... ，d_n*；

           你知道上面的d_n^*意味着什么吗？

                 d₁*：意味着d₁*对应的样本点对1号分隔超平面来说是最“危险”最“难受”的，如果把1号分隔超平面比做人的话他一定回想：“我去，你这孙子离这么近可千万别乱动啊！你一动万一跑到另一侧那我就不能完全正确分类了！”

                 其他同理。

           3，对第二步的结果求最大，即：max(d₁*，d₂*，d₃*，... ，d_n*)，即：求一个分隔超平面，使得“离他最近的样本到它的距离”比“其他所有分隔超平面与离其最近的样本的距离” 都大。即：这样的分隔超平面是最安全的！而这条分隔超平面就是我们相要的！

       一句话描述上面的过程就是：

           通过间隔最大化得到SVM的分隔超平面。

      用数学公式描述上面的过程就是：

           max_imin_j f(x^(j), w_i)

      即：求出“到所有分隔超平面” 距离最近一个个样本点x^(j)后得到一个“距离集合”，然后在该“距离集合”中找到距离最大的那个超平面w_i，也就是SVM的最优分隔超平面。

      PS：之后会说怎么求，这里只要知道SVM求最优分隔超平面的原理就好了。

线性可分SVM目标函数的推导

      实际上刚才已经写出SVM的目标函数了，即：

           max_imin_j f(x^(j), w_i)

      当然了，这种程度中看不中用，于是下面给出SVM目标函数的推导。

      首要说明：这是针对线性可分支持向量机。

      输入数据：

           假设给定一个特征空间上的训练数据集

                 T={(x₁,y₁ ), (x₂ ,y₂ )…(x_N ,y_N)}

           其中，x_i ∈Rⁿ ，y_i ∈{+1,-1}，i=1,2,…N。

           x_i为第i个实例(若n>1， x i 为向量)；

           y_i为x_i 的类标记；

           当y_i =+1时，称x_i 为正例；

           当y_i =-1时，称x_i 为负例；

           (x_i,y_i )称为样本点。

      求解描述：

           1，给定线性可分训练数据集，通过间隔最大化得到分隔超平面：

                 y(x)= w^Tφ(x) +ｂ

           这里φ(x)是已知的(通过线性回归/Logistics等求出来了N个分隔超平面)，而我们的目的是求w^T和b。

           2，从而有 y_i·y(x_i) > 0

           3，不过有时会有这样的情况：

                 我求出两个方程ax + b = y，2ax + 2b = 2y

           但这明显是一个方程，即：方程的参数w伸缩成若干倍无所谓。

           所以有下面的式子：

                 y_i·y(x_i)/||w|| = y_i·(w^Tφ(x) +ｂ)/||w||

           即：除以w做归一化。

           PS：从另一个角度看：y(x_i)/||w|| 就是再求样本到分割超平面的距离。

           4，于是刚才的max_i min_j f(x^(j), w_i)就可以表示为：

              这就是SVM的目标函数！

      不过说实话，上面的目标函数不好求，于是我们要简化简化它。

函数间隔

      对于分隔超平面：y(x) = w^Tφ(x) +ｂ

      函数间隔是：w^Tφ(x) +ｂ

几何间隔

      对于分隔超平面：y(x) = w^Tφ(x) +ｂ

      几何间隔是：(w^Tφ(x) +ｂ) / ||w||

简化目标函数

      说上面两个间隔是为了说明这一点：我总可以通过等比例缩放w的方法，使得两类点的函数值都满足|y| ≥1，如下图所示：

      即：对于SVM的目标函数：

           argmax{(1/||w||)min[y_i·(w^T·φ(x_i)+b)]}

      因为|y| ≥1，即：y_i·(w^T·φ(x_i)+b) ≥ 1

      所以min[y_i·(w^T·φ(x_i)+b)]  =  1

     这样一来，SVM的目标函数就可以简化为：

      习惯上把求最大转换成求最小，于是上式修改为：

       而这，就是SVM最终的目标函数！！

       是不是好简单！！

使用拉格朗日乘子法求解

      对于有约束的求极值问题，就使用拉格朗日乘子法呗，因为这里有个不等式约束，所以要使用KKT条件，从而有下面的式子：

      原问题是极小极大问题：

      为了求解方便，将其转换成原始问题的对偶问题，即极大极小问题：

      PS：这个在我的这个总结里有说明：http://blog.csdn.net/xueyingxue001/article/details/51858098

      于是第一步对w，b求偏导后令偏导为0，有如下结果：

      结合上述结果作如下推导：

      最终得到α的目标式：

      但这里是求极大，习惯上将其转换成求极小，转换后如下：

如果求出α的话

      如果求出α的话，那代入下面的式子：

      求出w和b，这样就得到了分隔超平面：

           w^*φ(x) + b^* = 0

      分类决策函数也就出来了：

           f(x)= sign(w^*φ(x) + b^*)

      于是下面我们的主要问题是如何求α。

求α

      方法是SMO，手算的话就是下面这样了。不过这个虽然是手算，但有个很重要的结论，所以还是建议看下。（截图来自小象学院的邹博老师）

一个重要的结论

      话说，上面这个例子很简单，但结论很有趣。

      上面这个分隔超平面求出时：点x1和x3的α1和α3不等于0，点x2的α2等于0，这说明什么？

      这说明：α=0的那个(些)样本点不参与w*和b*的构架，即：分隔超平面的构建，即：α≠0的样本点是支持向量！

SVM再次总结 - 2 - 线性可分支持向量机

标签：

原文地址：http://blog.csdn.net/xueyingxue001/article/details/51954616