在学习支持向量机（SVM）的过程中遇到了拉格朗日对偶问题与 KKT 条件，这里简单介绍一下拉格朗日对偶问题的推导。 ...
分类：
其他好文 时间：
2017-09-09 21:38:33
阅读次数：
168
1. SVM 支持向量机学习的目标是找到一个分离超平面，能将实例分到不同的类。间隔最大化保证了了超平面的唯一性，即不仅将正负实例点分开，对离超平面最近的点，也有足够大的确信度将它们分开。 2. 什么是函数间隔和几何间隔？ 函数间隔y(wx+b)：|wx+b|表示点x距离超平面的远近，wx+b的符号与 ...
分类：
其他好文 时间：
2017-08-16 17:01:17
阅读次数：
131
首先，考虑标准形式的凸最优化问题： 则其拉格朗日函数为： 其中$\lambda_i$被称为与$f_i(x) <= 0$相关的拉格朗日乘子，$v_i$被称为与$h_i(x) = 0$相关的拉格朗日乘子。 拉格朗日对偶函数： 下面介绍拉格朗日对偶函数的一个重要性质： 拉格朗日对偶函数构成了原凸最优化问题 ...
分类：
其他好文 时间：
2017-08-14 19:58:34
阅读次数：
144
引言：尝试用最简单易懂的描述解释清楚机器学习中会用到的拉格朗日对偶性知识，非科班出身，如有数学专业博友，望多提意见！ 1.原始问题 假设是定义在上的连续可微函数（为什么要求连续可微呢，后面再说，这里不用多想），考虑约束最优化问题： 称为约束最优化问题的原始问题。 现在如果不考虑约束条件，原始问题就是 ...
分类：
其他好文 时间：
2017-07-11 21:14:04
阅读次数：
121
1，SVM算法的思考出发点 SVM算法是一种经典的分类方法。对于线性可分问题，找到那个分界面就万事大吉了。这个分界面可以有很多，怎么找呢？SVM是要找到最近点距离最远的那个分界面。有点绕，看下面的图就明白了 为了推导简单，我们先假设样本集是完全线性可分的，也就一个分界面能达到100%的正确率。 2， ...
分类：
编程语言 时间：
2017-05-26 00:55:50
阅读次数：
491
SVM -支持向量机原理详解与实践之二 SVM原理分析 以下内容接上篇。 拉格朗日对偶性（Largrange duality）深入分析 前面提到了支持向量机的凸优化问题中拉格朗日对偶性的重要性。 因为通过应用拉格朗日对偶性我们可以寻找到最优超平面的二次最优化， 所以以下可以将寻找最优超平面二次最优化 ...
分类：
其他好文 时间：
2017-03-15 00:09:02
阅读次数：
262
1. 前言 最近又重新复习了一遍支持向量机（SVM）。其实个人感觉SVM整体可以分成三个部分： 1. SVM理论本身：包括最大间隔超平面（Maximum Margin Classifier），拉格朗日对偶（Lagrange Duality），支持向量（Support Vector），核函数（Kern ...
分类：
编程语言 时间：
2017-02-26 19:12:41
阅读次数：
598
1.对偶问题的推导 为什么要求解对偶问题？一是对偶问题往往更容易求解，二是可以自然的引入核函数。 1.1 用拉格朗日函数将原问题转化为“无约束”等价问题 原问题是： 写出它的拉格朗日函数： 然后我们的原问题就等价为： 为什么可以这样等价： 即：对于不满足约束条件的（b,w），min里面趋于无穷大，因 ...
分类：
其他好文 时间：
2016-12-08 03:01:33
阅读次数：
220
学习支持向量机SVM时，拉格朗日对偶、Slater条件、KKT条件等一大堆概念席卷而来，让没系统学习过凸优化的笔者一头雾水，估计不少人都是这样吧。 为什么要引入一堆系数把约束条件与目标函数组合到一起？...
分类：
其他好文 时间：
2016-11-01 11:38:50
阅读次数：
498
这篇文章将介绍感知器、逻辑回归的求解和SVM的部分求解，包含部分的证明。本文章涉及的一些基础知识，已经在《梯度下降、牛顿法和拉格朗日对偶性》中指出，而这里要解决的问题，来自《从感知器到SVM》 、《从线性回归到逻辑回归》两篇文章。 感知器： 前面的文章已经讲到，感知器的目标函数如下： $min \ ...
分类：
其他好文 时间：
2016-06-10 11:04:59
阅读次数：
456
