本栏目内容来源于Andrew
NG老师讲解的SVM部分,包括SVM的优化目标、最大判定边界、核函数、SVM使用方法、多分类问题等,Machine
learning课程地址为:https://www.coursera.org/course/ml大家对于支持向量机(SVM)可能会比较熟悉,是个强大且流行...
分类:
其他好文 时间:
2014-05-12 12:42:21
阅读次数:
764
学习统计学习方法也已经有几天了,在这几天的时间里,我主要对分类学习方法进行了初步学习,包括:感知机——>支持向量机,K近邻法,朴素贝叶斯法,决策树,logistic
回归与最大熵模型。 其中k近邻法的实现为kd树,朴素贝叶斯通过极大似然估计实现,决策树包含有生成决策树算法ID3,C4.5,决策...
分类:
其他好文 时间:
2014-05-10 03:06:00
阅读次数:
225
在之前为了寻找最有分类器,我们提出了如下优化问题:
在这里我们可以把约束条件改写成如下:
首先我们看下面的图示:
很显然我们可以看出实线是最大间隔超平面,假设×号的是正例,圆圈的是负例。在虚线上的点和在实线上面的两个一共这三个点称作支持向量。现在我们结合KKT条件分析下这个图。
我们从式子和式子可以看出如果那么,
这个也就说明时,w处于可行域的边界上,这时才是起作用的约束...
分类:
其他好文 时间:
2014-05-09 02:33:02
阅读次数:
345
简介:
1、在之前我们把要寻找最优的分割超平面的问题转化为带有一系列不等式约束的优化问题。这个最优化问题被称作原问题。我们不会直接解它,而是把它转化为对偶问题进行解决。
2、为了使问题变得易于处理,我们的方法是把目标函数和约束全部融入一个新的函数,为了使问题变得易于处理,我们的方法是把目标函数和约束全部融入一个新的函数,即拉格朗日函数,再通过这个函数来寻找最优点。即拉格朗日函数,再通过这个函数...
分类:
其他好文 时间:
2014-05-07 22:40:35
阅读次数:
331
(转载请注明出处:http://blog.csdn.net/buptgshengod)
1.背景
上一节学习支持向量机,感觉公式都太难理解了,弄得我有点头大。不过这一章的Adaboost线比较起来就容易得多。Adaboost是用元算法的思想进行分类的。什么事元算法的思想呢?就是根据数据集的不同的特征在决定结果时所占的比重来划分数据集。就是要对每个特征值都构建决策树,并且赋予他们不同的...
分类:
编程语言 时间:
2014-05-07 06:48:25
阅读次数:
569
(转载请注明出处:http://blog.csdn.net/buptgshengod)
1.背景知识
前面我们提到的数据集都是线性可分的,这样我们可以用SMO等方法找到支持向量的集合。然而当我们遇到线性不可分的数据集时候,是不是svm就不起作用了呢?这里用到了一种方法叫做核函数,它将低维度的数据转换成高纬度的从而实现线性可分。
可能有的人不明白为什么低维度的数据集转换成高...
分类:
编程语言 时间:
2014-05-07 03:39:44
阅读次数:
455
SVM支持向量机的SMO方法实现
操作简便,效果直观,功能单一。
有助于理解SMO过程,以及惩罚因子对分类的影响。...
分类:
其他好文 时间:
2014-05-05 13:03:41
阅读次数:
232
例程:classify_halogen_bulbs.hdev
在Halcon中模式匹配最成熟最常用的方式该署支持向量机了,在本例程中展示了使用支持向量机对卤素灯的质量检测方法。通过这个案例,相信大家可以对支持向量机的使用有一个更加清晰的了解。在相当多的检测和识别的应用中,都可以使用相同的方法来解决分...
分类:
其他好文 时间:
2014-05-05 10:30:27
阅读次数:
623
(转载请注明出处:http://blog.csdn.net/buptgshengod)
1.背景知识
通过上一节我们通过引入拉格朗日乗子得到支持向量机变形公式。详细变法可以参考这位大神的博客——地址
参照拉格朗日公式F(x1,x2,...λ)=f(x1,x2,...)-λg(x1,x2...)。我们把上面的式子变型为:
约束条件就变成了:
...
分类:
编程语言 时间:
2014-05-04 18:14:34
阅读次数:
401