文章结构 一、引言 二、 二分类 线性可分 2）处理数据中的outliers 3）非线性可分，核函数 4）SVM的另一种解释Hinge Loss 三、多分类 1. Introduction 支持向量机（Support Vector Machine，SVM）是定义在特征空间中的最大间隔线性分类器，对于 ...
分类：
其他好文 时间：
2016-05-29 18:03:35
阅读次数：
127
linear classification上节中简单介绍了图像分类的概念，并且学习了费时费内存但是精度不高的knn法，本节我们将会进一步学习一种更好的方法，以后的章节中会慢慢引入神经网络和convolutional neural network。这种新的算法有两部分组成：
1. 评价函数score function，用于将原始数据映射到分类结果
2. 损失函数loss function， 用于定...
分类：
Web程序 时间：
2016-05-27 12:17:33
阅读次数：
368
1、HOG特征：
方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。需要提醒的是，HOG+SVM进行行人检测的方法是法国研究人员Dal...
分类：
其他好文 时间：
2016-05-24 12:11:11
阅读次数：
1900
前面一节讲过，Vladimir Vapnik的出现，在神经网络的发展过程中起到了很关键的作用，而这种所谓的作用就是挑战。Vladimir Vapnik到底提出了什么理论能有这么大的影响呢？大家都非常熟悉的分类方法：支持向量机（SVM）Vladimir Vapnik 支持向量机（SVM） Vapnik ...
分类：
其他好文 时间：
2016-05-22 19:58:38
阅读次数：
169
支持向量机(Support Vector Machine) SVM之SMO算法(转) 此文转自两篇博文 有修改 序列最小优化算法（英语：Sequential minimal optimization, SMO）是一种用于解决支持向量机训练过程中所产生优化问题的算法。SMO由微软研究院的约翰·普莱特（ ...
分类：
编程语言 时间：
2016-05-22 00:34:06
阅读次数：
297
OpenCV开发SVM算法是基于LibSVM软件包开发的，LibSVM是台湾大学林智仁(LinChih-Jen)等开发设计的一个简单、易于使用和快速有效的SVM模式识别与回归的软件包。用OpenCV使用SVM算法的大概流程是
1）设置训练样本集
需要两组数据，一组是数据的类别，一组是数据的向量信息。
2）设置SVM参数
利用CvSVMParams类实现类内的成员变量svm_type...
分类：
其他好文 时间：
2016-05-20 19:45:53
阅读次数：
720
引言：当两类样本线性可分时，针对我们之前学习的感知机而言，存在多个超平面能将数据分开，这里要讨论什么样的分类面最好的问题。为此，我们形式化的定义了最优分类超平面，他有两点特征:1.能将训练样本没有错误的分开；2.在样本中距离超平面最近的样本与超平面之间的距离最大。 1.没有错误的分开： 对尺度影响的 ...
分类：
其他好文 时间：
2016-05-20 11:18:36
阅读次数：
151
先抛开上面的二次规划问题，先来看看存在等式约束的极值问题求法，比如下面的最优化问题： 目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为 L是等式约束的个数。 然后分别对w和求偏导，使得偏导数等于0，然后解出w和。至于为什么引入拉格朗日算子可以求出 ...
分类：
其他好文 时间：
2016-05-20 11:13:46
阅读次数：
175
本篇讲的是SVM与logistic regression的关系。 （一） SVM算法概论 首先我们从头梳理一下SVM（一般情况下，SVM指的是soft-margin SVM）这个算法。 这个算法要实现的最优化目标是什么？我们知道这个目标必然与error measurement有关。 那么，在SVM中 ...
分类：
其他好文 时间：
2016-05-18 16:09:12
阅读次数：
266
考虑这种情况： 倘若我们使用Hard-Margin SVM，不容许一点点的错误，就会得到右边的结果。很显然，左边的结果更合理，所以在实际情况中，我们使用能够接纳一定错误（容忍噪声）的SVM，即：soft-margin SVM。 合并两个条件，得： 这样做有几个问题： 一是我们的目标函数不再是线性的， ...
分类：
其他好文 时间：
2016-05-18 12:40:49
阅读次数：
397
