第7章 支持向量机
支持向量机(support vector machines, SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划(convex quadratic programming)的问题，也等价于正则化的合页损失函数的最小化问。支持向...
分类：
其他好文 时间：
2016-03-30 13:17:03
阅读次数：
240
定义：假设输入空间，输出空间是y={+1,-1}.输入x∈X表示实例的特征向量，对于输入空间的点;输出y∈表示实例的类别。由输入空间到输出空间的如下函数称为感知机。
感知机是一种线性分类器，属于判别器。
线性方程w●x+b=对应于特征空间中的一个超平面S,w是超平面的法向量,b是超平面的截距。位于两部分的点（特征向量）分为正负两类。S称为分离超平面（sepe...
分类：
其他好文 时间：
2016-03-29 10:40:31
阅读次数：
394
支持向量机是一个二类分类模型，但也可以扩展为多类分类。其基于间隔最大化和核技巧的特点可以使它可以灵活处理线性或非线性分类问题。
支持向量机可是形式化为一个凸二次规划问题，学习算法是求解基于凸二次规划的最优化算法。
按照训练数据是否线性可分，支持向量机可以分为基于硬间隔的线性可分支持向量机、基于软间隔的线性支持向量机、基于核技巧和软间隔最大化的非线性支持向量机。三者复杂性是依次增加的。
1、基于...
分类：
其他好文 时间：
2016-03-26 07:16:56
阅读次数：
477
支持向量机是建立在统计学习理论基础之上的新一代机器学习算法，支持向量机的优势主要体现在解决线性不可分问题，它通过引入核函数，巧妙地解决了在高维空间中的内积运算，从而很好地解决了非线性分类问题。 构造出一个具有良好性能的SVM，核函数的选择是关键．核函数的选择包括两部分工作：一是核函数类型的选择，二是
分类：
其他好文 时间：
2016-03-19 11:11:33
阅读次数：
153
最近有被问到SVM的问题，不懂装懂，羞愧不已。百度有很多深入浅出介绍SVM的文章，我就不赘述了，这里写一点自己肤浅的理解。 SVM的核心思想是把求解低维空间上的高维分类器转化为求解高维函数空间上的线性分类器。为了达到这一目的，SVM引入了三大法宝。 第一是支持向量。支持向量相当于样本数据的典型代表（
分类：
其他好文 时间：
2016-03-03 22:47:34
阅读次数：
179
Two Simple Examplessoftmax classifier后，我们介绍两个简单的例子，一个是线性分类器，一个是神经网络。由于网上的讲义给出的都是代码，我们这里用公式来进行推导。首先看softmax classifier 的例子。给定输入X∈RN×DX \in \mathbf{R}^{N \times D}，权值W∈RD×KW \in \mathbf{R}^{D \times K}，偏...
分类：
Web程序 时间：
2016-02-26 12:26:22
阅读次数：
195
今天学了感知器算法：Perceptron Learning Algorithm (PLA) 觉得自己应该回去重新学学线性代数QAQ 依旧是自己的理解为主…… 感知器算法是一种线性分类器，对于一个样本，它具有x={x1, x2, ..., xn}这些特征，每个特征具有一个权值w={w1, w2, ..
分类：
编程语言 时间：
2016-02-19 14:10:34
阅读次数：
171
在机器学习领域，SVM是一个与学习算法关联的监督式学习模型，这些学习算法可以分析用来做分类和回归的数据。给定一个训练样本集，每个都被标记为两类中的一类，一个SVM训练算法构建一个模型，该模型能够将新的数据分到一个类中，使它成为一个非概率的二类线性分类器。一个SVM模型是样本点在空间的一种表示，（被映...
分类：
其他好文 时间：
2016-01-25 21:22:11
阅读次数：
832
1初次理解SVM，咱们必须先弄清楚一个概念：线性分类器。 给定一些数据点，它们分别属于两个不同的类，现在要找到一个线性分类器把这些数据分成两类。如果用x表示数据点，用y表示类别（y可以取1或者-1，分别代表两个不同的类），一个线性分类器的学习目标便是要在n维的数据空间中找到一个超平面（hyperp....
分类：
其他好文 时间：
2016-01-16 22:22:58
阅读次数：
443
前面8小节，算从神经网络的结构、简单原理、数据准备与处理、神经元选择、损失函数选择等方面把神经网络过了一遍。这个部分我们打算把知识点串一串，动手实现一个简单的2维平面神经网络分类器，去分割平面上的不同类别样本点。为了循序渐进，我们打算先实现一个简单的线性分类器，然后再拓展到非线性的2层神经网络。我们可以看到简单的实现，能够有分隔程度远高于线性分类器的效果。...
分类：
其他好文 时间：
2016-01-15 11:06:50
阅读次数：
1906
