SVM是用来解决非线性分类问题的。PART I 引入首先我们假设样本线性可分【稍后我们还会去掉这个假设】我们把之前logistic回归里面吗定义的那一坨稍微修改一下：令g(z)=1 (z>=0) or -1 (z=0由上式和约束条件可以得出：【证明：设存在w'使得gi(w')>0，那么就可以取...
分类：
其他好文 时间：
2015-07-05 16:27:41
阅读次数：
195
深度学习之神经网络与支持向量机 引言：神经网络(Neural Network)与支持向量机(Support Vector Machines，SVM)是统计学习的代表方法。可以认为神经网络与支持向量机都源自于感知机(Perceptron)。感知机是1958年由Rosenblatt发明的线性分类模型。....
分类：
其他好文 时间：
2015-07-03 22:00:00
阅读次数：
138
已经花了好多时间看支持向量机了，就是一直没开始写，网再渣，我也要开始总结了 支持向量机(SVM) 一种二类分类模型。基本模型是定义在特征空间上的间隔最大的线性分类器，学习策略就是间隔最大化，最终是求解凸二次规划的最优化算法。 包含线性可分支持向量机、线性支持向量机、非线性支持向量机。...
分类：
其他好文 时间：
2015-06-23 20:01:48
阅读次数：
215
Modeling one neuron下面我们开始介绍神经网络，我们先从最简单的一个神经元的情况开始，一个简单的神经元包括输入，激励函数以及输出。如下图所示：一个神经元类似一个线性分类器，如果激励函数是sigmoid 函数(σ(x)=1/(1+e?x))(\sigma (x)=1/(1+e^{-x}))，那么σ(∑iwixi+b)\sigma(\sum_{i}w_{i}x_{i}+b)相当于是求该输...
分类：
Web程序 时间：
2015-06-22 14:57:36
阅读次数：
199
指数分布族形式：应用：1. logistic 回归：
logistics 回归其实是伯努利分布。p(y;θ)=θy?(1?θ)1?yp(y;\theta) = \theta^y * (1-\theta)^{1-y} . 其中θ\theta可以看做hθ(x)h_\theta(x)
伯努利分布是指数分布的一个特列：
其中：
η=log(θ1?θ)\eta = log(\frac\theta{...
分类：
其他好文 时间：
2015-06-21 13:16:24
阅读次数：
239
Gradient Computing前面我们介绍过分类器模型一般包含两大部分，一部分是score function，将输入的原始数据映射到每一类的score，另外一个重要组成部分是loss function，计算预测值
与实际值之间的误差，具体地，给定一个线性分类函数：f(xi;W)=Wxif(x_{i};W)=Wx_{i}，我们定义如下的loss function：
L=1N∑i∑j≠yi[m...
分类：
Web程序 时间：
2015-06-20 15:42:46
阅读次数：
182
目录功能：
docs ：相关文档
libdnet-stripped ：开源网络接口库
liblinear：开源大型线性分类库
liblua：开源Lua脚本语言库
libnetutil：基本的网络函数
libpcap：开源抓包库
libpcre：开源正则表达式库
macosx：xcode项目文件
mswin32：vs项目文件
nbase：Nma...
分类：
其他好文 时间：
2015-06-20 10:37:08
阅读次数：
387
LibLinear（SVM包）使用说明之（二）MATLAB接口LibLinear（SVM包）使用说明之（二）MATLAB接口zouxy09@qq.comhttp://blog.csdn.net/zouxy09一、介绍 LIBLINEAR是一个简单的求解大规模规则化线性分类和回归的软件包。本文介绍在M...
分类：
其他好文 时间：
2015-06-19 18:15:25
阅读次数：
150
感知机 假设：输入空间是 x?Rn 输出空间是 y＝{+1,-1} 由如下2.1函数进行分类称之为感知器 其中，w为权值向量，b为偏置 sign(.)是符号函数，记为如下所示： 感知机是一种线性分类模型，属于判别模型。 感知机模型的假设空间是定义在特征空间中的 所有线性分类模型（linear cla...
分类：
其他好文 时间：
2015-06-07 21:24:44
阅读次数：
120
STANFORD机器学习公开课第4-5讲算法，文章主要介绍简单的二分类算法：线性分类器、高斯判别分析、朴素贝叶斯。...
分类：
其他好文 时间：
2015-06-04 13:56:03
阅读次数：
171
