Perceptron Learning Algorithm 感知器算法， 本质是二元线性分类算法，即用一条线／一个面／一个超平面将1，2维／3维／4维及以上数据集根据标签的不同一分为二。 算法确定后，根据W取值的不同形成不同的h，构成假设集合H。 如2维感知器算法，根据w0,w1,w2的不同取值，构 ...
分类：
其他好文 时间：
2017-04-06 22:01:11
阅读次数：
181
最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回归，支持向量 ...
分类：
其他好文 时间：
2017-04-05 22:09:53
阅读次数：
298
感知机是一种线性分类模型，属于判别模型 f(x) = sign(wx+b) ; f(x)∈{+1,-1}; 其中M为错分类点的集合M。 感知机学习算法是误分类驱动的，采用随机梯度下降法进行参数更新。 w< w + γyixi b< b + γyi γ为学习率，反复迭代直到所有样本均分类正确。 总结： ...
分类：
编程语言 时间：
2017-02-19 11:09:43
阅读次数：
213
简介
SVM是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。或者简单的可以理解为就是在高维空间中寻...
分类：
编程语言 时间：
2017-02-17 00:26:28
阅读次数：
346
1 用回归来做分类 到目前为止，我们学习了线性分类，线性回归，逻辑回归这三种模型。以下是它们的pointwise损失函数对比（为了更容易对比，都把它们写作s和y的函数，s是wTx，表示线性打分的分数）： 把这几个损失函数画在一张图上： 如果把逻辑回归的损失函数ce做一个适当的放缩，则可以得到下图： ...
分类：
其他好文 时间：
2017-01-21 20:26:21
阅读次数：
220
1. Linear Model for Classification 解决分类问题我们之前主要见过三个：线性分类问题，线性回归问题解分类，logistic回归。接下来看看这三者之间的区别与联系。 三者的区别主要是误差函数不同： 在同一个图上表示如下： 为什么Uper Bound是有效果的？理论证明： ...
分类：
其他好文 时间：
2017-01-17 00:36:34
阅读次数：
162
第2章 感知机 感知机是二类分类的线性分类模型，其输入为实例的特征向量，感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法分为原始形式和对偶形式，是神经网络和支持向量机的基础。 ...
分类：
其他好文 时间：
2017-01-07 22:32:59
阅读次数：
305
多维优化问题的迭代求解算法中，经常遇到学习率（步长）参数问题，比如线性分类器。一般如果采用固定学习率，那么算法收敛将比较慢，为了提高收敛速度往往需要不断调整学习率。一般多维优化问题中的迭代算法中的迭代公式为： xk+1=xk+rk dk 其中 xk 从给定的初始搜索点 x0 迭代，rk>=0为第k次 ...
分类：
编程语言 时间：
2016-12-04 00:40:56
阅读次数：
327
原理： (1) 输入点A，输入已知分类的数据集data (2) 求A与数据集中每个点的距离，归一化，并排序，选择距离最近的前K个点 (3) K个点进行投票，票数最多的分类即为所求 优点： 简单，可用于非线性分类 缺点： 当样本不均衡时影响投票结果； 分类结果受K值影响； 时空复杂度高：需要保存全部数 ...
分类：
编程语言 时间：
2016-12-03 21:12:34
阅读次数：
208
传统机器学习分类任务中，我认为支持向量机是最难、最复杂、最有效的一种模型。可能是由于其是一种特殊的神经网络的缘故吧！ 1、支持向量机简介 支持向量机（support vector machines，SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感 ...
分类：
系统相关 时间：
2016-12-03 18:10:23
阅读次数：
1118
