做为一种监督学习模型，支持向量机(Supprot Vector Machine)在机器学习领域内很重要。首先，SVM用来干什么？一句话将，就是分类(Classification)。比较简单的分类，比如线性分类、Logistic 回归等等，得到的分类结果未必是最优的。而SVM则旨在找到一个最优的分类器。从这个目的出发，SVM提出了Soft Margin，Support Vector等等看似很直观的概...
分类：
其他好文 时间：
2015-01-30 16:12:41
阅读次数：
160
摘要：目前经典的统计学分析方法主要有回归分析，Logistic回归，决策树，支持向量机，聚类分析，关联分析，主成分分析，对应分析，因子分析等，那么对于这些经典的分析方法在R中的使用主要有那些程序包及函数呢？1、线性模型~回归分析：【包】：stats 【函数】：lm(formula, data, .....
分类：
其他好文 时间：
2015-01-23 14:41:06
阅读次数：
407
随机梯度上升法--一次仅用一个样本点来更新回归系数（因为可以在新样本到来时对分类器进行增量式更新，因而属于在线学习算法）梯度上升法在每次更新回归系统时都需要遍历整个数据集，该方法在处理100个左右的数据集时尚可，但如果有数十亿样本和成千上万的特征，那么该方法的计算复杂度太高了。随机梯度上升算法伪代码...
分类：
其他好文 时间：
2015-01-20 20:05:00
阅读次数：
265
【转载】对线性回归，logistic回归和一般回归的认识
分类：
其他好文 时间：
2015-01-16 12:31:24
阅读次数：
169
线性模型回顾
我们回顾一下之前的三种线性模型，它们的共同点是都要对输入的数据x做一个加权的分数s。
下图表示了这三种不同的线性模型的表示方式、误差函数和求解最小的Ein的方法。
这里可以看出，PLA算法这种线性分类模型，在求解Ein的时候是很困难的，相对而言，线性回归和logistic回归都有各自求解Ein的方法，那么我们能不能用这两种回归的计算方法来帮助...
分类：
其他好文 时间：
2015-01-13 21:34:53
阅读次数：
852
前面我们已经说了logistic回归，训练样本是，（且这里的是d维，下面模型公式的x是d+1维，其中多出来的一维是截距横为1，这里的y=±1也可以写成其他的值，这个无所谓不影响模型，只要是两类问题就可以），训练好这个模型中参数θ以后（或者是这个模型，这俩是一个模型），然后给入一个新的，我们就可以根据...
分类：
其他好文 时间：
2015-01-12 22:16:49
阅读次数：
302
soft binary classification
Logistics回归模型要解决的是分类问题，在之前的二元分类问题中，我们将数据分成正例和负例，但是像PLA算法一样，用单位阶跃函数来处理的这种瞬间跳跃的过程有时很难处理。于是，我们希望能得到正例的概率值是多少。
logistic regression的假设
我们在PLA和线性回归算法中都用数据的加权来计算一个分数...
分类：
其他好文 时间：
2015-01-11 17:50:58
阅读次数：
6277
聚类是一种无监督的学习，它将相似的对象归到同一个簇中。它有点像全自动分类（类别体系是自动构建的）。聚类方法几乎可以应用于所有对象，簇内的对象越相似，聚类的效果越好。本文要介绍一种称为K-均值（K-means）聚类的算法。之所以称之为K-均值是因为它可以发现k个不同的簇，且每个簇的中心采用簇中所含值的均值计算而成。...
分类：
编程语言 时间：
2015-01-08 17:58:36
阅读次数：
324
第一眼看到逻辑回归（Logistic Regression）这个词时，脑海中没有任何概念，读了几页后，发现这非常类似于神经网络中单个神经元的分类方法。书中逻辑回归的思想是用一个超平面将数据集分为两部分，这两部分分别位于超平面的两边，且属于两个不同类别（和SVM的想法有些相似），如下图：因此，一般的逻...
分类：
其他好文 时间：
2015-01-05 21:47:02
阅读次数：
553
三种类型：不喜欢的-1，魅力一般的-2，极具魅力的-3。样本特征：每年获得的飞行常客里程数，玩视频游戏所耗时间百分比，每周消费的冰淇淋公升数。 1 from numpy import * 2 import matplotlib 3 import matplotlib.pyplot as plt 4 ...
分类：
Web程序 时间：
2014-12-30 21:55:44
阅读次数：
267
