感知机算法属于比较简单的分类器算法,但是跟逻辑回归和支持向量机一样属于构建分类超平面。
不同的是感知机采用分错的样本与分类超平面的距离作为损失函数,下面的算法基于随机梯度下降法,采用异步方式达到收敛状态
function [w,b]=perceptionLearn(x,y,learningRate,maxEpoch)
% Perception Learn Algorithm
% x...
分类:
编程语言 时间:
2015-06-19 23:06:59
阅读次数:
1995
Weighted Base Algorithm(1)基本算法引入权重
加权这类算法给每个数据一个权重,这个权重可以看做是该数据点有几份。在之前介绍的SVM算法中,对于一个错误扣除C的分数,而对错误加权之后,每个数据点将扣除C·un这个多的分数,这个参数经过二次规划的计算之后,就会到α的上限中去。
对于逻辑回归来说,un可以作为样本(xn,yn)的抽样比例。
这两个例子说明将权重系数放入具体...
分类:
其他好文 时间:
2015-06-11 22:57:59
阅读次数:
184
逻辑分布(Logistic distribution)公式 P(Y=1│X=x)=exp(x‘β)/(1+exp(x‘β)) 其中参数β常用极大似然估计。 Logit模型是最早的离散选择模型,也是目前应用最广的模型。 Logit模型的应用广泛性的原因主要是因为其...
分类:
其他好文 时间:
2015-06-11 09:40:08
阅读次数:
133
在之前的札记中,尤其是统计语言模型中,我们常提到贾里尼克的名字,弗里德里克·贾里尼克博士是成功将数学原理应用于自然语言处理领域的大师。 ? ??贾里尼克博士生于1932年11月18日,卒于2010年9月14日...
分类:
编程语言 时间:
2015-06-09 17:53:47
阅读次数:
195
1948年,香农在著名论文“通信的数学原理”中提出了“信息熵”的概念,解决了信息的度量问题,并且量化出信息的作用。 ? ? 香农使用了“比特”(Bit)这个概念来度量信息量。一个比特是一位二进制数,计算...
分类:
其他好文 时间:
2015-06-07 18:59:36
阅读次数:
265
注:由于自己画图实在太难画,本文中基本所有插图来源于算法团子机器学习班,请勿转载
1.普通的机器学习模型:
其实,基本上所有的基本机器学习模型都可以概括为以下的特征:根据某个函数,将输入计算并输出。图形化表示为下图:
当我们的g(h)为sigmoid函数时候,它就是一个逻辑回归的分类器。当g(h)是一个只能取0或1值的函数时,它就是一个感知机。那么问题来了,这一类模型有明显缺陷:当模...
分类:
编程语言 时间:
2015-06-03 17:47:51
阅读次数:
10752
http://blog.csdn.net/viewcode/article/details/8794401回归问题的条件/前提:1) 收集的数据2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数。然后利用这个模型去预测/分类新的数据。1. 线性回归假设 特征 和 结果 ...
分类:
其他好文 时间:
2015-05-30 19:47:01
阅读次数:
212
The Analytics Edge的中文名称应该叫做《数据分析的极限》,来自MITx。这门课最大的特点就是通过各种应用,介绍机器学习和优化的方法,使用的是统计学专用的语言R,所介绍的方法都是最经典的算法。机器学习中,监督学习的算法介绍了线性回归、逻辑回归、决策树与随机森林,非监督学习的算法介绍了分...
分类:
其他好文 时间:
2015-05-29 23:02:46
阅读次数:
2623
向量的表示及协方差矩阵http://blog.csdn.net/songzitea/article/details/18219237PCA的数学原理http://blog.codinglabs.org/articles/pca-tutorial.html1、将X的每一行(代表一个属性字段)进行零均值...
分类:
其他好文 时间:
2015-05-27 12:05:36
阅读次数:
262
逻辑回归和其他回归的异同,及其如何选择关于权值的更新函数问题。用最大似然估计来选取costfunction...
分类:
其他好文 时间:
2015-05-20 16:22:55
阅读次数:
2937