Softmax回归：K分类问题， 2分类的logistic回归的推广。其概率表示为： 对于一般训练集： 系统参数为： Softmax回归与Logistic回归的关系 当Softmax回归用于2分类问题，那么可以得到： 令θ=θ0-θ1，就得到了logistic回归。所以... ...
分类：
其他好文 时间：
2017-04-05 23:57:07
阅读次数：
362
注：代价函数（有的地方也叫损失函数，Loss Function）在机器学习中的每一种算法中都很重要，因为训练模型的过程就是优化代价函数的过程，代价函数对每个参数的偏导数就是梯度下降中提到的梯度，防止过拟合时添加的正则化项也是加在代价函数后面的。在学习相关算法的过程中，对代价函数的理解也在不断的加深， ...
分类：
其他好文 时间：
2017-04-01 20:23:03
阅读次数：
396
简述： 1. LR 本质上是对正例负例的对数几率做线性回归，因为对数几率叫做logit，做的操作是线性回归，所以该模型叫做Logistic Regression。 2. LR 的输出可以看做是一种可能性，输出越大则为正例的可能性越大，但是这个概率不是正例的概率，是正例负例的对数几率。 3. LR的l ...
分类：
其他好文 时间：
2017-03-25 13:10:48
阅读次数：
340
本讲大纲： 1.牛顿方法(Newton’s method) 2.指数族(Exponential family) 3.广义线性模型(Generalized linear models) 本讲大纲： 1.牛顿方法(Newton’s method) 2.指数族(Exponential family) 3. ...
分类：
其他好文 时间：
2017-03-22 01:00:08
阅读次数：
317
一、正则化应用于基于梯度下降的线性回归 上一篇文章我们说过，通过正则化的思想，我们将代价函数附加了一个惩罚项，变成如下的公式： 那么我们将这一公式套用到线性回归的代价函数中去。我们说过，一般而言θ0我们不做处理，所以我们把梯度下降计算代价函数最优解的过程转化为如下两个公式。 我们通过j>0的式子，能... ...
分类：
其他好文 时间：
2017-03-17 00:12:37
阅读次数：
214
灵感 因为最近一直在做rnn based NLP，其中无论是什么cell，lstm， GRU或者cnn都是基于单词的embedding表示；单词的embdding就是把每个单词表示成一个向量， 然后通过bp训练这些向量的值，这种想法很奇妙，于是我尝试性的把这种思想用在logistic regress ...
分类：
其他好文 时间：
2017-03-16 18:36:09
阅读次数：
264
本次回归章节的思维导图版总结已经总结完毕，但自我感觉不甚理想。不知道是模型太简单还是由于自己本身的原因，总结出来的东西感觉很少，好像知识点都覆盖上了，但乍一看，好像又什么都没有。不管怎样，算是一次尝试吧，慢慢地再来改进。在这里再梳理一下吧！ 线性回归（Linear Regression） 给定一些数 ...
分类：
其他好文 时间：
2017-03-12 15:29:11
阅读次数：
329
logistic回归的主要思想： 已知样本数目为m，特征(feature)数目为n。 给出假设h(X)=g(X*theta) g(z)是sigmiod函数：g(z)=1/(1+exp(-z)) 考虑分类器问题：Y取值为0或1，同样地，h(X)取值为0或1。 则P(y|x;theta)=h(x)^y* ...
分类：
其他好文 时间：
2017-03-10 20:37:27
阅读次数：
161
一、probit回归模型在R中，可以使用glm函数(广义线性模型)实现，只需将选项binomial选项设为probit即可，并使用summary函数得到glm结果的细节，但是和lm不同，summary对于广义线性模型并不能给出决定系数，需要使用pscl包中的pR2函数得到伪决定系数，然后再使用sum ...
分类：
编程语言 时间：
2017-03-09 19:45:50
阅读次数：
12260
一、为什么不使用Linear Regression 一个简单的例子：如果训练集出现跨度很大的情况，容易造成误分类。如图所示，图中洋红色的直线为我们的假设函数。我们假定，当该直线纵轴取值大于等于0.5时，判定Malignant为真，即y=1，恶性肿瘤；而当纵轴取值小于0.5时，判定为良性肿瘤，即y=0... ...
分类：
其他好文 时间：
2017-03-07 23:01:38
阅读次数：
174
