一、正则化应用于基于梯度下降的线性回归 上一篇文章我们说过，通过正则化的思想，我们将代价函数附加了一个惩罚项，变成如下的公式： 那么我们将这一公式套用到线性回归的代价函数中去。我们说过，一般而言θ0我们不做处理，所以我们把梯度下降计算代价函数最优解的过程转化为如下两个公式。 我们通过j>0的式子，能... ...
分类：
其他好文 时间：
2017-03-17 00:12:37
阅读次数：
214
灵感 因为最近一直在做rnn based NLP，其中无论是什么cell，lstm， GRU或者cnn都是基于单词的embedding表示；单词的embdding就是把每个单词表示成一个向量， 然后通过bp训练这些向量的值，这种想法很奇妙，于是我尝试性的把这种思想用在logistic regress ...
分类：
其他好文 时间：
2017-03-16 18:36:09
阅读次数：
264
本次回归章节的思维导图版总结已经总结完毕，但自我感觉不甚理想。不知道是模型太简单还是由于自己本身的原因，总结出来的东西感觉很少，好像知识点都覆盖上了，但乍一看，好像又什么都没有。不管怎样，算是一次尝试吧，慢慢地再来改进。在这里再梳理一下吧！ 线性回归（Linear Regression） 给定一些数 ...
分类：
其他好文 时间：
2017-03-12 15:29:11
阅读次数：
329
1、概念 一元线性回归是最简单的一种模型，但应用广泛，比如简单地预测商品价格、成本评估等，都可以用一元线性模型，本节主要讲解scikit-learn一元线性回归的使用以及作图说明。 y=f(x)叫做一元函数，回归的意思就是根据已知数据复原某些值，线性回归(regression)就是用线性的模型做回归 ...
分类：
其他好文 时间：
2017-03-11 23:35:33
阅读次数：
253
logistic回归的主要思想： 已知样本数目为m，特征(feature)数目为n。 给出假设h(X)=g(X*theta) g(z)是sigmiod函数：g(z)=1/(1+exp(-z)) 考虑分类器问题：Y取值为0或1，同样地，h(X)取值为0或1。 则P(y|x;theta)=h(x)^y* ...
分类：
其他好文 时间：
2017-03-10 20:37:27
阅读次数：
161
一、probit回归模型在R中，可以使用glm函数(广义线性模型)实现，只需将选项binomial选项设为probit即可，并使用summary函数得到glm结果的细节，但是和lm不同，summary对于广义线性模型并不能给出决定系数，需要使用pscl包中的pR2函数得到伪决定系数，然后再使用sum ...
分类：
编程语言 时间：
2017-03-09 19:45:50
阅读次数：
12260
一、为什么不使用Linear Regression 一个简单的例子：如果训练集出现跨度很大的情况，容易造成误分类。如图所示，图中洋红色的直线为我们的假设函数。我们假定，当该直线纵轴取值大于等于0.5时，判定Malignant为真，即y=1，恶性肿瘤；而当纵轴取值小于0.5时，判定为良性肿瘤，即y=0... ...
分类：
其他好文 时间：
2017-03-07 23:01:38
阅读次数：
174
一、为什么不用Linear Regression的Cost Function来衡量Logistic Regression的θ向量 回顾一下，线性回归的Cost Function为 我们使用Cost函数来简化上述公式： 那么通过上一篇文章，我们知道，在Logistic Regression中，我们的假... ...
分类：
其他好文 时间：
2017-03-07 22:38:34
阅读次数：
371
1 摘要 本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识。前四节主要讲述了回归问题，回归属于有监督学习中的一种方法。该方法的核心思想是从连续型统计数据中得到数学模型，然后将该数学模型用于预测或者分类。该方法处理的数据可以是多维的。 讲义最初介绍了一个基本问题，然后引出了线性回 ...
分类：
其他好文 时间：
2017-03-02 15:21:47
阅读次数：
340
本文对应《R语言实战》第13章：广义线性模型 广义线性模型扩展了线性模型的框架，包含了非正态因变量的分析。 两种流行模型：Logistic回归（因变量为类别型）和泊松回归（因变量为计数型） glm()函数的参数 分布族 默认的连接函数 binomial (link = “logit”) gaussi ...
分类：
编程语言 时间：
2017-02-28 22:03:29
阅读次数：
845
