梯度下降法存在的问题 梯度下降法的基本思想是函数沿着其梯度方向增加最快，反之，沿着其梯度反方向减小最快。在前面的线性回归和逻辑回归中，都采用了梯度下降法来求解。梯度下降的迭代公式为：\(\begin{aligned} \theta_j=\theta_j-\alpha\frac{\partial\;....
分类：
其他好文 时间：
2015-04-20 16:26:05
阅读次数：
3950
Logistic Regression
之前我们讨论过回归问题，并且讨论了线性回归模型。现在我们来看看分类问题，分类问题与回归问题类似，只不过输出变量一个是离散的，一个是连续的。我们先关注二分类问题，假设
输出变量 yy 只能取 0 或者 1 两个值，直观上，对于所有的输入变量，我们都希望可以映射到 [0-1] 的范围内, 为此，我们可以建立如下的函数：
hθ(x)=g(θTx)=11+e?...
分类：
其他好文 时间：
2015-04-17 18:19:53
阅读次数：
277
本节将一下逻辑回归和R语言实现，逻辑回归(LR，LogisticRegression)其实属于广义回归模型，根据因变量的类型和服从的分布可以分为，普通多元线性回归模型，和逻辑回归，逻辑回归是指因变量是离散并且取值范围为{0，1}两类，如果离散变量取值是多项即变为 multi-class classification，所以LR模型是一个二分类模型，可以用来做CTR预测等。那么我们现在来引出逻辑回归如何做二分类问题。...
分类：
编程语言 时间：
2015-04-15 19:38:05
阅读次数：
737
这节课的学习，相信一般上过统计或者运筹相关课程的同学应该都会有所了解。课上涉及的知识虽然很基础，但是也是很重要的。 在搜集了一些房价相关数据的基础上，利用线性回归算法来预测房价。 为了方便算法的训练推导，进行了很多符号的标准规定，从这当中也学到了一些知识，以后自己在进行一些算法的推导时也可学...
分类：
其他好文 时间：
2015-04-13 22:52:06
阅读次数：
203
本系列内容大部分来自Standford公开课machine learning中Andrew老师的讲解，附加自己的一些理解，编程实现和学习笔记。第一章 Logistic regression1.逻辑回归逻辑回归是一种监督学习的分类算法，相比较之前的线性回归算法，差别在于它是一个分类算法，这也意味着y不...
分类：
其他好文 时间：
2015-04-12 11:56:50
阅读次数：
225
欠拟合与过拟合概念本次课程大纲：1、局部加权回归：线性回归的变化版本2、概率解释：另一种可能的对于线性回归的解释3、Logistic回归：基于2的一个分类算法4、感知器算法：对于3的延伸，简要讲复习：–第i个训练样本令，以参数向量为条件，对于输入x，输出为：n为特征数量定义成本函数J，定义为：m为训...
分类：
其他好文 时间：
2015-04-11 14:49:45
阅读次数：
193
【总目录】http://www.cnblogs.com/tbcaaa8/p/4415055.html1. 梯度下降法梯度下降法是一种用来寻找函数最小值的算法。算法的思想非常简单：每次沿与当前梯度方向相反的方向走一小步，并不断重复这一过程。举例如下：[例]使用梯度下降法，求的最小值。第一步：求解迭代格...
分类：
系统相关 时间：
2015-04-11 01:15:47
阅读次数：
199
监督学习应用与梯度下降本课内容：1、线性回归2、梯度下降3、正规方程组（复习）监督学习：告诉算法每个样本的正确答案，学习后的算法对新的输入也能输入正确的答案1、线性回归例：Alvin汽车，先让人开车，Alvin摄像头观看（训练），而后实现自动驾驶。本质是一个回归问题，汽车尝试预测行驶方向。例：上一节...
分类：
其他好文 时间：
2015-04-10 19:46:58
阅读次数：
135
这篇文章将介绍过拟合和欠拟合的概念，并且介绍局部加权回归算法。过拟合和欠拟合之前在线性回归中，我们总是将单独的x作为我们的特征，但其实我们可以考虑将，甚至x的更高次作为我们的特征，那么我们通过线性回归得到的就将是一个多次函数了。我们可以想象当我们只用x作为我们的特征的时候，我们的数据可能实际呈现的样...
分类：
其他好文 时间：
2015-04-08 21:08:58
阅读次数：
236
回归问题提出 首先需要明确回归问题的根本目的在于预测。对于某个问题，一般我们不可能测量出每一种情况（工作量太大），故多是测量一组数据，基于此数据去预测其他未测量数据。 比如课程给出的房屋面积、房间数与价格的对应关系，如下表： 若要测量出所有情况，不知得测到猴年马月了。有了上面这一组测量数据，我...
分类：
其他好文 时间：
2015-04-08 12:20:04
阅读次数：
126
