Logistic回归的理论内容上篇文章已经讲述过，在求解参数时可以用牛顿迭代，可以发现这种方法貌似太复杂，今天我们介绍另一种方法，叫梯度下降。当然求最小值就是梯度下降，而求最大值相对就是梯度上升。由于，如果，那么得到现在我们要找一组，使得所有的最接近，设现在我们要找一组，使得最小。这就是今天要介绍的...
分类：
编程语言 时间：
2014-10-15 22:52:11
阅读次数：
960
最小值：梯度下降；最大值：梯度上升（1）批量梯度下降---最小化所有训练样本的损失函数，使得最终求解的是全局的最优解，即求解的参数是使得风险函数最小。（2）随机梯度下降---最小化每条样本的损失函数，虽然不是每次迭代得到的损失函数都向着全局最优方向， 但是大的整体的方向是向全局最优解的，最终的结果往...
分类：
其他好文 时间：
2014-09-14 15:12:47
阅读次数：
295
之前我们在求Logistic回归时，用的是梯度上升算法，也就是要使得似然函数最大化，利用梯度上升算法，不断的迭代。这节课引出牛顿方法，它的作用和梯度上升算法的一样的，不同的是牛顿方法所需的迭代次数更少，收敛速度更快。红色曲线是利用牛顿法迭代求解，绿色曲线是利用梯度下降法求解。牛顿法：wiki牛顿法（...
分类：
其他好文 时间：
2014-09-10 15:30:40
阅读次数：
317
二种类别的点在平面上分布，我想找到一条直线，将平面划为两半边，每一边的点类别尽可能的统一，如何找到效果最佳的分界线，这就是最佳拟合问题，也叫作回归问题。 这次，代码很少。logRegres.py #?coding:utf-...
分类：
其他好文 时间：
2014-07-21 10:24:21
阅读次数：
321
Logistic回归主要用于医学中对流行病分析，或者对某种疾病的危险因素分析。通常用于二分类，也就是说因变量
只有两个，当然也可以用于多分类。
Logistic回归的理论内容上篇文章已经讲述过，在求解参数时可以用牛顿迭代，可以发现这种方法貌似
太复杂，今天我们介绍另一种方法，叫梯度下降。当然求最小值就是梯度下降，而求最大值相对就是梯度上升。
在Logistic回归中，由于，如果...
分类：
其他好文 时间：
2014-06-03 00:06:19
阅读次数：
353
1.梯度上升优化1).
伪代码：所有回归系数初始化为1-------------------weights = ones((colNum,1))重复r次：
计算整个数据集的梯度gradient 使用alpha*gradient更新回归系数的向量 返回回归系数weights2). 迭代r次的代码...
分类：
其他好文 时间：
2014-06-02 18:11:41
阅读次数：
271
回顾上次内容：http://blog.csdn.net/acdreamers/article/details/27365941
经过上次对Logistic回归理论的学习，我们已经推导出取对数后的似然函数为
现在我们的目的是求一个向量，使得最大。其中
对这个似然函数求偏导后得到...
分类：
其他好文 时间：
2014-06-01 04:34:43
阅读次数：
410
