1.最速下降法（也叫梯度下降法） 负梯度方向、一维搜索步长、上一次的搜索方向和下一次的方向是正交的，所以会产生锯齿现像，因此影响了收敛的速度，特别是当x接近于收敛点的时候。 2.牛顿法 采用Hesse矩阵和梯度来迭代x，从而产生一系列x点。要求Hesse矩阵非奇异而且正定，如果不是，则无法...
分类：
其他好文 时间：
2015-09-07 12:50:26
阅读次数：
168
回归与梯度下降： 回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归，等等，这个将在后面去讲。 用一个很简单的例子来说明回归，这...
分类：
其他好文 时间：
2015-09-07 12:37:30
阅读次数：
261
1、SMO算法需要存储核矩阵吗？其他算法了？2、SVM处理海量数据的困难在哪？3、SVM对偶问题得到的凸二次规划问题求解可以使用梯度下降、拟牛顿法等方法吗？ 参考博客的说法：不论是向量维度大或者是样本量很大的时候，求解这个优化问题难度都不小，于是在解得稀疏性(比如只需要得到支持向量)、目标函数的凸....
分类：
其他好文 时间：
2015-09-04 19:46:17
阅读次数：
137
FOBOS由John Duchi和Yoram Singer提出，翻译为前进后退分离法。算法主要目的是要在进行在线学习实现以下目标（1）减少在线学习方法只用一条样本的梯度计算产生的误差（2）实现特征的稀疏性 算法原理FOBOS将权重的更新分为两个步骤：（1）前向标准梯度下降 （2）后向梯度微调...
分类：
编程语言 时间：
2015-08-25 18:46:08
阅读次数：
276
在线最优化求解(Online Optimization)之四：RDA转载自：http://www.wbrecom.com/?p=394；作者是大牛不论怎样，简单截断、TG、FOBOS都还是建立在SGD的基础之上的，属于梯度下降类型的方法，这类型方法的优点就是精度比较高，并且TG、FOBOS也都能在稀...
分类：
编程语言 时间：
2015-08-25 18:38:29
阅读次数：
402
一步了解常见的梯度下降法主要有两种：（1）批量梯度下降法 （2）随机梯度下降法为预测值，要拟合的函数设为，那么误差准则函数为 这是典型的线性回归问题，现在的目的是使得这个误差准则函数的值最小化，可以用如下两种梯度下降法。（1）批量梯度下降法批量梯度下降法需要把个样本全部带入计算，迭代一次计算量为，先...
分类：
编程语言 时间：
2015-08-19 13:01:00
阅读次数：
419
实例
首先举个例子，假设我们有一个二手房交易记录的数据集，已知房屋面积、卧室数量和房屋的交易价格，如下表：
假如有一个房子要卖，我们希望通过上表中的数据估算这个房子的价格。这个问题就是典型的回归问题，这边文章主要讲回归中的线性回归问题。
线性回归（Linear Regression）
首先要明白什么是回归。回归的目的是通过几...
分类：
其他好文 时间：
2015-08-17 08:49:45
阅读次数：
296
线性回归中提到最小二乘损失函数及其相关知识。对于这一部分知识不清楚的同学可以参考上一篇文章《线性回归、梯度下降》。本篇文章主要讲解使用最小二乘法法构建损失函数和最小化损失函数的方法。
最小二乘法构建损失函数
最小二乘法也一种优化方法，用于求得目标函数的最优值。简单的说就是：让我们的预测值与真实值总的拟合误差（即总残差）达到最小。
在线性回归中使用最小二乘...
分类：
其他好文 时间：
2015-08-17 08:49:42
阅读次数：
690
前段时间放假在家的时候，总算是看完了斯坦福的机器学习公开课（Andrew NG）的监督学习，这项计划持续了将近一个学期。无监督学习和强化学习部分暂时还不太想看，目前来说监督学习与我现在的情况更契合一些。看完监督学习部分，对机器学习的了解又深了一些，加上之前帮师兄做实验，从工程角度和理论角度共同推进，...
分类：
其他好文 时间：
2015-08-11 18:31:04
阅读次数：
168
牛顿方法 转载请注明出处：http://www.cnblogs.com/BYRans/ 在讲义《线性回归、梯度下降》和《逻辑回归》中我们提到可以用梯度下降或梯度上升的方式求解θ。在本文中将讲解另一种求解θ的方法：牛顿方法（Newton's method）。牛顿方法（Newton's method） ...
分类：
其他好文 时间：
2015-08-11 12:04:33
阅读次数：
233
