梯度下降法和牛顿法是最常见的两个模型训练算法了，现在对这两个算法做一个比较：梯度下降法牛顿法迭代公式\[{w^{(k + 1)}} = {w^{(k)}} - \alpha \nabla J({w^{(k)}})\]\[{w^{(k + 1)}} = {w^{(k)}} - {H^{ - 1}}({...
分类：
其他好文 时间：
2015-05-18 18:33:45
阅读次数：
107
【总目录】http://www.cnblogs.com/tbcaaa8/p/4415055.html1. 用牛顿法解方程牛顿法是一种求解方程的迭代算法，也可以用于方程组的求解。其思想是利用方程（尤其是非线性方程）的线性部分，对原方程进行近似。不失一般性，考虑方程f(x)=0。对f(x)在x=t处进行...
分类：
系统相关 时间：
2015-05-01 23:43:10
阅读次数：
354
拟牛顿法(Quasi-Newton Methods)是求解非线性优化问题最有效的方法之一，于20世纪50年代由美国Argonne国家实验室的物理学家W. C. Davidon所提出来。Davidon设计的这种算法在当时看来是非线性优化领域最具创造性的发明之一。不久R.
Fletcher和M. J. D. Powell证实了这种新的算法远比其他方法快速和可靠，使得非线性优化这门学科在一夜之间突飞...
分类：
编程语言 时间：
2015-04-26 21:14:19
阅读次数：
224
Implement int sqrt(int x).Compute and return the square root of x.这道题也属于二分查找的变形主流的方法是用牛顿插值，牛顿法的思想参考http://blog.csdn.net/StarCXDJ/article/details/18051...
分类：
其他好文 时间：
2015-04-11 22:24:30
阅读次数：
116
题目：
实现sqrt(x)
思路：一般都是使用二分法，但是也可以使用牛顿法来实现更高的速度
#include
#include
#include
using namespace std;
int Sqrt(int num)
{
if(num == 1 && num == 0)
return num;
int low =1,high = num/2+1;
int mid;
...
分类：
其他好文 时间：
2015-04-08 10:57:54
阅读次数：
131
作者：jostree转载请注明出处http://www.cnblogs.com/jostree/p/4397990.html在机器学习中，求凸函数的极值是一个常见的问题，常见的方法如梯度下降法，牛顿法等，今天我们介绍一种三分法来求一个凸函数的极值问题。对于如下图的一个凸函数$f(x),x\in [l...
分类：
其他好文 时间：
2015-04-07 13:32:44
阅读次数：
168
#lang racket(define (newton-transform g) (define dx 0.00001) (define (deriv g) (lambda (x) (/ (- (g (+ x dx)) (g x)) dx) );lambda );de...
分类：
其他好文 时间：
2015-04-04 12:01:26
阅读次数：
130
发现一个问题，一旦牛顿法的一维搜索失败，函数不降反升。需要修改代码，从避免被吸引到Hessian非正定的局部极值点。同时发现昨天做的模型模拟的时候有限差商导数步长设太小了，提高导数步长之后（设成0.05），牛顿法收敛速度明显加快（往往第一次迭代把梯度长度从几十万降到1k左右，第二次迭代进一步降到几十...
分类：
其他好文 时间：
2015-02-15 10:42:09
阅读次数：
146
牛顿法
使用条件：目标函数具有二阶导数，且海塞矩阵正定。
优缺点： 收敛速度快、计算量大、很依赖初始点的选择。
算法的基本步骤：
由上面的步骤可得基本的算法流程图：...
分类：
编程语言 时间：
2015-02-09 12:51:12
阅读次数：
555
今天打算改进一维搜索算法要求一维搜索类做到以下几点：1.在失败时，能够返回失败的具体原因，以便根据不同情况分别处理2.尽可能找到使得函数充分下降的步长发现初始步长选得不是越小越好，太小的步长会出现数值误差，导致一维搜索出错能够把参数记下来下次使用当前采用了一些改进，包括1. 在共轭梯度法和牛顿法中，...
分类：
其他好文 时间：
2015-02-07 00:28:34
阅读次数：
222
