若 $f$ 二阶可微, 则 $f$ 为凸 iff 定义域为凸且对定义域中任意 $x$, $$\nabla^2 f(x)\succeq 0.$$ 注意这里的 $\nabla^2$ 不是指 Laplace 算子, 而是求 Hesse 矩阵. 时间戳测试 233 ...
分类：
其他好文 时间：
2019-02-22 10:22:48
阅读次数：
137
更新：5 JUN 2016 【多元函数Taylor展开】n元函数\(y=f(X)\)在\(X_0\)点的某个领域\(B(X_0,r)\)内二阶连续可微，则\(\forall X\in B(X_0,r), \exists \theta\in (0,1)\)，使得 \(f(X)=f(X_0)+Jf(X_... ...
分类：
其他好文 时间：
2016-06-05 18:42:46
阅读次数：
231
1.最速下降法（也叫梯度下降法） 负梯度方向、一维搜索步长、上一次的搜索方向和下一次的方向是正交的，所以会产生锯齿现像，因此影响了收敛的速度，特别是当x接近于收敛点的时候。 2.牛顿法 采用Hesse矩阵和梯度来迭代x，从而产生一系列x点。要求Hesse矩阵非奇异而且正定，如果不是，则无法...
分类：
其他好文 时间：
2015-09-07 12:50:26
阅读次数：
168
一、BFGS算法
在“优化算法——拟牛顿法之BFGS算法”中，我们得到了BFGS算法的校正公式：
利用Sherman-Morrison公式可对上式进行变换，得到
令，则得到：
二、BGFS算法存在的问题
在BFGS算法中，每次都要存储近似Hesse矩阵，在高维数据时，存储浪费很多的存储空间，而在实际的...
分类：
编程语言 时间：
2015-06-06 18:14:07
阅读次数：
280
牛顿迭代法1概念：
Jacobi 矩阵：又称为雅克比矩阵。如果f(x)是标量函数，那么雅克比矩阵是一个向量，等于 f(x) 的梯度。如果f(x)是向量函数，那么雅克比矩阵是二维矩阵，hession矩阵是三维矩阵。
梯度是 Jacobian 矩阵的特例，梯度的 jacobian 矩阵就是 Hesse 矩阵。
hession矩阵:又称海森矩阵，黑塞矩...
分类：
其他好文 时间：
2015-05-25 22:30:07
阅读次数：
277
一、牛顿法
在博文“优化算法——牛顿法(Newton
Method)”中介绍了牛顿法的思路，牛顿法具有二阶收敛性，相比较最速下降法，收敛的速度更快。在牛顿法中使用到了函数的二阶导数的信息，对于函数，其中表示向量。在牛顿法的求解过程中，首先是将函数在处展开，展开式为：
其中，，表示的是目标函数在的梯度，是一个向量。，表示的是目标函数在处的Hesse矩阵。省略掉...
分类：
编程语言 时间：
2015-05-19 22:37:25
阅读次数：
493
L-BFGS算法比较适合在大规模的数值计算中，具备牛顿法收敛速度快的特点，但不需要牛顿法那样存储Hesse矩阵，因此节省了大量的空间以及计算资源。本文主要通过对于无约束最优化问题的一些常用算法总结，一步步的理解L-BFGS算法，本文按照最速下降法 - 牛顿法 - 共轭梯度法 - 拟牛顿法 - DFP...
分类：
其他好文 时间：
2014-10-14 17:37:39
阅读次数：
349
最速下降法采用负梯度方向进行一维搜索，总体上看搜索速度应该是比较快，但是当迭代进行到靠近精确最优点时，会出现锯齿形搜索路径，这样就会大大降低搜索效率，所以通常在搜索前期采用最速下降法，当接近精确最优解时，改用牛顿法等其他在最优解附近搜索效率更高的方法。但是牛顿法也有缺点：一方面需要计算Hesse矩阵...
分类：
其他好文 时间：
2014-10-09 15:03:43
阅读次数：
181
