syms f x1 x2 f=(1/2)*x1^2+x2^2; x=[2;1]; a=[1 0;0 2];% A g1=diff(f,x1); g2=diff(f,x2); g=[g1;g2];%导数 % x1 g11=subs(g1,{x1,x2},{x(1) x(2)}); g22=subs(g... ...
分类：
其他好文 时间：
2018-05-10 21:47:36
阅读次数：
1049
简介 简介 求解线性方程组有直接解法和迭代解法两种方法。与直接解法相比，迭代解法能够比较好地保持系数矩阵的稀疏性，在大型线性方程组的求解问题中得到了广泛应用。 比较典型的迭代算法有三种，古典迭代法、共轭梯度法和广义极小剩余(GMRES)法。 古典迭代法 古典迭代法 古典迭代法针对特定问题构造满足相容 ...
分类：
其他好文 时间：
2017-12-08 16:50:29
阅读次数：
239
我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入，博主越来越发现最优化方法的 ...
分类：
其他好文 时间：
2017-09-16 22:05:03
阅读次数：
237
http://blog.csdn.net/pipisorry/article/details/39891197共轭梯度法（Conjugate Gradient）共轭梯度法（英语：Conjugate gradient method）。是求解数学特定线性方程组的数值解的方法。当中那些矩阵为对称和正定。共 ...
分类：
其他好文 时间：
2017-08-16 18:21:59
阅读次数：
308
在效率上，共轭方向法位于最速下降法和牛顿法之间。它具有特性：对于n维二次型问题，能够在n步之内得到结果；共轭梯度法不需要计算海森矩阵；不需要求逆； 共轭方向： Q为n阶实对称矩阵，对于方向 d(0), d(1),... , d(m), 如果对于所有的 i 不等于 j ，有 d(i)TQd(j)=0， ...
分类：
编程语言 时间：
2016-12-04 23:08:40
阅读次数：
206
最速下降法/steepest descent，牛顿法/newton，共轭方向法/conjugate direction，共轭梯度法/conjugate gradient 及其他 拟牛顿法/Quasi-Newton，DFP算法/Davidon-Fletcher-Powell，及BFGS算法/Broyd ...
分类：
编程语言 时间：
2016-11-08 17:20:09
阅读次数：
162
Deep learning中的优化方法
三种常见优化算法：SGD（随机梯度下降），LBFGS（受限的BFGS），CG（共轭梯度法）。
1.SGD（随机梯度下降）
随机梯度下降(Stochastic Gradient Descent, SGD)是随机和优化相结合的产物，是一种很神奇的优化方法，属于梯度下降的一种，适用于大规模问题。
...
分类：
其他好文 时间：
2016-06-24 15:36:58
阅读次数：
629
牛顿法 一: 最速下降法 下降法的迭代格式为xk+1=xk–αkdk 一: 最速下降法 下降法的迭代格式为xk+1=xk–αkdk , 其中dk为下降方向, 设gk=?f(xk)≠0, 则下降方向要满足dTkgk<0. 当步长确定时, dTkgk的值越小, 即?dTkgk的值越大, 函数下降得越快. ...
分类：
其他好文 时间：
2016-03-31 21:44:30
阅读次数：
233
该方法是快速求解Ax=b线性系统的方法，他要求矩阵A是对称正定矩阵。
算法执行过程：
matlab实现：clear;%删除工作空间的所有变量,释放系统内存
clc;%清楚命名窗口
A=[4 1;1 3];
b=[1,2]';
N=length(b); %解向量的维数
fprintf('库函数计算结果：');
x=inv(A)*b %库函数计算结果
x=[2;1];...
分类：
其他好文 时间：
2015-07-25 18:35:23
阅读次数：
175
