码迷,mamicode.com
首页 > 其他好文 > 详细

最优化学习3

时间:2019-01-08 12:15:14      阅读:98      评论:0      收藏:0      [点我收藏+]

标签:迭代   函数   最优   化学   -o   mat   梯度下降法   学习   math   

对几个经典方法的整理和比较

手打一下公式

梯度下降法:面向任何函数,收敛速度一阶,有发散可能。梯度下降法考虑函数的一阶梯度,找到一个合理的迭代方向,但是不能确定步长。

只利用了当前点的切线的信息

$x = x_0 - \lambda\nabla{F(x)}$

 

牛顿法:面向任何函数,收敛速度二阶,有发散可能。使用了二阶的梯度,lllaaa

 

$f‘(x) \apporx f‘(x_0)       $

最优化学习3

标签:迭代   函数   最优   化学   -o   mat   梯度下降法   学习   math   

原文地址:https://www.cnblogs.com/zherlock/p/10237825.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!