码迷,mamicode.com
首页 > 其他好文 > 详细

拉格朗日乘子法

时间:2018-01-22 23:05:28      阅读:290      评论:0      收藏:0      [点我收藏+]

标签:pow   lin   sign   lazy   理解   die   bbb   line   ref   

参考     拉格朗日乘子法如何理解?          拉格朗日乘子法

基本的拉格朗日乘子法就是求函数 f(x1,x2,...) 在约束条件 g(x1,x2,...)=0 下的极值的方法。
其主要思想是将约束条件函数与原函数联立,从而求出使原函数取得极值的各个变量的解。
 
计算过程:
1. 假设需要求极值的目标函数 (objective function) 为 f(x,y),限制条件为φ(x,y)=M
2. 设
技术分享图片
3. 定义一个新函数
技术分享图片
4. 用偏导数方法列出方程:
技术分享图片
技术分享图片
技术分享图片
5. 求出 x,y,λ的值,代入即可得到目标函数的极值
如何理解:
代数法:

求一个多元函数 技术分享图片 在条件 技术分享图片 下的极值, 实际上是求前者在后者定义域下的极值。

而求函数 技术分享图片 的无条件极值,极值存在的条 件为技术分享图片 的所有偏导数等于 0。

关键的一点来了,由于 技术分享图片 也是 技术分享图片 的变量,所以 技术分享图片技术分享图片 的偏导数为 0 相当于要求 技术分享图片

这恰好使 技术分享图片 的除 技术分享图片 外的所有变量被限制在 技术分享图片 的定义域内。

而在这个定义域内,显然 技术分享图片 恒等于 0,于是有 技术分享图片 ,求 技术分享图片 的有条件极值问题被转化为求 技术分享图片 的无条件极值问题。

 

几何法1:

这个可以比较直观的解释。

想象一下,目标函数技术分享图片是一座山的高度,约束技术分享图片是镶嵌在山上的一条曲线如下图。

技术分享图片

你为了找到曲线上的最低点,就从最低的等高线(0 那条)开始网上数。数到第三条,等高线终于和曲线有交点了(如上图所示)。因为比这条等高线低的地方都不在约束范围内,所以这肯定是这条约束曲线的最低点了。

而且约束曲线在这里不可能和等高线相交,一定是相切。因为如果是相交的话,如下图所示,那么曲线一定会有一部分在 B 区域,但是 B 区域比等高线低,这是不可能的。


技术分享图片
两条曲线相切,意味着他们在这点的法线平行,也就是法向量只差一个任意的常数乘子(取为技术分享图片):技术分享图片, 我们把这个式子的右边移到左边,并把常数移进微分算子,就得到技术分享图片
把这个式子重新解释一下,这个就是函数技术分享图片无约束情况下极值点的充分条件。
 
几何法2:

拉格朗日乘数法(Lagrange multiplier)有很直观的几何意义。
举个 2 维的例子来说明:
假设有自变量 x 和 y,给定约束条件 g(x,y)=c,要求 f(x,y) 在约束 g 下的极值。

我们可以画出 f 的等高线图,如下图。此时,约束 g=c 由于只有一个自由度,因此也是图中的一条曲线(红色曲线所示)。显然地,当约束曲线 g=c 与某一条等高线 f=d1 相切时,函数 f 取得极值。
两曲线相切等价于两曲线在切点处拥有共线的法向量。因此可得函数 f(x,y) 与 g(x,y) 在切点处的梯度(gradient)成正比。
于是我们便可以列出方程组求解切点的坐标 (x,y),进而得到函数 f 的极值。

技术分享图片

拉格朗日乘子法

标签:pow   lin   sign   lazy   理解   die   bbb   line   ref   

原文地址:https://www.cnblogs.com/dahu-daqing/p/8331255.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!