码迷,mamicode.com
首页 > 其他好文 > 详细

机器学习基石:14 Regularization

时间:2017-10-18 23:12:22      阅读:305      评论:0      收藏:0      [点我收藏+]

标签:ges   可能性   不为   拉格朗日乘子   span   com   通过   使用   直接   

一、正则化的假设集合

通过从高次多项式的H退回到低次多项式的H来降低模型复杂度,

以降低过拟合的可能性,

如何退回?

技术分享

通过加约束条件:

技术分享

如果加了严格的约束条件,

没有必要从H10退回到H2,

直接使用H2就可以了。

技术分享

加上松弛点的约束条件,

使得模型比H2复杂,

但到不了H10那么复杂。

技术分享技术分享

二、权重衰减正则化

技术分享

通过拉格朗日乘子法处理带约束的优化问题,

只看谷的话,需沿着梯度反方向下降到谷底;

只看超球面的话,需沿着垂直于法向量的方向滚;

判断当前W是否是最优解就看它能否在超球面上的同时还能向更接近谷底的方向滚,

数学上,可理解为梯度反方向在法向量方向上投影不为0,

否则,即梯度反方向平行于当前法向量,此时已经是最优解。

------可视化解释。

也可以通过求导证到相同结论。

技术分享

技术分享技术分享

权重衰减正则项------权重大小受到限制。

技术分享技术分享

技术分享

三、正则化和VC理论

正则化后,

有效VC维变小。

技术分享技术分享技术分享

四、通用正则项

通用正则项选择:

基于目标的,情理上说得通的,便于求解的。

与代价函数选择类似。

技术分享技术分享技术分享

机器学习基石:14 Regularization

标签:ges   可能性   不为   拉格朗日乘子   span   com   通过   使用   直接   

原文地址:http://www.cnblogs.com/cherrychenlee/p/7602409.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!