码迷,mamicode.com
首页 > 其他好文 > 详细

机器学习---正则化

时间:2020-05-30 22:03:08      阅读:108      评论:0      收藏:0      [点我收藏+]

标签:选择   训练   ima   一个   删除   正则   lam   for   https   

正则化的目的是为了防止过拟合,降低模型的复杂度。

正则化的打开方式:

在目标函数后面添加一个系数的“惩罚项”。

 

技术图片

 

式中, 技术图片 是一个常数, 技术图片 为样本个数, 技术图片 是一个超参数,用于控制正则化程度。

 

1、L1正则化:在目标函数后面加了所有特征系数的绝对值之和。L1正则化更适用于特征选择,每次更新过程中会减去或加上一个常数,容易产生特征系数为 0 的情况,因此会让特征变得稀疏。

技术图片

 

2、L2正则化: 在目标函数后加上了所有特征系数的平方和。L2正则化更适用于防止模型过拟合,每次更新时对特征系数进行一个比例的缩放,这会让系数趋向变小而不会变为 0,因此L2正则化会让模型变得更简单,防止过拟合,而不会起到特征选择的作用。

 技术图片

 

 3、dropout:每一次的迭代中都会随机删除,只训练剩下的节点,每次迭代删除的节点不一样,相当于每次迭代训练的都是不一样的网络。

设置一个超参数 keep_prob,比如将 keep_prob 设置为 0.7,那么就会随机30%的节点消失,消失这个动作其实很简单,只是将这一层的参数矩阵与根据 keep_prob 生成的 {0, 1} 矩阵做 逐点乘积,

 https://www.jianshu.com/p/569efedf6985

机器学习---正则化

标签:选择   训练   ima   一个   删除   正则   lam   for   https   

原文地址:https://www.cnblogs.com/gaona666/p/12994695.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!