码迷,mamicode.com
首页 > 其他好文 > 详细

降低损失 :学习速率

时间:2020-04-02 15:51:48      阅读:91      评论:0      收藏:0      [点我收藏+]

标签:code   reference   tar   enc   style   cin   编程人员   获得   targe   

Reference: https://developers.google.com/machine-learning/crash-course/reducing-loss/learning-rate

 

Learning Rate

正如之前所述,梯度矢量具有方向和大小。梯度下降法算法用梯度乘以一个称为学习速率(有时也称为步长)的标量,以确定下一个点的位置。例如,如果梯度大小为 2.5,学习速率为 0.01,则梯度下降法算法会选择距离前一个点 0.025 的位置作为下一个点。

超参数是编程人员在机器学习算法中用于调整的旋钮。大多数机器学习编程人员会花费相当多的时间来调整学习速率。如果你选择的学习速率过小,就会花费太长的学习时间:

学习速率过小

技术图片

相反,如果你指定的学习速率过大,下一个点将永远在 U 形曲线的底部随意弹跳,就好像量子力学实验出现了严重错误一样:

学习速率过大

技术图片

每个回归问题都存在一个Goldilocks学习速率。Goldilocks值与损失函数的平坦程度相关。如果你知道损失函数的梯度较小,则可以放心地试着采用更大的学习速率,以补偿较小的梯度并获得更大的步长。

学习速率恰恰好技术图片

 

降低损失 :学习速率

标签:code   reference   tar   enc   style   cin   编程人员   获得   targe   

原文地址:https://www.cnblogs.com/agilestyle/p/12620057.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!