码迷,mamicode.com
首页 > 其他好文 > 详细

TensorFLow: Gradient Clipping

时间:2020-04-24 21:48:01      阅读:86      评论:0      收藏:0      [点我收藏+]

标签:control   使用   sed   flow   param   port   optimize   orm   ini   

The parameters clipnorm and clipvalue can be used with all optimizers to control gradient clipping。
Keras的所有optimizer都可以使用clipnormclipvalue来防止梯度过大。

from keras import optimizers

# All parameter gradients will be clipped to
# a maximum norm of 1.
sgd = optimizers.SGD(lr=0.01, clipnorm=1.)
from keras import optimizers

# All parameter gradients will be clipped to
# a maximum value of 0.5 and
# a minimum value of -0.5.
sgd = optimizers.SGD(lr=0.01, clipvalue=0.5)

TensorFLow: Gradient Clipping

标签:control   使用   sed   flow   param   port   optimize   orm   ini   

原文地址:https://www.cnblogs.com/yaos/p/12770046.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!