码迷,mamicode.com
首页 > 其他好文 > 详细

fine-tuning

时间:2017-04-25 19:58:19      阅读:130      评论:0      收藏:0      [点我收藏+]

标签:好的   gen   log   blog   训练   ima   参数   理想   自己的   

fine-tuning是微调的意思,是用别人训练好的模型(即pre-trained model),加上我们自己的数据,来训练新的模型。fine tune相当于使用别人的模型的前几层,来提取浅层特征,然后在最后再落入我们自己的分类中。

一般来说我们自己需要做的方向,比如在一些特定的领域的识别分类中,我们很难拿到大量的数据。因为像在ImageNet上毕竟是一个千万级的图像数据库,通常我们可能只能拿到几千张或者几万张某一特定领域的图像,比如识别衣服啊、标志啊、生物种类等等。在这种情况下重新训练一个新的网络是比较复杂的,而且参数不好调整,数据量也不够,因此fine-tuning微调就是一个比较理想的选择。

 

如果想网络中某几层参数不变,可以设置对应learning rate为0让这些层的参数不学习

 

关于fine-tuning两个比较好的博客:

http://www.cnblogs.com/louyihang-loves-baiyan/p/5038758.html

http://www.cnblogs.com/alexcai/p/5469478.html

知乎上的一个问题:

https://www.zhihu.com/question/35754716

fine-tuning

标签:好的   gen   log   blog   训练   ima   参数   理想   自己的   

原文地址:http://www.cnblogs.com/ymjyqsx/p/6763869.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!