码迷,mamicode.com
首页 > 其他好文 > 详细

改善深层神经网络:超参数调试、正则化及优化

时间:2017-09-09 21:00:32      阅读:200      评论:0      收藏:0      [点我收藏+]

标签:最优   应用   检测   改善   --   贝叶斯   基础   实验   bsp   

第一周   深度学习的实用层面

1.1 训练、验证、测试集

应用机器学习是个高度迭代的过程:想法--->编码--->实验

(1)神经网络的层数

(2)隐含层神经元个数

(3)学习率

(4)激励函数

 

小规模数据:训练集70%,验证集30%   或者 训练60% 验证20% 测试20%

大规模数据:训练90%以上

注:可以没有测试集,验证集用于检测各种算法模型,选出最好的,验证集和测试集必须来源于同一分布

 

1.2 偏差、方差

人眼识别错误率(最优误差,贝叶斯误差)0%左右,训练集验证集来源于同一分布的前提下:

(1)训练集错误率1%,验证集错误率11%   -----> 高方差(high variance)

(2)训练集错误率15%,验证集错误率16% ----->高偏差(high bias)

(3)训练集错误率15%,验证集错误率30% ------>高方差,高偏差

(4)训练集错误率0.5%,验证集错误率1% ------->低偏差,低方差

 

1.3 机器学习基础

改善深层神经网络:超参数调试、正则化及优化

标签:最优   应用   检测   改善   --   贝叶斯   基础   实验   bsp   

原文地址:http://www.cnblogs.com/crazybird123/p/7499148.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!