一、机器学习正则化 无论是机器学习还是深度学习，正则化都是一项关键的技术。其实现阶段，我们的模型都可以在训练集上去的比较好的效果，但我们的模型在测试集上的效果才是我们所关心的。因此正则化就显得尤为重要，正则化可以防止模型过拟合，增加鲁棒性。 总的来说，监督学习的核心原理就是如下公式 ： ... ...
分类：
其他好文 时间：
2018-11-20 13:24:05
阅读次数：
116
Dropout是过去几年非常流行的正则化技术，可有效防止过拟合的发生。但从深度学习的发展趋势看，Batch Normalizaton(简称BN)正在逐步取代Dropout技术，特别是在卷积层。本文将首先引入Dropout的原理和实现，然后观察现代深度模型Dropout的使用情况，并与BN进行实验比对 ...
分类：
其他好文 时间：
2018-11-14 14:25:15
阅读次数：
295
恢复内容开始 在机器学习中，有时候我们基于一个数据集训练的模型对该模型的正确率非常高，而该模型对没有见过的数据集很难做出正确的响应；那么这个模型就存在过拟合现象。 为了缓解或避免过拟合现象，我们通常用的方法是采用正则化方法（Regularization）。 1 正则化基本理解 1.1 正则化公式的引 ...
分类：
其他好文 时间：
2018-11-03 20:21:45
阅读次数：
126
正则化后的线性回归模型 模型 \[{h_\theta }\left( x \right) = {\theta _0} + {\theta _1}x + {\theta _2}{x^2} + {\theta _3}{x^3} + {\theta _4}{x^4}\] \[J\left( \theta ...
分类：
其他好文 时间：
2018-10-31 20:50:41
阅读次数：
284
过拟合：过拟合的时候，拟合函数的系数往往非常大 过拟合，就是拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈。 这就意味着函数在某些小区间里的导数值（绝对值）非常大 监督学习可以看做最小化下面的目标函数： 第1项为经验风险，即模型f(x)关于训练数据集的平 ...
分类：
其他好文 时间：
2018-10-29 16:06:39
阅读次数：
200
线性回归例子 如果 \[{h_\theta }\left( x \right) = {\theta _0} + {\theta _1}x\] 通过线性回归得到的曲线可能如下图 这种情况下，曲线对数据的拟合程度不好。这种情况称为“Underfit”，这种情况属于“High bias”（高偏差）。 如果 ...
分类：
其他好文 时间：
2018-10-27 00:14:27
阅读次数：
165
 