原题是写一个BP神经网络来拟合西瓜数据集，西瓜数据集我已经数值化了如下： 而后调用pybrain的库建立具有50个单元的单隐层神经网络，如下 下面分别是训练10000次和1000次的效果对比： 可以看到10000次的训练误差明显要低的多，但是有可能有过拟合问题。 参考文章：http://www.ze ...
分类：
其他好文 时间：
2016-07-02 01:50:34
阅读次数：
1017
1.训练误差：学习器在训练集上的误差，也称“经验误差” 2.泛化误差：学习器在新样本上的误差 显然，我们的目标是得到在新样本上表现更好的学习器，即泛化误差要小 3.过拟合：学习器把训练样本学的太好了，导致泛化性能下降（学过头了。。。让我联想到有些人死读书，读死书，僵化，不懂得变通和举一反三） 原因： ...
分类：
其他好文 时间：
2016-06-30 12:32:55
阅读次数：
183
训练webface 李子青提出的大网络，总是出现过拟合，效果差。 尝试使用batchnorm。
参考博客： http://blog.csdn.net/malefactor/article/details/51549771 cnn 和rnn 中如何引入batchnorm
http://blog.csdn.net/happynear/article/details/44238541 Google...
分类：
其他好文 时间：
2016-06-29 13:27:27
阅读次数：
2019
目录 1 L2惩罚项 1.1 惩罚项 1.2 L2惩罚项与过拟合 1.3 多目标值线性模型2 特征值分解3 奇异值分解4 总结5 参考资料 1 L2惩罚项 1.1 惩罚项 为了防止世界被破坏，为了维护世界的和平……不好意思，这篇一开头就荒腔走板！某些线性模型的代价函数包括惩罚项，我们从书本或者经验之 ...
分类：
其他好文 时间：
2016-06-26 11:37:37
阅读次数：
186
过拟合，在Tom M.Mitchell的《Machine Learning》中是如何定义的：给定一个假设空间H，一个假设h属于H，如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小，但在整个实例分布上h’比h的错误率小，那么就说假设h过度拟合训练数据。 也就是说，某一假设过度的拟合了训 ...
分类：
其他好文 时间：
2016-06-12 12:13:22
阅读次数：
719
特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。
特征选择主要有两个功能：
减少特征数量、降维，使模型泛化能力更强，减少过拟合增强对特征和特征值之间的理解...
分类：
其他好文 时间：
2016-06-12 03:17:06
阅读次数：
324
Geoffery Hinton教授的Neuron Networks for Machine Learning的第八讲为可选部分，好像很难，这里就先跳过了，以后有用的时候再回来补。第九讲介绍了避免过拟合，提高模型的泛化能力。...
分类：
其他好文 时间：
2016-05-22 12:36:36
阅读次数：
1840
正则化方法：防止过拟合，提高泛化能力 在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出 ...
分类：
其他好文 时间：
2016-05-13 20:37:39
阅读次数：
174
学过一点统计的人都会知道最小二乘法，最简单的曲线拟合方式。最小二乘法是通过最小化误差平方和来求解模型参数ω\omega的，记为：
Min12∑i=1n{y(x,ω)?t}2 Min\frac{1}{2}\sum_{i=1}^{n}\{y(x,\omega)-t\}^{2}
但这一优化目标难免出现模型过拟合的情况，所以通常会在误差平方和之上在加上一项λωTω\lambda\omega^{T}\o...
分类：
其他好文 时间：
2016-05-13 04:19:46
阅读次数：
214
当假设空间含有不同复杂度（如不同参数数量）的模型时，就要进行模型选择。如果过度追求在训练数据集上误差小的模型，那么选出来的模型在测试数据集上的误差就可能很大，此时模型过拟合了训练数据集，图1显示了训练误差和测试误差与模型复杂度之间的关系。所以模型选择时应特别注意防止过拟合，本文首先回顾了过拟合，之后介绍防止过拟合常用的方法。过拟合若训练得到的模型的复杂度超过真实模型的复杂度，就称发生了过拟合，反之为...
分类：
其他好文 时间：
2016-05-12 21:49:40
阅读次数：
183
