过拟合原因 数据：数据不规范，数据量少，数据穿越，统计特征用到了未来的信息或者标签信息 算法：算法过于复杂 解决： 1、将数据规范化，处理缺失值，增加数据量，采样，添加噪声数据 2、正则化，控制模型复杂程度， 3、early stoping，减少迭代次数，减少树的深度， 4、学习率调大/小点、 5、 ...
分类：
编程语言 时间：
2017-11-04 15:00:56
阅读次数：
262
在之前的相关文章中笔者给出了一般回归的补充，即岭回归和LASSO回归，它们都是为了解决在回归过程中的过拟合问题，其具体解决方案就分别是在目标函数后增加2范数和1范数以限定参数的表现，对于岭回归而言，由于2使用范数的原因，这个目标函数仍是可导的，但对于LASSO回归而言，..
分类：
其他好文 时间：
2017-11-02 18:22:33
阅读次数：
254
在函数中加入一个正则项： 三种方式： 一、Ridge回归（岭回归）： 优点：具有较高的准确性、鲁棒性以及稳定性 缺点：求解速度慢 二、Lasso回归： 优点：求解速度快（原理降维计算，把数据维度中存在的噪音和冗余去除） 缺点：相比Ridge回归没有较高的准确性、鲁棒性以及稳定性 三、弹性网络： 特点 ...
分类：
其他好文 时间：
2017-10-29 11:20:40
阅读次数：
452
版权声明：本文为博主原创文章,转载请指明转载地址 一、纲要 欠拟合和过拟合 代价函数正则化 正则化线性回归 正则化逻辑回归 二、内容详述 1、欠拟合和过拟合 欠拟合，也叫高偏差，就是没有很好的拟合数据集的情况。如下图中的左图所示 过拟合，也叫高方差，就是虽然高阶多项式可以完美的拟合所有的数据，但会导 ...
分类：
其他好文 时间：
2017-10-22 23:42:46
阅读次数：
466
一、正则化的假设集合 通过从高次多项式的H退回到低次多项式的H来降低模型复杂度, 以降低过拟合的可能性, 如何退回? 通过加约束条件： 如果加了严格的约束条件, 没有必要从H10退回到H2, 直接使用H2就可以了。 加上松弛点的约束条件, 使得模型比H2复杂, 但到不了H10那么复杂。 二、权重衰减 ...
分类：
其他好文 时间：
2017-10-18 23:12:22
阅读次数：
305
1、交叉验证 交叉验证（Cross validation)，交叉验证用于防止模型过于复杂而引起的过拟合.有时亦称循环估计， 是一种统计学上将数据样本切割成较小子集的实用方法。 于是可以先在一个子集上做分析， 而其它子集则用来做后续对此分析的确认及验证。 一开始的子集被称为训练集。而其它的子集则被称为 ...
分类：
其他好文 时间：
2017-10-18 00:21:54
阅读次数：
142
交叉验证的方法在训练过程中是否有用？ 1、过拟合的表现？ 1)训练集误差小，评估集误差大；2)训练集误差还在减小，评估集误差开始波动 2、过拟合的原因？ 模型复杂，dvc高——对于决策树，就是没有剪枝，模型可以完美拟合数据；神经网络，收敛于复杂决策面； 噪音，模型overtrain，模型拟合了噪音和 ...
分类：
其他好文 时间：
2017-10-16 18:00:58
阅读次数：
293
SVM模型有两个非常重要的参数C与gamma。其中 C是惩罚系数，即对误差的宽容度。c越高，说明越不能容忍出现误差,容易过拟合。C越小，容易欠拟合。C过大或过小，泛化能力变差 gamma是选择RBF函数作为kernel后，该函数自带的一个参数。隐含地决定了数据映射到新的特征空间后的分布，gamma越 ...
分类：
其他好文 时间：
2017-10-13 23:40:09
阅读次数：
292
数据增强 在图像的深度学习中，为了丰富图像训练集，更好的提取图像特征，泛化模型(防止模型过拟合)，一般都会对数据图像进行数据增强，数据增强，常用的方式，就是旋转图像，剪切图像，改变图像色差，扭曲图像特征，改变图像尺寸大小，增强图像噪音(一般使用高斯噪音)等，但需要注意，不要加入其它图像轮廓的噪音。在 ...
分类：
其他好文 时间：
2017-10-11 12:49:21
阅读次数：
172
1、特征选择 特征选择是一种及其重要的数据预处理方法。假设你需要处理一个监督学习问题，样本的特征数非常大（甚至），但是可能仅仅有少部分特征会和对结果产生影响。甚至是简单的线性分类，如果样本特征数超过了n，但假设函数的VC维确仍然是O(n)，那么，除非大大扩展训练集的数量，否则即会带来过拟合的问题。在 ...
分类：
其他好文 时间：
2017-10-10 23:18:17
阅读次数：
161
