简介 剪枝（pruning）是指通过移除决策树的某一部分以减少树的大小，被移除的部分的分类能力比较弱，从而降低最终分类器的复杂度，提高泛化能力。 从上一篇文章中，我们知道决策树是通过递归算法产生，然而这可能会出现过拟合（overfitting），也就是，一味的拟合已知的训练数据集，可能会导致分类器过 ...
分类：
其他好文 时间：
2017-05-26 13:26:26
阅读次数：
281
机器学习是在模型空间中选择最优模型的过程，所谓最优模型，及可以很好地拟合已有数据集，并且正确预测未知数据。 那么如何评价一个模型的优劣的，用代价函数（Cost function）来度量预测错误的程度。代价函数有很多中，在Ng的视频中，Linear Regression用的是平方代价函数： Logis ...
分类：
系统相关 时间：
2017-05-20 14:26:59
阅读次数：
261
在机器学习中，特征选择主要有两个目的： 1. 减少特征数量，提高训练速度 2. 减少噪声特征从而提高模型在测试集上的准确率。一些噪声特征会导致模型出现错误的泛化，容易产生overfitting。 常用的特征选择算法有很多，这里着重介绍其中两个：卡方检验和互信息 一、卡方检验 1. 卡方分布 在说卡方 ...
分类：
其他好文 时间：
2017-05-15 19:51:52
阅读次数：
1154
7.1 过拟合的问题 7.2 代价函数 7.3 正则化线性回归 7.4 正则化的逻辑回归模型 7.1 过拟合的问题 如果我们有非常多的特征，我们通过学习得到的假设预测可能能够非常好地适应训练集（代价函数可能几乎为 0），但是可能会不能推广到新的数据。 下图是一个回归问题的例子： 第一个模型是一个线性 ...
分类：
其他好文 时间：
2017-05-06 17:56:55
阅读次数：
238
1. Ridge regression A way to automatically balance between bias and varaince situations and regulate overfitting when using many features. because the ...
分类：
其他好文 时间：
2017-05-06 00:54:37
阅读次数：
169
Variance is closely related to overfitting. High variance is usually caused by training a powerful model but with limited data, in other words, traini ...
分类：
其他好文 时间：
2017-04-18 22:13:20
阅读次数：
111
一、什么是OverFitting 我们说一个模型，他可以非常完美的拟合既定的训练数据，也就是代价（损失）函数，但是对于新的数据，却不能很好的拟合，也就是不适应于泛化，这样我们就称模型过拟合(over fitting)，如下图第三个图所示。此外，还有欠拟合(under fitting)，也就是连训练数... ...
分类：
其他好文 时间：
2017-03-17 00:31:39
阅读次数：
225
Overfitting and regularization（过度拟合和规范化） 我们的网络在280迭代期后就不再能够推广到测试数据上。所以这不是有用的学习。我们说网络在280迭代期后就过度拟合(overfitting)或过度训练（overtraining）了。 我们的网络实际上在学习训练数据集的特 ...
分类：
Web程序 时间：
2017-03-15 14:34:01
阅读次数：
268
本文总结自《Neural Networks and Deep Learning》第3章的内容。 目录 交叉熵代价函数（The cross-entropy cost function） 柔性最大值（softmax） 过度拟合（Overfitting） 规范化（regularization） 权重初始化 ...
分类：
其他好文 时间：
2016-12-19 00:14:41
阅读次数：
329
Gradient Boosted Regression Trees 2 Regularization GBRT provide three knobs to control overfitting: tree structure, shrinkage, and randomization. Tree ...
分类：
其他好文 时间：
2016-11-28 08:21:35
阅读次数：
302
