对于一个监督学习模型来说，过小的特征集合使得模型过于简单，过大的特征集合使得模型过于复杂。对于特征集过小的情况，称之为欠拟合（underfitting）；对于特征集过大的情况，称之为过拟合（overfitting）解决此类学习问题的方法：1)特征选择算法：一类自动化算法，在这类回归问题中选择用到的特...
分类：
其他好文 时间：
2014-10-19 18:20:05
阅读次数：
332
昨天学习完了Ng的第二课，总结如下：过拟合；欠拟合；参数学习算法；非参数学习算法局部加权回归KD tree最小二乘中心极限定律感知器算法sigmod函数梯度下降/梯度上升二元分类logistic回归
分类：
其他好文 时间：
2014-10-19 17:03:42
阅读次数：
302
假设给定m个训练样本的训练集，用梯度下降法训练一个神经网络，对于单个训练样本(x,y)，定义该样本的损失函数：那么整个训练集的损失函数定义如下：第一项是所有样本的方差的均值。第二项是一个归一化项（也叫权重衰减项），该项是为了减少权连接权重的更新速度，防止过拟合。我们的目标是最小化关于W和 b 的函数...
分类：
编程语言 时间：
2014-10-13 02:27:02
阅读次数：
310
1. 偏差和方差平衡在线性回归中，对于同一个数据集，可以拟合出简单的线性模型或者较为复杂一些的多项式例如：图中的训练样本是一致的，但是可以拟合出不同的模型。最右边图中拟合出的5阶多项式，并不见得就是一个好模型，虽然该模型能够准确预测出样本点的y值,因为这种模型过分拟合了训练样本（过拟合），当对非训练...
分类：
其他好文 时间：
2014-10-12 01:39:27
阅读次数：
272
本节主要是练习regularization项的使用原则。因为在机器学习的一些模型中，如果模型的参数太多，而训练样本又太少的话，这样训练出来的模型很容易产生过拟合现象。因此在模型的损失函数中，需要对模型的参数进行“惩罚”，这样的话这些参数就不会太大，而越小的参数说明模型越简单，越简单的模型则越不容易产...
分类：
其他好文 时间：
2014-09-12 16:54:53
阅读次数：
206
在线性回归中，因为对參数个数选择的问题是在问题求解之前已经确定好的，因此參数的个数不能非常好的确定，假设參数个数过少可能拟合度不好，产生欠拟合(underfitting)问题，或者參数过多，使得函数过于复杂产生过拟合问题(overfitting)。因此本节介绍的局部线性回归(LWR)能够降低这种风险...
分类：
其他好文 时间：
2014-09-07 15:56:35
阅读次数：
368
在对数据进行拟合，学习模型的过程中，会出现以下情况：1）high variance, overfitting.过拟合2）high bias, underfiiting.欠拟合过拟合出现的原因1）太多的特征。2）过少的训练数据。如何解决？1）减少特征数2）模型选择算法（model selection ...
分类：
其他好文 时间：
2014-08-26 19:13:56
阅读次数：
310
当你的分类模型有数百个或数千个特征，由于是文本分类的情况下，许多（如果不是大多数）的特点是低信息量的，这是一个不错的选择。这些特征对所有类都是通用的，因此在分类过程中作出很小贡献。个别是无害的，但汇总的话，低信息量的特征会降低性能。
通过消除噪声数据给你的模型清晰度，这样就去除了低信息量特征。它可以把你从过拟合和维数灾难中救出来。当你只使用更高的信息特征，可以提高性能，同时也降低了模型的大小...
分类：
其他好文 时间：
2014-07-19 11:22:54
阅读次数：
507
今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大家不吝指正。谢谢。 ....
分类：
其他好文 时间：
2014-07-18 00:25:42
阅读次数：
249
原文：http://blog.csdn.net/vivihe0/article/details/33317041在说到模型过拟合问题的时候，我们经常听说到模型的方差和偏差，本系列就通过多项式拟合为例来说明什么是模型的方差和偏差，进而说明模型复杂度与模型预测效果之间的关系。我们通过计算机产生样本数据点...
分类：
其他好文 时间：
2014-07-07 19:21:38
阅读次数：
1764
