原文http://blog.csdn.net/maverick1990/article/details/11721453欠拟合与过拟合概念本次课程大纲：1、局部加权回归：线性回归的变化版本2、概率解释：另一种可能的对于线性回归的解释3、Logistic回归：基于2的一个分类算法4、感知器算法：对于3...
分类：
其他好文 时间：
2015-03-28 18:33:49
阅读次数：
179
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程，网络在training data上的error渐渐减小，但是在验证集上...
分类：
其他好文 时间：
2015-03-14 18:32:59
阅读次数：
63684
本节知识点： 贝叶斯统计及规范化 在线学习 如何使用机器学习算法解决具体问题：设定诊断方法，迅速发现问题 贝叶斯统计及规范化（防止过拟合的方法） 就是要找更好的估计方法来减少过度拟合情况的发生。 回顾一下，线性回归中使用的估计方法是最小二乘法，logistic 回归是条件概率的最大似然估计，朴素贝叶...
分类：
其他好文 时间：
2015-03-13 22:08:45
阅读次数：
417
http://www.cnblogs.com/levone/p/3531054.html#2898984 1.4 模型评估与模型选择 泛化能力（generalization ability)：学习方法对未知数据的预测能力。 过拟合（over-fitting)：学习时选择的模型所包含...
分类：
其他好文 时间：
2015-03-10 11:42:10
阅读次数：
240
区别于线性回归，不是把每个特征直接乘以系数，而是用一个S型函数（Logistic函数）。如下：
使用这种形式函数的原因（概率、求导）。
代价函数，也不是线性回归中的误差平方和，而是基于对数似然函数，如下：
单个样本的后验概率为：（y = 0， 1） 类似于二项分布的概率密度函数。
整个样本集的后验概率：
对数似然函数对于代价函数，如下：
梯度下降法...
分类：
编程语言 时间：
2015-03-05 10:52:23
阅读次数：
239
模型选择问题(Model Selection Problem)
我们在之前得知，通过最小化Ein来选择最好的模型不是一个正确的办法，因为这样可能会付出模型复杂度的代价、造成泛化效果差、造成过拟合的发生。
为了解决这个问题，我们的想法是找一些测试数据来看看哪种模型对应测试数据的效果更好，但是用新的测试数据来作这个事情，实际上是做不到的自欺欺人的办法。
我们对比这两种方式，用训练数据来作选择...
分类：
其他好文 时间：
2015-03-04 22:48:21
阅读次数：
184
决策树就是不断选择信息增益最大的属性，进行分类。
核心部分是使用信息增益判断属性的分类性能。信息增益计算如下：
信息熵：
允许有多个类别。
计算所有属性的信息增益，选择最大的作为决策树的根节点。然后，样本分枝，继续判断剩余的属性的信息增益。
信息增益有缺点：信息增益偏袒具有较多值的属性。分裂信息，用增益比率作为衡量标准，如下：
决策树...
分类：
编程语言 时间：
2015-03-02 13:12:55
阅读次数：
346
引言
上一小节中，我们介绍了过拟合的概念，在机器学习中最大的危险就是过拟合，为了解决过拟合问题，通常有两种办法，第一是减少样本的特征（即维度），第二就是我们这里要说的“正则化”（又称为“惩罚”,penalty）。
从多项式变换和线性回归说起
在非线性变换小节中，我们有讨论Q次多项式变换的定义和其包含关系，这里如果是10次多项式变换，那么系数的个数是11个，而2次多项式的系数个数是...
分类：
其他好文 时间：
2015-03-01 22:24:47
阅读次数：
326
泛化能力差和过拟合问题
以一维的回归分析为例，输出为目标函数加上一点噪声yn=fn(xn)+noise。如果用高阶多项式去拟合数据的话（比如有五个数据点，用四次多项式去拟合的话，如果让该多项式曲线均通过这几个数据点的话，则只有唯一解），这种情况可能使得训练误差Ein很小，但是实际的真实误差就可能很大，这说明我们求解的模型的泛化能力很差(bad generalization)，这在...
分类：
其他好文 时间：
2015-02-10 11:24:44
阅读次数：
376
Regularization能在一定程度上减少过拟合 在线性回归中，J(θ)修改为： 在逻辑回归中，J(θ)修改为： 不管是线性回归还是逻辑回归，梯度下降的计算公式都是：
分类：
其他好文 时间：
2015-01-28 18:09:20
阅读次数：
178
