1.模型
（1）整体模型函数如下：
其中 k 表示树的数量，f 表示每棵树的预测函数；
（2）截取到第 t 棵树的模型函数表示如下：
2.训练
（1）每次训练一棵树，目标函数如下：
其中第一项是损失函数，第二项是防止过拟合；N表示样本数，T表示所有树的叶子数目，t 表示训练第 t 棵树，w 表示叶子的输出值；
（2）泰勒展开（二阶展开）：...
分类：
其他好文 时间：
2016-04-29 15:50:16
阅读次数：
204
原文：http://blog.csdn.net/yhdzw/article/details/22733317 过拟合：1）简单理解就是训练样本的得到的输出和期望输出基本一致，但是测试样本输出和测试样本的期望输出相差却很大 。2）为了得到一致假设而使假设变得过度复杂称为过拟合。想像某种学习算法产生了一 ...
分类：
其他好文 时间：
2016-04-27 12:53:09
阅读次数：
153
（一）局部加权回归 通常情况下的线性拟合不能很好地预测所有的值，因为它容易导致欠拟合（under fitting）。如下图的左图。而多项式拟合能拟合所有数据，但是在预测新样本的时候又会变得很糟糕，因为它导致数据的 过拟合（overfitting），不符合数据真实的模型。如下图的右图。 下面来讲一种非 ...
分类：
编程语言 时间：
2016-04-21 01:09:40
阅读次数：
369
1. 正则化概述（Regularization） 监督学习可以简单的理解为在最小化loss function 的同时，保证模型的复杂度尽可能的低，防止出现过拟合（overfitting）。常用的loss函数有square loss(Regression)，Hinge Loss(SVM)，exp-lo... ...
分类：
其他好文 时间：
2016-04-15 21:31:38
阅读次数：
275
LIME： 模型是否值得信任？ 我们在建立模型的时候，经常会思考我们的模型是不是够稳定，会不会出现样本偏差效应， p>>N时候会不会过拟合？ 我们检查模型稳定，我们进行一些cross-validation来看看各项评估指标方差大不大。 可是如果样本一开始因为采样偏差导致样本有偏，导致模型和实际情况有差异，这个就不太好评估了。同样，p>>N也会有类似的问题，尤其在文本挖掘领域。一般情况，如果特征不是很多的话，尤其像logistic regression这样的model，我们会把模型权重给打印出来看看，看看训...
分类：
其他好文 时间：
2016-04-11 12:27:20
阅读次数：
229
当训练样本比较少时，为了防止过拟合，可以丢掉一些节点的连接，采用部分连接的方式。 参考：http://blog.csdn.net/on2way/article/details/50525548 和http://www.cnblogs.com/tornadomeet/p/3258122.html，这篇 ...
分类：
其他好文 时间：
2016-03-31 10:57:33
阅读次数：
360
运用PCA对高维数据进行降维，有一下几个特点： （1）数据从高维空间降到低维，因为求方差的缘故，相似的特征会被合并掉，因此数据会缩减，特征的个数会减小，这有利于防止过拟合现象的出现。但PCA并不是一种好的防止过拟合的方法，在防止过拟合的时候，最好是对数据进行正则化； （2）使用降维的方法，使算法的运 ...
分类：
其他好文 时间：
2016-03-30 09:52:43
阅读次数：
258
误差模型：过拟合，交叉验证,偏差-方差权衡作者Natasha Latysheva;Charles Ravarani
发表于cambridgecoding介绍??在本文中也许你会掌握机器学习中最核心的概念:偏差-方差权衡.其主要想法是,你想创建尽可能预测准确并且仍能适用于新数据的模型(这是泛化).危险的是,你可以轻松的在你制定的数据中创建过度拟合本地噪音的模型,这样的模型是无用的,并且导致弱泛化能力...
分类：
其他好文 时间：
2016-03-26 06:57:59
阅读次数：
4042
最近重新看了《机器学习实战》第八章：预测数值型数据：回归。发现了一个以前没有重视的问题，规则化（regularization），通过网上各种查找资料，发现规则化对数据的特征选择，防止回归模型过拟合都有非常大的帮助。 简单的讲，规则化就是给损失函数（cost function）多项式再加上一项，使得训
分类：
其他好文 时间：
2016-03-15 00:36:58
阅读次数：
215
本文是《Neural networks and deep learning》概览 中第三章的一部分。讲机器学习/深度学习算法中经常使用的正则化方法。（本文会不断补充） 正则化方法：防止过拟合，提高泛化能力 在训练数据不够多时，或者overtraining时，经常会导致overfitting（过拟合）
分类：
其他好文 时间：
2016-03-12 14:48:24
阅读次数：
1173
