梯度迭代树（GBDT）算法原理及Spark MLlib调用实例（Scala/Java/python） http://blog.csdn.net/liulingyuan6/article/details/53426350 梯度迭代树 算法简介： 梯度提升树是一种决策树的集成算法。它通过反复迭代训练决策 ...
分类：
编程语言 时间：
2017-11-06 11:05:44
阅读次数：
714
在集成学习原理小结中，我们讲到了集成学习有两个流派，一个是boosting派系，它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派，它的特点是各个弱学习器之间没有依赖关系，可以并行拟合。本文就对集成学习中Bagging与随机森林算法做一个总结。 随机森林是集成学习中可以和梯度提升树GB ...
分类：
编程语言 时间：
2017-04-05 21:56:31
阅读次数：
321
在集成学习原理小结中，我们讲到了集成学习有两个流派，一个是boosting派系，它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派，它的特点是各个弱学习器之间没有依赖关系，可以并行拟合。本文就对集成学习中Bagging与随机森林算法做一个总结。 随机森林是集成学习中可以和梯度提升树GB ...
分类：
编程语言 时间：
2017-03-08 17:57:46
阅读次数：
290
笔记︱决策树族——梯度提升树(GBDT） 笔记︱决策树族——梯度提升树(GBDT） 本笔记来源于CDA DSC，L2-R语言课程所学进行的总结。 一、介绍：梯度提升树（Gradient Boost Decision Tree） Boosting算法和树模型的结合。按次序建立多棵树，每棵树都是为了减少 ...
分类：
其他好文 时间：
2017-02-19 18:04:46
阅读次数：
339
笔记︱集成学习Ensemble Learning与树模型、Bagging 和 Boosting 本杂记摘录自文章《开发 | 为什么说集成学习模型是金融风控新的杀手锏？》 基本内容与分类见上述思维导图。 . . 一、机器学习元算法 随机森林：决策树+bagging=随机森林 梯度提升树：决策树Boos ...
分类：
其他好文 时间：
2017-02-19 17:11:55
阅读次数：
398
在集成学习原理小结中，我们讲到了集成学习有两个流派，一个是boosting派系，它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派，它的特点是各个弱学习器之间没有依赖关系，可以并行拟合。本文就对集成学习中Bagging与随机森林算法做一个总结。 随机森林是集成学习中可以和梯度提升树GB ...
分类：
编程语言 时间：
2016-12-10 22:34:29
阅读次数：
268
在梯度提升树(GBDT)原理小结中，我们对GBDT的原理做了总结，本文我们就从scikit-learn里GBDT的类库使用方法作一个总结，主要会关注调参中的一些要点。 1. scikit-learn GBDT类库概述 在sacikit-learn中，GradientBoostingClassifie ...
分类：
其他好文 时间：
2016-12-09 19:33:42
阅读次数：
210
一、原理
梯度提升树（GBT，Gradient Boosted Trees，或称为梯度提升决策树）算法是由Friedman于1999年首次完整的提出，该算法可以实现回归、分类和排序。GBT的优点是特征属性无需进行归一化处理，预测速度快，可以应用不同的损失函数等。
从它的名字就可以看出，GBT包括三个机器学习的优化算法：决策树方法、提升方法和梯度下降法。前两种算法在我以前的文章中都有详细的...
分类：
其他好文 时间：
2016-05-20 19:43:21
阅读次数：
276
1.模型
提升方法实际采用加法模型（即基函数的线性组合）与前向分布算法。以决策树为基函数的提升方法称为提升树（boosting tree)。对分类问题决策树是二叉分类树，对回归问题决策树是二叉决策树。提升树模型可以表示为决策树的加法模型：
其中，表示决策树；为决策树的参数；M为树的个数
2.学习过程
回归问题提升树使用以下前向分布算法：
在前向分布算法的第m步，给定当前模型，需求解...
分类：
其他好文 时间：
2016-04-19 19:43:45
阅读次数：
328
Introduction决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将得到的决策树做成图片展示出来）等。但是同时，单决策树又有一些不好的地方，比如说容易over-fitting，虽然有一些方法，如剪枝可以减少这种情况，但是还是不太理想。模型组合（比如说有Boosting，Bagging等）与决策树相关的算法比较多，如randomForest、Ad...
分类：
编程语言 时间：
2015-08-29 12:43:17
阅读次数：
427
