码迷,mamicode.com
首页 > 其他好文 > 详细

GBDT--简单理解

时间:2017-07-29 23:18:20      阅读:178      评论:0      收藏:0      [点我收藏+]

标签:ddc   选择   cnn   统计学   分类算法   hive   lines   arch   app   

梳理

1.Model Ensemble 能够分为三大类:Bagging,Boosting。 Stacking.

2.Boosting能够说是一个思想(框架),而Adaboost等算法仅仅是其一个子类,记得ICCV2015有一个结合CNN和Boosting的工作获得了Best Paper Award?:

3.Boosting的 前向分布算法(在每一步求解弱分类器Φ(m)和其參数w(m)的时候不去改动之前已经求好的分类器和參数):

技术分享

4.不同的objective和最小化其的方法决定了不同种类的Boosting:

技术分享

5.GBDT事实上就是上图中的Gradient Boosting的一个子类(弱分类器为决策树)

决策树

1.决策树的入门介绍參考: 算法杂货铺——分类算法之决策树(Decision tree)

2.决策树的特征选择: 1)信息增益, 2)信息增益比

3.决策树的生成算法:1)ID3算法–依据信息增益。 2)C4.5算法–依据信息增益比。 3)CART(包含回归和分类。二叉树生成)

4.决策树的剪枝:事实上就是一个Loss和T(表示决策树结点个数)trade off的过程

5.详细细节參考:《统计学习方法–李航》

GBDT--简单理解

标签:ddc   选择   cnn   统计学   分类算法   hive   lines   arch   app   

原文地址:http://www.cnblogs.com/yxysuanfa/p/7257673.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!