提升决策树GBDT 梯度提升决策树算法是近年来被提及较多的一个算法，这主要得益于其算法的性能，以及该算法在各类数据挖掘以及机器学习比赛中的卓越表现，有很多人对GBDT算法进行了开源代码的开发，比较火的是陈天奇的XGBoost和微软的LightGBM 一、监督学习 1、 监督学习的主要任务 监督学习是 ...
分类：
编程语言 时间：
2018-08-05 14:18:16
阅读次数：
225
XGBOOST使用指南 一、导入必要的工具包 导入必要的工具包import xgboost as xgb 计算分类正确率from sklearn.metrics import accuracy_score二、数据读取XGBoost可以加载libsvm格式的文本数据，libsvm的文件格式（稀疏特征） ...
分类：
其他好文 时间：
2018-08-04 20:18:34
阅读次数：
174
1、 RF（随机森林）与GBDT之间的区别 相同点： 1)都是由多棵树组成的 2)最终的结果都是由多棵树一起决定 不同点： 1） 组成随机森林的树可以是分类树也可以是回归树，而GBDT只由回归树组成 2） 组成随机森林的树可是并行生成，而GBDT只能是串行生成 3） 随机森林的结果是多棵树表决决定， ...
分类：
编程语言 时间：
2018-07-29 10:48:26
阅读次数：
1994
XGBoost 参数 在运行XGBoost程序之前，必须设置三种类型的参数：通用类型参数（general parameters）、booster参数和学习任务参数（task parameters）。 一般类型参数general parameters –参数决定在提升的过程中用哪种booster，常见 ...
分类：
其他好文 时间：
2018-07-21 22:36:33
阅读次数：
130
一、XGBoost的优势 XGBoost算法可以给预测模型带来能力的提升。当我对它的表现有更多了解的时候，当我对它的高准确率背后的原理有更多了解的时候，我发现它具有很多优势： 1 正则化 标准GBDT 的实现没有像XGBoost这样的正则化步骤。正则化对减少过拟合也是有帮助的。 实际上，XGBoos ...
分类：
其他好文 时间：
2018-07-05 10:19:27
阅读次数：
245
Lightgbm：高效梯度提升决策树摘要：梯度提升决策树（GBDT）是一种流行的机器学习算法，并且有很多有效的实现，例如XGBoost和pGBRT。尽管在这些实现中已经采用了许多工程优化，但是当面对维度高，数据量大的问题时，其特征的效率和可扩展性仍然不尽人意。其中一个主要原因是对于每个特征，他们需要遍历所有的数据实例来估计所有可能的分割点的信息增益，这非常耗时。为了解决这个问题，我们提出了两种新颖
分类：
其他好文 时间：
2018-07-04 10:33:49
阅读次数：
349
1、原理 https://www.cnblogs.com/zhouxiaohui888/p/6008368.html 2、实战 xgboost中比较重要的参数介绍： （1）学习率：learning rate ：一般设置比较低，0.1以下 （2）tree： max_depth min_child_we ...
分类：
其他好文 时间：
2018-06-30 21:55:05
阅读次数：
466
xgboost的实现方式为多颗CART树，其实xgboost就是类似于随机森林，但是与随机森林不同，他不是多个子树决策的结果，CART树最后会算出一个得分，是一个值，最后算出分类的时候，是多个值结合在一起用一个式子算出分类的。 这里只记录xgboost的使用方式： ...
分类：
其他好文 时间：
2018-06-28 22:58:44
阅读次数：
229
