在XGBoost中提供了三种特征重要性的计算方法： ‘weight’ - the number of times a feature is used to split the data across all trees. ‘gain’ - the average gain of the featur ...
分类：
其他好文 时间：
2018-11-13 12:18:22
阅读次数：
411
一、背景 本文代码参考： https://blog.csdn.net/u014732537/article/details/80055227 https://github.com/JianWenJun/MLDemo/blob/master/ML/DecisionTree/xgboost_demo.p ...
分类：
其他好文 时间：
2018-11-08 18:21:24
阅读次数：
202
Python库安装工具 打开Anaconda Prompt，输入conda list，可以看到当前已经安装好的库。 安装库，输入pip install xgboost（库的名称） 可以到这个网址 "pythonlibs" 下载库文件，然后找到安装库，例如：pip install xgboost 如果 ...
分类：
编程语言 时间：
2018-11-01 11:34:12
阅读次数：
204
【译】提升树算法的介绍（Introduction to Boosted Trees） 1. 有监督学习的要素 XGBoost 适用于 有监督学习 问题。在此类问题中，我们使用多特征的训练数据集 $x_i$ 去预测一个目标变量 $y_i$ 。在专门学习树模型前，我们先回顾一下有监督学习的基本要素。 E ...
分类：
编程语言 时间：
2018-10-27 21:14:56
阅读次数：
188
如果说线性回归算法像丰田凯美瑞的话，那么梯度提升（GB）方法就像是UH-60黑鹰直升机。XGBoost算法作为GB的一个实现是Kaggle机器学习比赛的常胜将军。不幸的是，很多从业者都只把这个算法当作黑盒使用（包括曾经的我）。这篇文章的目的就是直观而全面的介绍经典梯度提升方法的原理。 原理说明 我们 ...
分类：
其他好文 时间：
2018-10-21 01:03:41
阅读次数：
505
preprocess Logistic Regression LightGBM 1. 二分类 2.多分类 XGBoost 1. 二分类 处理正负样本不均匀的案例 主要思路 1. 手动调整正负样本比例 2. 过采样 Over Sampling 对训练集里面样本数量较少的类别（少数类）进行过采样，合成新 ...
分类：
其他好文 时间：
2018-10-06 21:36:54
阅读次数：
291
lightgbm：由于现在的比赛数据越来越大，想要获得一个比较高的预测精度，同时又要减少内存占用以及提升训练速度，lightgbm是一个非常不错的选择，其可达到与xgboost相似的预测效果。 xgboost：在lightgbm出来之前，是打比赛的不二之选，现在由于需要做模型融合以提高预测精度，所以 ...
分类：
其他好文 时间：
2018-10-06 21:30:05
阅读次数：
1042
XGBoost是GBDT的改进和重要实现，主要在于： 提升算法 XGBoost也是一个加法模型，首先其在目标函数中加入了正则化项： 泰勒级数 yi(t)是第i个实例在第t次迭代的预测值，需要加入 ft来最小化以下目标 通过泰勒二阶展开近似来快速优化目标函数 其中 即l的一阶和二阶导数。移除常数项得到 ...
分类：
其他好文 时间：
2018-09-25 12:42:12
阅读次数：
459
http://www.cnblogs.com/wanglei5205/p/8579244.html 常规参数 模型参数 学习任务参数 ...
分类：
其他好文 时间：
2018-09-10 21:53:50
阅读次数：
3493
