本质上lightgbm和xgboost都是基于分类回归树集成的学习算法，所以他们也会有一些先天缺陷：当训练数据的特征都集中在一个区间内，而测试数据偏离该区间较大时会出现不能拟合的情况，根本原因是因为分类回归树对于某一个叶子节点上的数据的目标值是采取该叶子节点的目标值均值做梯度提升最终确定预测值的。比如我有个数据如下：x,y1,12,23,34,45,56,67,78,89,910,1011,111
分类：
其他好文 时间：
2018-06-24 11:44:43
阅读次数：
228
这两个算法都是集成学习了分类回归树模型，先讨论是怎么集成的。集成的方法是GradientBoosting比如我要拟合一个数据如下：第一次建了一个模型如上图中的折线，效果不是很理想，然后要新建一个模型来综合一下结果，那么第二个模型如何建，我们将实际目标值和我们第一个模型的预测的差值作为第二次模型的目标值如下图再建一个模型：然后不断地新建新的模型，过程如下：最后就能集成这些模型不断提升预测的精度。步骤
分类：
其他好文 时间：
2018-06-22 13:15:22
阅读次数：
171
一、前述 在 Kaggle 的很多比赛中，我们可以看到很多 winner 喜欢用 xgboost，而且获得非常好的表现，今天就来看看 xgboost 到底是什么以及如何应用。Gradient boosting 是 boosting 的其中一种方法，所谓 Boosting ，就是将弱分离器 f_i(x ...
分类：
其他好文 时间：
2018-06-14 11:39:02
阅读次数：
172
xgboost安装教程 注意：由于xgboost最新版本已经不支持 visual stdio build的方法了，所以网上很多教程都很鸡肋；还有很多教程里面让安装GCC，要是你是Win10的话就不用安装GCC，因为win10已经有了c++编译器 安装流程： 1、下载安装包，千万不要下载csdn里面的 ...
分类：
其他好文 时间：
2018-06-12 16:24:16
阅读次数：
199
xgboost训练回归模型很简单，按照前面的博客安装了xgboost库之后：importxgboostasxgbdata_train=xgb.DMatrix(train1[feature_use].fillna(-1),label=train1[‘target‘])data_test=xgb.DMatrix(test1[feature_use].fillna(-1),label=test1[‘ta
分类：
其他好文 时间：
2018-06-12 10:31:15
阅读次数：
790
xgboost模块安装 1.下载xgboost源码 url:https://github.com/dmlc/xgboost/archive/master.zip 将压缩包剪切至python3\Scripts问价夹下进行解压(python的模块都在此文件夹下) 解压缩后的文件夹如下:xgboost-m ...
分类：
编程语言 时间：
2018-06-02 19:36:18
阅读次数：
317
网上的教程有很多，复杂且不一定能成功，造成了很大的困惑和时间成本，往往需要花费一上午或一下午的时间才能配置好环境，经过多次尝试，下面方法亲试有效： 下载git，克隆源码git clone https://github.com/dmlc/xgboost.git xgboost_install_dir ...
分类：
编程语言 时间：
2018-05-28 16:50:41
阅读次数：
226
一、xgboost windows下：pip install xgboost下出现下面的错误-No files/directories.尝试下载xgboost.whl文件，然后再该whl文件的所在目录下执行pip install xgboost?0.71?cp35?cp35m?win_amd64.w ...
分类：
编程语言 时间：
2018-05-28 11:30:15
阅读次数：
138
总结：不平衡数据的分类，（1）数据层面：使用过采样是主流，过采样通常使用smote，或者少数使用数据复制。过采样后模型选择RF、xgboost、神经网络能够取得非常不错的效果。（2）模型层面：使用模型集成，样本不做处理，将各个模型进行特征选择、参数调优后进行集成，通常也能够取得不错的结果。（3）其他 ...
分类：
其他好文 时间：
2018-05-25 19:27:18
阅读次数：
587
第一次调整Boosting算法的参数可能是一个非常艰难的任务。有很多参数可供选择，调整不同的参数会有不同的结果产生。最好的调参可能是取决于数据。每当我得到一个新的数据集，我都会学到一些新的东西。对分类和回归树（CART）有很好的理解有助于我们理解boosting 我最喜欢的Boosting包是xgb ...
分类：
其他好文 时间：
2018-05-18 13:45:01
阅读次数：
211
