目的：为了让训练效果更好 bagging：是一种并行的算法，训练多个分类器，取最终结果的平均值 f(x) = 1/M∑fm(x) boosting: 是一种串行的算法，根据前一次的结果，进行加权来提高训练效果 stacking; 是一种堆叠算法，第一步使用多个算法求出结果，再将结果作为特征输入到下一 ...
分类：
编程语言 时间：
2019-01-17 14:03:48
阅读次数：
272
[TOC] xgboost xgboost是一个监督模型，它对应的模型就是一堆CART树，即由CART树组成的随机森林。预测的最终结果是由随机森林中的所有CART树的预测分数相加。 总而言之xgboost的想要解决的问题是通过前t 1棵的预测值加和我们是否能算出第t棵树的最优预测值？ CART(Cl ...
分类：
其他好文 时间：
2019-01-16 15:02:16
阅读次数：
216
2019年01月05日 15:48:32 IT界的小小小学生 阅读数：31 标签： xgb gbdt 梯度下降法 牛顿法 xgboost原理 更多 个人分类： data mining 深度学习 2019年01月05日 15:48:32 IT界的小小小学生 阅读数：31 标签： xgb gbdt 梯度 ...
分类：
其他好文 时间：
2019-01-06 18:13:57
阅读次数：
188
XGboost,全称Extrem Gradient boost,极度梯度提升，是陈天奇大牛在GBDT等传统Boosting算法的基础上重新优化形成的，是Kaggle竞赛的必杀神器。 XGboost属于集成学习的模型，在集成学习中主要有三个算法，Bagging，Boosting和Stacking，Ba ...
分类：
其他好文 时间：
2018-12-27 13:11:57
阅读次数：
146
原文：https://blog.csdn.net/qq_22238533/article/details/79477547 ...
分类：
其他好文 时间：
2018-12-15 17:15:45
阅读次数：
148
XGBoost其实是由一群训练出来的CART回归树集成出来的模型。 目标 目标其实就是训练一群回归树，使这树群的预测值尽量接近真实值，并且有尽可能强大的泛化能力。来看看我们的优化函数： 优化函数 i表示的是第i个样本，前一项是表示的是预测误差。后一项表示的是树的复杂度的函数，值越小表示复杂度越低，泛 ...
分类：
其他好文 时间：
2018-12-12 23:54:46
阅读次数：
351
GBDT的核心就在于累加所有树的结果作为最终结果。分类树决策树的分类算法有很多，以具有最大熵的特征进行分类，以信息增益特征进行分类（ID3），以增益率特征进行分类（C4.5），以基尼系数特征进行分类（CART分类与回归树）等等。这一类决策树的特点就是最后的结果都是离散的具体的类别，比如苹果的好/坏，性别男/女。回归树回归树与分类树的流程大致一样，不同的是回归树在每个节点都会有一个预测值，以年龄为例
分类：
其他好文 时间：
2018-12-12 10:32:53
阅读次数：
286
正则化 L1范数 蓝色的是范数的解空间,红色的是损失函数的解空间.L2范数和损失函数的交点处一般在坐标轴上,会使$\beta=0$,当然并不一定保证交于坐标轴,但是通过实验发现大部分可以得到稀疏解. L2范数 蓝色的是范数的解空间;红色的是损失函数的解空间.当两个空间相交时得到目标函数的一个解. 增 ...
分类：
其他好文 时间：
2018-12-10 20:48:42
阅读次数：
1161
Adaboost和GBDT的区别以及xgboost和GBDT的区别 以下内容转自 https://blog.csdn.net/chengfulukou/article/details/76906710 ，本文主要用作记录收藏 AdaBoost VS GBDT 和AdaBoost一样，Gradient ...
分类：
其他好文 时间：
2018-12-04 21:12:03
阅读次数：
193
Bagging 典型的代表：随机森林。 从训练集从进行子抽样组成每个基模型所需要的子训练集，对所有基模型预测的结果进行综合产生最终的预测结果： Boosting 典型代表：AdaBoost， Xgboost。 训练过程为阶梯状，基模型按次序一一进行训练（实现上可以做到并行），基模型的训练集按照某种策 ...
分类：
编程语言 时间：
2018-12-02 13:40:42
阅读次数：
280
