"集成学习之Boosting —— AdaBoost原理" "集成学习之Boosting —— AdaBoost实现" 集成学习之Boosting —— Gradient Boosting原理 "集成学习之Boosting —— Gradient Boosting实现" 上一篇介绍了AdaBoost ...
分类：
其他好文 时间：
2018-06-13 18:12:10
阅读次数：
185
xgboost训练回归模型很简单，按照前面的博客安装了xgboost库之后：importxgboostasxgbdata_train=xgb.DMatrix(train1[feature_use].fillna(-1),label=train1[‘target‘])data_test=xgb.DMatrix(test1[feature_use].fillna(-1),label=test1[‘ta
分类：
其他好文 时间：
2018-06-12 10:31:15
阅读次数：
790
粒子群算法是模拟鸟群蜂群的觅食行为的一种算法。基本思想是通过群体中个体之间的协作和信息共享来寻找最优解。试着想一下一群鸟在寻找食物，在这个区域中只有一只虫子，所有的鸟都不知道食物在哪。但是它们知道自己的当前位置距离食物有多远，同时它们知道离食物最近的鸟的位置。想一下这时候会发生什么？鸟A：哈哈哈原来虫子离我最近！鸟B,C,D：我得赶紧往A那里过去看看！同时各只鸟在位置不停变化时候离食物的距离也不断
分类：
其他好文 时间：
2018-06-12 10:28:46
阅读次数：
658
Gradient Boosting的一般算法流程 1. 初始化： $f_0(x) = \mathop{\arg\min}\limits_\gamma \sum\limits_{i=1}^N L(y_i, \gamma)$ 2. for m=1 to M: (a) 计算负梯度： $\tilde{y}_ ...
分类：
其他好文 时间：
2018-06-11 19:02:49
阅读次数：
217
集成学习之Boosting —— AdaBoost原理 "集成学习之Boosting —— AdaBoost实现" 集成学习大致可分为两大类：Bagging和Boosting。Bagging一般使用强学习器，其个体学习器之间不存在强依赖关系，容易并行。Boosting则使用弱分类器，其个体学习器之间 ...
分类：
其他好文 时间：
2018-05-20 14:10:37
阅读次数：
218
一、AdaBoost简介 Boosting, 也称为增强学习或提升法，是一种重要的集成学习技术， 能够将预测精度仅比随机猜度略高的弱学习器增强为预测精度高的强学习器，这在直接构造强学习器非常困难的情况下，为学习算法的设计提供了一种有效的新思路和新方法。其中最为成功应用的是，Yoav Freund和R ...
分类：
编程语言 时间：
2018-05-20 00:47:29
阅读次数：
391
AdaBoost的一般算法流程 输入： 训练数据集 $T = \left \{(x_1,y_1), (x_2,y_2), \cdots (x_N,y_N)\right \}$，$y\in\left\{ 1,+1 \right\}$，基学习器$G_m(x)$，训练轮数M 1. 初始化权值分布： $w_ ...
分类：
其他好文 时间：
2018-05-19 21:21:43
阅读次数：
224
（0）前提是，你得下载好anaconda，并且安装之，我的下载地址如下（python3windows64位）https://repo.continuum.io/archive/Anaconda3-4.4.0-Windows-x86_64.exe（1）下载xgboost源码(这里直接用官方最新的源码，这里我们不需要用gitclone--recursive,因为用的是编译好的dll，因此不需要下载那么
集成学习是构建一组基学习器，并将它们综合作为最终的模型，在很多集成学习模型中，对基学习器的要求很低，集成学习适用于机器学习的几乎所有的领域：1、回归2、分类3、推荐4、排序集成学习有效的原因多样的基学习器可以在不同的模型中取长补短每个基学习器都犯不同的错误，综合起来犯错的可能性不大但是想同的多个基学习器不会带来任何提升集成学习示例：例如在上图中每个线性模型都不能成功将该数据集分类但是三个线性模型的
分类：
其他好文 时间：
2018-05-14 15:13:33
阅读次数：
378
整理自： https://blog.csdn.net/woaidapaopao/article/details/77806273?locationnum=9&fps=1 AdaBoost GBDT Xgboost 1.AdaBoost Boosting的本质实际上是一个加法模型，通过改变训练样本权重 ...
分类：
其他好文 时间：
2018-05-09 22:50:31
阅读次数：
234
