摘自： https://zhuanlan.zhihu.com/p/27689464 Stacking方法是指训练一个模型用于组合其他各个模型。首先我们先训练多个不同的模型，然后把之前训练的各个模型的输出为输入来训练一个模型，以得到一个最终的输出。理论上，Stacking可以表示上面提到的两种Ense ...
分类：
其他好文 时间：
2018-05-09 22:39:00
阅读次数：
147
git: https://github.com/linyi0604/MachineLearning 数据集被我下载到本地，可以去我的git上拿数据集 XGBoost提升分类器 属于集成学习模型 把成百上千个分类准确率较低的树模型组合起来 不断迭代,每次迭代生成一颗新的树 下面 对泰坦尼克遇难预测使用 ...
分类：
编程语言 时间：
2018-05-08 17:33:14
阅读次数：
291
1、boosting与bagging的区别： （1）bagging：从原始数据中随机抽样得到S个同样大小的数据集，来训练S个基学习器，各学习器之间互不依赖。是一种并行的方法。 各分类器的权重都是相等的。分类结果是用这S个分类器进行分类，选择分类器投票结果中最多的类别作为最后的分类结果。 （抽样方法为 ...
分类：
其他好文 时间：
2018-05-04 14:04:17
阅读次数：
240
从上面几篇的决策树開始,就能够開始进入到集成学习(ensemble learning)了,与其说集成学习是一种算法,倒不如说集成学习是一种思想. 集成学习的思想也是非常自然非常符合人类直观理解的. 用通俗的不能更通俗的话来说,要是一个机器学习器解决不了问题,那就多训练几个.再把这些学习器结合起来完毕 ...
分类：
其他好文 时间：
2018-04-25 17:07:42
阅读次数：
129
lightgbm使用leaf_wise tree生长策略，leaf_wise_tree的优点是收敛速度快，缺点是容易过拟合。# lightgbm关键参数# lightgbm调参方法cv 1 # -*- coding: utf-8 -*- 2 """ 3 # 作者：wanglei5205 4 # 邮箱... ...
分类：
其他好文 时间：
2018-04-05 14:37:23
阅读次数：
5832
说到ML中Boosting和Bagging，他们属于的是ML中的集成学习，集成学习法（Ensemble Learning） ① 将多个分类方法聚集在一起。以提高分类的准确率。 （这些算法能够是不同的算法，也能够是同样的算法。） ② 集成学习法由训练数据构建一组基分类器，然后通过对每一个基分类器的预測 ...
分类：
其他好文 时间：
2018-04-05 14:28:43
阅读次数：
190
1、集成学习概述 1.1 集成学习概述 集成学习在机器学习算法中具有较高的准去率，不足之处就是模型的训练过程可能比较复杂，效率不是很高。目前接触较多的集成学习主要有2种：基于Boosting的和基于Bagging，前者的代表算法有Adaboost、GBDT、XGBOOST、后者的代表算法主要是随机森 ...
分类：
编程语言 时间：
2018-03-21 16:36:00
阅读次数：
194
定义 集成学习是一种机器学习范式，其中多个学习器被训练来解决相同的问题。 这与试图从训练数据中学习一个假设的普通机器学习方法相反，集成方法尝试构造一组假设并将它们结合使用。 一个集合包含一些通常被称为基础学习器的学习器。 一个集合的泛化能力通常比单个基础学习器的泛化能力强得多。 实际上，集成学习具有 ...
分类：
其他好文 时间：
2018-03-19 00:30:05
阅读次数：
230
集成学习实践部分也分成三块来讲解： sklearn官方文档：http://scikit-learn.org/stable/modules/ensemble.html#ensemble 1、GBDT 2、XGBoost 3、Adaboost 在sklearn中Adaboost库分成两个，分别是分类和回 ...
分类：
其他好文 时间：
2018-03-17 10:49:31
阅读次数：
290
集成学习中还有一个重要的类别是Boosting，这个是基学习器具有较强依赖串行而成的算法，目前主流的主要有三个算法：GBDT，Adaboost，XGBoost 这个链接可以看看：https://www.cnblogs.com/willnote/p/6801496.html boosting算法的原理 ...
分类：
其他好文 时间：
2018-03-16 18:43:23
阅读次数：
351
