https://zhuanlan.zhihu.com/p/27689464 这篇文章对集成学习讲的不错 在机器学习的有监督学习算法中，我们的目标是学习出一个稳定的且在各个方面表现比较好的模型，但实际情况往往不这么理想，有时会我们只能得到多个有偏好的模型(弱监督模型，在某些方面表现比较好)。集成学习就 ...
分类：
其他好文 时间：
2017-10-30 17:09:24
阅读次数：
281
随机森林（Random Forest，简称RF）拥有广泛的应用前景，从市场营销到医疗保健保险，既可以用来做市场营销模拟的建模，统计客户来源，保留和流失，也可用来预测疾病的风险和病患者的易感性。 随机森林就是通过集成学习的思想将多棵树集成的一种算法，它的基本单元是决策树，而它的本质属于机器学习的一大分 ...
分类：
其他好文 时间：
2017-10-26 11:40:26
阅读次数：
244
1.什么是集成学习？集成学习通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统。基于同种类型的个体学习器，这样集成是同质，不同种类型的个体是异质的。2.集成学习方法大致分为哪两大类？个体学习器间存在强依赖关系，必须串行生成的序列化方法，前者的代表..
分类：
其他好文 时间：
2017-10-19 12:52:24
阅读次数：
119
不需要对特征进行归一化或标准化处；能够自动进行特征选择；可以分布式并行计算。 XGBOOST框架是对GBDT的优化设计，它的优点主要有 ...
分类：
其他好文 时间：
2017-10-18 10:08:41
阅读次数：
117
在机器学习领域，通过对特征的参数调优可以让模型的预测值更接近真实值的常见的两种方法包括最小二乘法和梯度下降方法。目前梯度下降更成为了一种解决问题的方法和思路，在集成学习和深度学习领域都有较多的应用。 ...
分类：
其他好文 时间：
2017-10-16 19:31:18
阅读次数：
240
1、集成学习概述 1.1 集成学习概述 集成学习在机器学习算法中具有较高的准去率，不足之处就是模型的训练过程可能比较复杂，效率不是很高。目前接触较多的集成学习主要有2种：基于Boosting的和基于Bagging，前者的代表算法有Adaboost、GBDT、XGBOOST、后者的代表算法主要是随机森 ...
分类：
编程语言 时间：
2017-10-10 22:01:01
阅读次数：
242
在集成学习原理小结中，我们讲到了集成学习按照个体学习器之间是否存在依赖关系可以分为两类，第一个是个体学习器之间存在强依赖关系，另一类是个体学习器之间不存在强依赖关系。前者的代表算法就是是boosting系列算法。在boosting系列算法中， Adaboost是最著名的算法之一。Adaboost既可 ...
分类：
编程语言 时间：
2017-09-30 21:54:28
阅读次数：
362
1. 概念梳理： AdaBoost： 运行过程：训练数据中的每一个样本，并赋一个权重，这些权重值构成向量D，已开始这些权重值一样。 第一次训练完，得到一个弱分类器，计算该分类器的错误率，然后调整每个样本的权重值，对同一个训练数据进行第二次训练得到第二个分类器。（第一次分对的样本权重减小，分错的权重提 ...
分类：
其他好文 时间：
2017-09-05 00:23:52
阅读次数：
163
从上面几篇的决策树開始,就能够開始进入到集成学习(ensemble learning)了,与其说集成学习是一种算法,倒不如说集成学习是一种思想. 集成学习的思想也是非常自然非常符合人类直观理解的. 用通俗的不能更通俗的话来说,要是一个机器学习器解决不了问题,那就多训练几个.再把这些学习器结合起来完毕 ...
分类：
其他好文 时间：
2017-08-19 12:46:12
阅读次数：
119
本文结构： 什么是集成学习？ 为什么集成的效果就会好于单个学习器？ 如何生成个体学习器？ 什么是 Boosting? Adaboost 算法？ 什么是集成学习 集成学习就是将多个弱的学习器结合起来组成一个强的学习器。 这就涉及到，先产生一组‘个体学习器’，再用一个策略将它们结合起来。 个体学习器可以 ...
分类：
编程语言 时间：
2017-08-16 09:53:27
阅读次数：
250
