本篇博客主要是对周志华“机器学习”中集成学习这一章的摘抄，总结，以及自己使用过程中的一点经验。 1、集成学习的基本概念、条件及意义 集成学习（ensemble learning）通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统（multi-classifier system）、基于委 ...
分类：
其他好文 时间：
2018-09-09 23:32:57
阅读次数：
280
五、随机森林和 Extra-Trees 六、Ada Boosting 和 Gradient Boosting 七、Stacking 八、学习scikit-learn文档, 官方学习文档： http://scikit-learn.org http://scikit-learn.org/stable/u ...
分类：
其他好文 时间：
2018-09-04 22:33:28
阅读次数：
478
一、什么是集成学习 二、Soft Voting Classifier 更合理的投票，应该有的权值 三、Bagging 和 Pasting 四、oob (Out-of-Bag) 和关于Bagging的更多讨论 ...
分类：
其他好文 时间：
2018-09-03 21:59:04
阅读次数：
327
一、集成学习算法的问题 思路：集成多个算法，让不同的算法对同一组数据进行分析，得到结果，最终投票决定各个算法公认的最好的结果； 弊端：虽然有很多机器学习的算法，但是从投票的角度看，仍然不够多；如果想要有效果更好的投票结果，最好有更多的算法参与；（概率论中称大数定理） 方案：创建更多的子模型，集成更多 ...
分类：
其他好文 时间：
2018-08-16 13:58:08
阅读次数：
1648
1、集成方法概述 集成学习（Ensemble Learning）有时也被笼统地称作提升（Boosting）方法，广泛用于分类和回归任务。它最初的思想很简单：使用一些（不同的）方法改变原始训练样本的分布，从而构建多个不同的分类器，并将这些分类器线性组合得到一个更强大的分类器，来做最后的决策。也就是常说 ...
分类：
其他好文 时间：
2018-08-02 01:55:22
阅读次数：
432
1. 何为损失函数： 在机器学习里面，基本上所有的算法都是在对一个目标函数进行最大化或者最小化的一个过程，那么我们常常把这个最小化的函数称为损失函数，一般采用梯度下降法求解这个损失函数的最小值所对应的参数。可以认为，损失函数为我们的模型优化提供了方向。 2. 损失函数类型： 2.1 平方损失L2 （ ...
分类：
其他好文 时间：
2018-07-31 13:29:17
阅读次数：
435
1.集成学习概念： ? 个体学习器通常是用一个现有的学习算法从训练数据产生，例如C4.5决策树算法、BP神经网络算法等。此时集成中只包含同种类型的个体学习器，例如“决策树集成”中的个体学习器全是决策树，“神经网络集成”中就全是神经网络，这样的集成是“同质”（homogeneous）的，同质集成中的个 ...
分类：
其他好文 时间：
2018-07-19 13:55:58
阅读次数：
283
最近在系统研究集成学习，到Adaboost算法这块，一直不能理解，直到看到一篇博文，才有种豁然开朗的感觉，真的讲得特别好，原文地址是（http://blog.csdn.net/guyuealian/article/details/70995333），在此摘录，方便查找与复习。 一、AdaBoost简 ...
分类：
编程语言 时间：
2018-07-15 17:41:11
阅读次数：
323
1、集成学习概述 集成学习算法可以说是现在最火爆的机器学习算法，参加过Kaggle比赛的同学应该都领略过集成算法的强大。集成算法本身不是一个单独的机器学习算法，而是通过将基于其他的机器学习算法构建多个学习器并集成到一起。集成算法可以分为同质集成和异质集成，同质集成是值集成算法中的个体学习器都是同一类 ...
分类：
编程语言 时间：
2018-06-30 15:25:58
阅读次数：
479
这两个算法都是集成学习了分类回归树模型，先讨论是怎么集成的。集成的方法是GradientBoosting比如我要拟合一个数据如下：第一次建了一个模型如上图中的折线，效果不是很理想，然后要新建一个模型来综合一下结果，那么第二个模型如何建，我们将实际目标值和我们第一个模型的预测的差值作为第二次模型的目标值如下图再建一个模型：然后不断地新建新的模型，过程如下：最后就能集成这些模型不断提升预测的精度。步骤
分类：
其他好文 时间：
2018-06-22 13:15:22
阅读次数：
171
