一、集成学习 集成学习就是合并多个分类器的预测。一般会在一个项目快结束的时候使用集成算法，一旦建立了一些好的分类器，就可以使用集成把它们合并成一个更好的分类器。著名的集成方法：投票分类、bogging、pasting、boosting、stacking、和一些其它算法。 1.1 投票分类（少数服从多 ...
分类：
其他好文 时间：
2019-08-15 16:00:03
阅读次数：
78
集成学习（ensemble learning）通过构建并结合多个学习器完成任务。也可称为多分类器系统（multi-classifier system）、基于委员会的学习（committee-based learning）等。其一般结构是先生成一组“个体学习器”(individual learner) ...
分类：
编程语言 时间：
2019-08-10 20:59:51
阅读次数：
97
在集成学习之Adaboost算法原理小结中，我们对Adaboost的算法原理做了一个总结。这里我们就从实用的角度对scikit-learn中Adaboost类库的使用做一个小结，重点对调参的注意事项做一个总结。# 一、Adaboost类库概述 scikit-learn中Adaboost类库比较直接，... ...
分类：
其他好文 时间：
2019-07-19 19:16:49
阅读次数：
119
在集成学习之Adaboost算法原理小结中，我们对Boosting家族的Adaboost算法做了总结，本文就对Boosting家族中另一个重要的算法梯度提升树(Gradient Boosting Decison Tree, 以下简称GBDT)做一个总结。GBDT有很多简称，有GBT（Gradient... ...
分类：
其他好文 时间：
2019-07-19 18:42:11
阅读次数：
72
不得不说flask的设计要比django要小巧精妙的多了,没有那么臃肿,只保留核心功能,其他的都需要自己引入,即各种各样的插件来满足我们的需求,我这里记录一下自己学习项目中用的插件使用方法和一些技巧总结! 先放一下代码地址: https://gitee.com/houzheng1216/python ...
分类：
其他好文 时间：
2019-07-07 17:54:11
阅读次数：
141
1.随机森林（RF） RF是对bagging的进化版，首先都是有放回的进行采样，获得n个训练集从而训练n个弱分类器，但是RF在随机选取的训练集的基础上对于特征的选择也是随机的，随机的选取一部分的特征进行弱分类器的构建，同时在划分建树的过程中也是从这些随机选取的部分特征中选择最优的特征。(使用的为同质 ...
分类：
其他好文 时间：
2019-06-26 20:43:34
阅读次数：
171
adaboost 的思想很简单，算法流程也很简单，但它背后有完整的理论支撑，也有很多扩展。 权重更新 在算法描述中，权重如是更新 其中 wm,i 是m轮样本i的权重，αm是错误率，Øm是第m个基学习器的输出，Zm是归一化因子 当预测值与真实值相同时，yØ=1，-αyØ<0，exp(-αyØ)<1，权 ...
分类：
其他好文 时间：
2019-06-26 16:26:12
阅读次数：
141
详细参考：https://www.cnblogs.com/pinard/p/6131423.html 首先明确集成学习它本身不是一个单独的机器学习算法，而是通过构建并结合多个机器学习器来完成学习任务。 集成学习有两个主要的问题需要解决，第一是如何得到若干个个体学习器，第二是如何选择一种结合策略，将这 ...
分类：
其他好文 时间：
2019-06-26 00:59:35
阅读次数：
169
集成学习方式总共有3种：bagging-(RF)、boosting-(GBDT/Adaboost/XGBOOST)、stacking 下面将对Bagging 进行介绍：（如下图所示） 用Bagging的方法抽取训练集时，大约有1/3 的数据没有被抽到。 从训练集进行一系列的子抽样，得到子训练集，训练 ...
分类：
其他好文 时间：
2019-05-22 11:06:06
阅读次数：
118
第二十八节集成学习之随机森林概念介绍(1) 从本系列开始，我们讲解一个新的算法系列集成学习。集成学习其实是怎么样去应用决策树解决一些问题。 在机器学习领域集成学习是一种非常简单直接的提升分类器回归器预测效果的一种思路。决策树有一个困境，当层数太深的时候会有过拟合问题，当我不想过拟合，就通过预剪枝给它 ...
分类：
其他好文 时间：
2019-05-20 10:27:15
阅读次数：
121
