前言 本来应该是年后就要写的一篇博客，因为考完试后忙了一段时间课设和实验，然后回家后又在摸鱼，就一直没开动。趁着这段时间只能呆在家里来把这些博客补上。在之前的文章中介绍了 Random Forest 和 AdaBoost，这篇文章将介绍介绍在数据挖掘竞赛中，最常用的算法之一 —— GBDT（Grad ...
分类：
其他好文 时间：
2020-02-02 23:45:02
阅读次数：
87
1.提升方法AdaBoost算法AdaBoost的思想：是先得到一个弱分类器，然后在这个弱分类器的基础上将其提升到强分类器，具体方法是提升上一个分类器中被误分类的样本的权重，使得本次训练的分类器更加重视这些样本，最后的分类器是所有的分类器的线性组合。前一次没有正确分类的样本点在后一次会被更加重视，前 ...
分类：
其他好文 时间：
2020-02-02 17:40:00
阅读次数：
68
Adaboost算法及其代码实现 算法概述 AdaBoost（adaptive boosting），即自适应提升算法。 Boosting 是一类算法的总称，这类算法的特点是通过训练若干弱分类器，然后将弱分类器组合成强分类器进行分类。 为什么要这样做呢？因为弱分类器训练起来很容易，将弱分类器集成起来， ...
分类：
编程语言 时间：
2020-01-30 09:18:45
阅读次数：
99
Adaboost（Adaptive boosting)是boosting（提升）家族的重要算法。boosting家族算法的核心是串行训练学习器，可以理解为"站在巨人的肩膀"，后一个学习器的学习是基于前一个学习器的学习基础之上的，对应的是bagging学习器，学习器之间没有依赖关系。 Adaboost ...
分类：
其他好文 时间：
2020-01-14 20:49:54
阅读次数：
87
GBDT(梯度提升迭代决策树） 总结 优先解决回归问题，将第一个数据的残差传入到第二个数据中去 构建下一个数据集的数据是上一个数据集的残差 详述 GBDT也是Boosting算法的一种，但是和AdaBoost算法不同;区别如下: AdaBoost算法是利用前一轮的弱学习器的误差来更新样本权重值，然后 ...
分类：
编程语言 时间：
2020-01-01 17:03:27
阅读次数：
195
Boosting算法 关键点与难点在于如何修改数据 原理：将 含有m个数据的数据集 丢给一个弱学习器1分类，比如分对百分之60， 那么经过一定手段修改数据集，数据个数还是m个，将修改后的数据集扔给弱学习器2训练，学习器2把在学习器1中分错的那一部分又分对百分之三十。 再修改数据集，将修改后的数据集扔 ...
分类：
编程语言 时间：
2020-01-01 14:53:15
阅读次数：
92
前言 上篇 "文章" 介绍了 的相关概念以及基于 Boosting的 AdaBoost，这篇文章将介绍基于模型融合的另一种方式 Bagging 的算法，随机森林（Random Forest）。(上篇公式敲的太累了这篇就来个简单的缓解缓解) 随机森林 算法思想 我们先来看看这个算法的名字，可以拆分开为 ...
分类：
其他好文 时间：
2019-12-28 19:10:38
阅读次数：
325
前言 前面的文章中介绍了决策树以及其它一些算法，但是，会发现，有时候使用使用这些算法并不能达到特别好的效果。于是乎就有了 （Ensemble Learning），通过构建多个学习器一起结合来完成具体的学习任务。这篇文章将介绍集成学习，以及其中的一种算法 AdaBoost。 集成学习 首先先来介绍下什 ...
分类：
其他好文 时间：
2019-12-27 23:58:53
阅读次数：
177
例8.1Adaboost的例子 注意求D3或者D4的时候只需要把w替换一下就行，记得还得改阈值。这个代码算个半自动的，因为还需要手动改一下。 ...
分类：
其他好文 时间：
2019-12-23 18:56:00
阅读次数：
277
不要总是掉包欧，真的丢人啊，一起码起来！ '''函数的功能：单层决策树分类函数参数说明： xMat：数据矩阵 i：第i列，第几个特征 Q：阈值返回分类结果： re'''import numpy as npimport pandas as pddef classify0(xMat,i,Q,S): re ...
分类：
编程语言 时间：
2019-12-11 23:29:35
阅读次数：
134
