提升方法与前向分步算法 提升方法 从弱学习算法出发，反复学习，得到一系列弱分类器，然后组合这些弱学习器，提升为强学习器 两个问题： 在每一轮如何改变训练数据的权值或概率分布 如何将弱学习器组合成一个强学习器 前向分步算法 AdaBoost另一种解释： 加法模型 损失函数为指数函数 学习算法为前向分步 ...
分类：
其他好文 时间：
2019-11-24 17:26:48
阅读次数：
80
总结两种具体的提升算法： AdaBoost算法： AdaBoost的基本想法是不断调整训练数据中样本的权值来训练新的学习器，对于当前误分类的点在下一步中就提高权重“重点关照一下”，最后再将所有的弱分类器做加权和，对于分类正确率高的权重给得大大（更可靠），分类正确率低的给的权重低乃至是负的权重。其具体 ...
分类：
其他好文 时间：
2019-10-16 19:58:16
阅读次数：
100
Adaboost是boost提升算法中的一种，Boosting算法是将“弱学习算法“提升为“强学习算法”的过程，主要思想是“三个臭皮匠顶个诸葛亮”。一般来说，找到弱学习算法要相对容易一些，然后通过反复学习得到一系列弱分类器，组合这些弱分类器得到一个强分类器。Boosting算法要涉及到两个部分，加法 ...
分类：
其他好文 时间：
2019-09-15 01:13:00
阅读次数：
97
一、bagging和boosting的区别 参考：https://blog.csdn.net/blank_tj/article/details/82229322 简单总结Bagging：对数据集进行多次有放回抽样，每次的抽样进行分类计算生成弱分类器，分类问题就是把每一次的计算结果进行投票，看哪一种情 ...
分类：
其他好文 时间：
2019-08-19 10:03:43
阅读次数：
630
一、流程 基函数线性加权和得到最终的强分类器。每轮迭代得到一个弱分类器，这个分类器是在上一轮的残差基础上得到的。本轮就是要找一个cart树，使得本轮的损失函数值更加的小。 二、如何选择特征（就是如何生成cart树） 回归树：平方误差和最小化，对于特征A=a时，集合D的误差最小时，就选择这个特征值最为 ...
分类：
其他好文 时间：
2019-08-11 23:24:44
阅读次数：
94
? 使用 Ada Boosting 方法提升若干个弱分类器的效果 ● 代码，每个感知机仅训练原数据集 trainRatio = 30% 的数据，然后进行调整和提升 ● 输出结果，随着使用的弱分类器数量的增多，预测精度逐渐上升。低维情况不明显，少数的弱分类器就已经达到了较好的精度，高维情况中，精度上升 ...
分类：
其他好文 时间：
2019-08-02 00:00:25
阅读次数：
102
1.随机森林（RF） RF是对bagging的进化版，首先都是有放回的进行采样，获得n个训练集从而训练n个弱分类器，但是RF在随机选取的训练集的基础上对于特征的选择也是随机的，随机的选取一部分的特征进行弱分类器的构建，同时在划分建树的过程中也是从这些随机选取的部分特征中选择最优的特征。(使用的为同质 ...
分类：
其他好文 时间：
2019-06-26 20:43:34
阅读次数：
171
一、BP_ Adaboost模型 Adaboost 算法的思想是合并多个“弱”分类器的输出以产生有效分类。其主要步骤为 ： （1）首先给出弱学习算法和样本空间（x， y） ，从样本空间中找出 m 组训练数据，每组训练数据的权重都是 1 /m。 （2）用弱学习算法迭代运算 T 次，每次运算后都按照分类 ...
分类：
其他好文 时间：
2019-05-26 15:55:53
阅读次数：
177
Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值... ...
分类：
编程语言 时间：
2019-05-19 22:06:50
阅读次数：
191
0提升的基本方法 对于分类的问题，给定一个训练样本集，求比较粗糙的分类规则（弱分类器）要比求精确的分类的分类规则（强分类器）容易的多。提升的方法就是从弱分类器算法出发，反复学习，得到一系列弱分类器（又称为基本分类器），然后组合这些弱分类器，构成一个强分类器。大多数的提升方法都是改变训练数据集的概率分 ...
分类：
编程语言 时间：
2019-05-09 21:45:32
阅读次数：
200
