集成学习基础 集成学习分类 Boosting 采用串行的方式，各个基学习器之间有依赖 基本思路：将基学习器层层叠加，每一层训练时，对前一层分错的样本，给予更高的权重。测试时，根据各层学习器的结果加权融合 AdaBoost Bagging 各基学习器之间无强依赖，可以并行训练 基于决策树基学习器的Ra ...
分类：
其他好文 时间：
2019-11-24 17:36:26
阅读次数：
93
提升方法与前向分步算法 提升方法 从弱学习算法出发，反复学习，得到一系列弱分类器，然后组合这些弱学习器，提升为强学习器 两个问题： 在每一轮如何改变训练数据的权值或概率分布 如何将弱学习器组合成一个强学习器 前向分步算法 AdaBoost另一种解释： 加法模型 损失函数为指数函数 学习算法为前向分步 ...
分类：
其他好文 时间：
2019-11-24 17:26:48
阅读次数：
80
主要内容： 1.模型介绍 提升树算法与线性回归模型的思想类似，所不同的是该算法实现了多棵基础决策树𝑓(𝑥)的加权运算，最具代表的提升树为AdaBoost算法，即 2.损失函数的介绍 对于Adaboost算法而言，每一棵基础决策树都是基于前一棵基础决策树的分类结果对样本点设置不同的权重，如果在前一 ...
分类：
编程语言 时间：
2019-10-31 20:07:33
阅读次数：
154
特征提取之Haar特征一、前言（废话）很久没有写博客了，一晃几年就过去了，为了总结一下自己看的一些论文，以后打算写一些自己读完论文的总结。那么，今天就谈一谈人脸检测最为经典的算法Haar-like特征+Adaboost。这是最为常用的物体检测的方法（最初用于人脸检测），也是用的最多的方法，而且Ope ...
分类：
其他好文 时间：
2019-10-23 00:07:01
阅读次数：
102
总结两种具体的提升算法： AdaBoost算法： AdaBoost的基本想法是不断调整训练数据中样本的权值来训练新的学习器，对于当前误分类的点在下一步中就提高权重“重点关照一下”，最后再将所有的弱分类器做加权和，对于分类正确率高的权重给得大大（更可靠），分类正确率低的给的权重低乃至是负的权重。其具体 ...
分类：
其他好文 时间：
2019-10-16 19:58:16
阅读次数：
100
[TOC]更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/# scikit-learn库之AdaBoost算法当我们对Adaboost调参时，主要要对两部分内容调参，第一部分... ...
分类：
编程语言 时间：
2019-10-16 18:16:16
阅读次数：
80
[TOC]更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/# AdaBoost算法集成学习中弱学习器之间有强依赖关系的，称之为Boosting系列算法，而AdaBoost则是... ...
分类：
编程语言 时间：
2019-10-16 18:13:19
阅读次数：
111
[TOC]更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/# AdaBoost算法代码(鸢尾花分类)# 一、导入模块```pythonimport numpy as npim... ...
分类：
编程语言 时间：
2019-10-16 17:49:29
阅读次数：
117
[TOC]更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/# 提升树提升树(boosting tree)是以分类树或回归树作为弱学习器的强学习器。提升树模型用的是加法模型，算... ...
分类：
其他好文 时间：
2019-10-16 17:40:32
阅读次数：
106
入门认知 集成学习：集成多个学习器来完成学习任务。主要分为两类：Bagging和Boosting。 Bagging：自举汇聚法，从样本种随机取出n个样本作为训练样本，用完放回，这样进行k次得到K个训练集（这K个训练集中的样本可能有相同的，也可能相互之间完全不一样），这样使用K个训练器（可以一样，也可 ...
分类：
其他好文 时间：
2019-10-06 14:57:11
阅读次数：
116
