集成学习 在一般经验中，如果把好坏不等的东西掺到一起，那么通常结果会是比最坏的要好一些，比最好的要坏一些。这就是集成学习的出发点。如果把多个学习器结合起来，是否能获得比最好的单一学习器更好的性能呢? 集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务。集成学习一般先 ...
分类：
其他好文 时间：
2017-11-24 18:05:50
阅读次数：
104
做重要决定时，大家可能都会考虑吸取多个专家而不只是一个人的意见。机器学习处理问题时又何尝不是如此？这就是元算法（meta-algorithm ) 背后的思路。元算法是对其他算法进行组合的一种方式 7.1 基于数据集多重抽样的分类器 我们自然可以将不同的分类器组合起来，而这种组合结果则被称为集成方法（ ...
分类：
编程语言 时间：
2017-11-15 22:00:02
阅读次数：
326
前言机器学习相关算法数量庞大，很难一一穷尽，网上有好事之人也评选了相关所谓十大算法（可能排名不分先后），它们分别是：1.决策树2.随机森林算法3.逻辑回归4.支持向量机5.朴素贝叶斯6.K最近邻算法7.C均值算法8.Adaboost算法9.神经网络10.马尔可夫当然不同的评价标准会产生完..
分类：
其他好文 时间：
2017-11-12 11:02:56
阅读次数：
135
转刘建平Pinard 在集成学习之Adaboost算法原理小结中，我们对Boosting家族的Adaboost算法做了总结，本文就对Boosting家族中另一个重要的算法梯度提升树(Gradient Boosting Decison Tree, 以下简称GBDT)做一个总结。GBDT有很多简称，有G ...
分类：
其他好文 时间：
2017-11-11 13:05:48
阅读次数：
217
提升(boosting) 方法是一种常用的统计学习方法,应用广泛且有效.在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能.本章首先介绍提升方法的思路和代表性的提升算法AdaBoost; 然后通过训练误差分析探讨AdaBoost 为什么能够提高学习精度 ...
分类：
其他好文 时间：
2017-10-29 22:02:51
阅读次数：
188
#coding=utf8 import numpy as np import pandas as pd from sklearn.linear_model import Ridge from sklearn.model_selection import cross_val_score import ... ...
分类：
其他好文 时间：
2017-10-23 21:39:16
阅读次数：
351
1、集成学习概述 1.1 集成学习概述 集成学习在机器学习算法中具有较高的准去率，不足之处就是模型的训练过程可能比较复杂，效率不是很高。目前接触较多的集成学习主要有2种：基于Boosting的和基于Bagging，前者的代表算法有Adaboost、GBDT、XGBOOST、后者的代表算法主要是随机森 ...
分类：
编程语言 时间：
2017-10-10 22:01:01
阅读次数：
242
转自穆晨 阅读目录 前言 一种原始的元算法 - bagging (自举汇聚法) boost (提高任意给定学习算法精确度算法) vs bagging (自举汇聚法) AdaBoost 元算法的基本原理 基于单层决策树的 AdaBoost 元算法分类器实现 小结 阅读目录 前言 一种原始的元算法 - ...
分类：
编程语言 时间：
2017-10-08 16:54:32
阅读次数：
195
在集成学习原理小结中，我们讲到了集成学习按照个体学习器之间是否存在依赖关系可以分为两类，第一个是个体学习器之间存在强依赖关系，另一类是个体学习器之间不存在强依赖关系。前者的代表算法就是是boosting系列算法。在boosting系列算法中， Adaboost是最著名的算法之一。Adaboost既可 ...
分类：
编程语言 时间：
2017-09-30 21:54:28
阅读次数：
362
问题： 马疝气病判断训练数据： 299行， 22列， 其中最后一列为标签， 例：2.000000 1.00000038.500000 66.00000028.000000 3.0000003.000000 0.0000002.000000 5.0000004.000000 4.0000000.000 ...
分类：
其他好文 时间：
2017-09-27 16:18:17
阅读次数：
246
