看这篇文章的前提：已经看了PRML中的Adaboost的算法流程看懂下面的内容必须牢牢记住：Adaboost使用的误差函数是指数误差文章主要目的：理解样本抽样的权值是为什么那样变化的。得出的结论：训练第m个基分类器ym时，样本n的抽样权重是fm-1在样本n上的指数误差 当ym将第n个样本...
分类：
其他好文 时间：
2015-07-06 01:20:02
阅读次数：
203
对于分类问题，在给定数据集前提下，训练比较粗糙的弱分类器比精确的强分类器容易得多。另外，Schapire证明了强可学习与弱可学习是等价的，因此首先学习简单的弱分类器，并进行组合就可以得到强分类器，这就是组合方法的理论基础。
组合（Ensemble）方法是一种提高分类准确率的方法，是一个由多个弱分类器组合的复合模型，其中每个单个分类器都进行投票，组合分类器返回最终组合的结果，这样分类的结果比单个分类...
分类：
其他好文 时间：
2015-06-29 20:24:16
阅读次数：
167
一 Boosting 算法的起源boost 算法系列的起源来自于PAC Learnability(PAC 可学习性)。这套理论主要研究的是什么时候一个问题是可被学习的，当然也会探讨针对可学习的问题的具体的学习算法。这套理论是由Valiant提出来的，也因此（还有其他贡献哈）他获得了2010年的图灵奖...
分类：
编程语言 时间：
2015-06-23 17:33:58
阅读次数：
167
国际权威学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12本月十大评选经典的数据挖掘算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive...
分类：
编程语言 时间：
2015-06-23 15:09:58
阅读次数：
107
国际权威学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12本月十大评选经典的数据挖掘算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive...
分类：
编程语言 时间：
2015-06-22 19:11:57
阅读次数：
189
《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost 到随机森林、Deep Learning.《Deep Learning in Neural Networks: An Ove....
分类：
系统相关 时间：
2015-06-21 18:26:21
阅读次数：
382
一、集成方法(Ensemble Method)...
分类：
编程语言 时间：
2015-06-16 23:02:07
阅读次数：
419
【原创】Liu_LongPo 转载请注明出处
【CSDN】http://blog.csdn.net/llp1992AdaBoost算法是基于单层决策树等弱分类算法的强学习分类算法。单层决策树算法也是一种分类算法，但是其分类效果较差，只根据一个特征进行数据划分，因此单层决策树算法被称为弱分类算法；而AdaBoost算法通过将多个弱分类算法串行训练而成，属于强分类算法。AdaBoost算法是boost...
分类：
编程语言 时间：
2015-06-16 11:11:05
阅读次数：
804
提升方法的基本思路 在概率近似正确（probably approximately correct，PAC）学习的框架中， 一个概念（一个类），如果存在一个多项式的学习算法能够学习它，并且正确率很高，那么就称这个概念是强可学习的； 一个概念，如果存在一个多项式的学习算法能够学习它，学习的正确率仅比随机...
分类：
其他好文 时间：
2015-06-13 21:35:12
阅读次数：
1475
Weighted Base Algorithm(1)基本算法引入权重
加权这类算法给每个数据一个权重，这个权重可以看做是该数据点有几份。在之前介绍的SVM算法中，对于一个错误扣除C的分数，而对错误加权之后，每个数据点将扣除C·un这个多的分数，这个参数经过二次规划的计算之后，就会到α的上限中去。
对于逻辑回归来说，un可以作为样本(xn,yn)的抽样比例。
这两个例子说明将权重系数放入具体...
分类：
其他好文 时间：
2015-06-11 22:57:59
阅读次数：
184
