一 Boosting 算法的起源boost 算法系列的起源来自于PAC Learnability(PAC 可学习性)。这套理论主要研究的是什么时候一个问题是可被学习的，当然也会探讨针对可学习的问题的具体的学习算法。这套理论是由Valiant提出来的，也因此（还有其他贡献哈）他获得了2010年的图灵奖...
分类：
编程语言 时间：
2015-06-23 17:33:58
阅读次数：
167
国际权威学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12本月十大评选经典的数据挖掘算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive...
分类：
编程语言 时间：
2015-06-23 15:09:58
阅读次数：
107
国际权威学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12本月十大评选经典的数据挖掘算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive...
分类：
编程语言 时间：
2015-06-22 19:11:57
阅读次数：
189
《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost 到随机森林、Deep Learning.《Deep Learning in Neural Networks: An Ove....
分类：
系统相关 时间：
2015-06-21 18:26:21
阅读次数：
382
一、集成方法(Ensemble Method)...
分类：
编程语言 时间：
2015-06-16 23:02:07
阅读次数：
419
【原创】Liu_LongPo 转载请注明出处
【CSDN】http://blog.csdn.net/llp1992AdaBoost算法是基于单层决策树等弱分类算法的强学习分类算法。单层决策树算法也是一种分类算法，但是其分类效果较差，只根据一个特征进行数据划分，因此单层决策树算法被称为弱分类算法；而AdaBoost算法通过将多个弱分类算法串行训练而成，属于强分类算法。AdaBoost算法是boost...
分类：
编程语言 时间：
2015-06-16 11:11:05
阅读次数：
804
提升方法的基本思路 在概率近似正确（probably approximately correct，PAC）学习的框架中， 一个概念（一个类），如果存在一个多项式的学习算法能够学习它，并且正确率很高，那么就称这个概念是强可学习的； 一个概念，如果存在一个多项式的学习算法能够学习它，学习的正确率仅比随机...
分类：
其他好文 时间：
2015-06-13 21:35:12
阅读次数：
1475
Weighted Base Algorithm(1)基本算法引入权重
加权这类算法给每个数据一个权重，这个权重可以看做是该数据点有几份。在之前介绍的SVM算法中，对于一个错误扣除C的分数，而对错误加权之后，每个数据点将扣除C·un这个多的分数，这个参数经过二次规划的计算之后，就会到α的上限中去。
对于逻辑回归来说，un可以作为样本(xn,yn)的抽样比例。
这两个例子说明将权重系数放入具体...
分类：
其他好文 时间：
2015-06-11 22:57:59
阅读次数：
184
目前学了几个ML的分类的经典算法，但是一直想着是否有一种能将这些算法集成起来的，今天看到了AdaBoost，也算是半个集成，感觉这个思路挺好，很像人的训练过程，并且对决策树是一个很好的补充，因为决策树容易过拟合，用AdaBoost可以让一棵很深的决策树将其分开成多棵矮树，后来发现原来这个想法和ran...
分类：
编程语言 时间：
2015-06-11 12:36:24
阅读次数：
421
其实adaboost可以和很多的分类器结合，具体的操作如ada=AdaBoostClassifier(n_estimators=10, base_estimator=SVC(probability=True)) ada.fit(x_train,y_train)http://stackoverflow...
分类：
其他好文 时间：
2015-06-01 22:17:18
阅读次数：
405
