Introduction决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将得到的决策树做成图片展示出来）等。但是同时，单决策树又有一些不好的地方，比如说容易over-fitting，虽然有一些方法，如剪枝可以减少这种情况，但是还是不太理想。模型组合（比如说有Boosting，Bagging等）与决策树相关的算法比较多，如randomForest、Ad...
分类：
编程语言 时间：
2015-08-29 12:43:17
阅读次数：
427
1. 随机森林使用背景1.1 随机森林定义随机森林是一种比较新的机器学习模型。经典的机器学习模型是神经网络，有半个多世纪的历史了。神经网络预测精确，但是计算量很大。上世纪八十年代 Breiman等人发明分类树的算法（Breiman et al. 1984），通过反复二分数据进行分类或回归，计算量大大...
分类：
其他好文 时间：
2015-08-19 23:10:16
阅读次数：
817
简单来说，随机森林就是Bagging+决策树的组合（此处一般使用CART树）。即由很多独立的决策树组成的一个森林，因为每棵树之间相互独立，故而在最终模型组合时，每棵树的权重相等，即通过投票的方式决定最终的分类结果。随机森林算法主要过程：1、样本集的选择。 假设原始样本集总共有N个样例，则每轮从原始....
分类：
编程语言 时间：
2015-07-30 22:46:38
阅读次数：
225
引入我们回顾一下之前学习的两个算法，Bagging算法中，通过bootstrapping得到不一样的数据，通过这些数据送到一个基本算法之后，得到不同的g，最后对这些g取平均得到G；决策树算法中，通过递归方式建立子树，最终得到一棵完整的树。
这两种算法都有其鲜明的特点，决策树对于不同的数据相对会敏感一些，即其算法的variance很大，而Bagging的特点是通过投票和平均的方式来降低varianc...
分类：
编程语言 时间：
2015-07-26 12:39:46
阅读次数：
1131
引言上一节中介绍了《随机森林算法》，该算法使用bagging的方式作出一些决策树来，同时在决策树的学习过程中加入了更多的随机因素。该模型可以自动做到验证过程同时还可以进行特征选择。
这一节，我们将决策树和AdaBoost算法结合起来，在AdaBoost中每一轮迭代，都会给数据更新一个权重，利用这个权重，我们学习得到一个g，在这里我们得到一个决策树，最终利用线性组合的方式得到多个决策树组成的G。...
分类：
其他好文 时间：
2015-07-26 12:38:46
阅读次数：
149
组合模型组合模型一般要比单个算法要好，下面简单的介绍下Bootstraping, Bagging, Boosting, AdaBoost, RandomForest 和Gradient boosting这些组合型算法.1.BootstrapingBootstraping: 名字来自成语“pull up by your own bootstraps”，意思就是依靠你自己的资源，称为自助法，它是一种有放...
分类：
编程语言 时间：
2015-07-24 22:39:31
阅读次数：
497
决策树和随机森林一、实验说明1. 环境登录无需密码自动登录，系统用户名shiyanlou，密码shiyanlou2. 环境介绍本实验环境采用带桌面的Ubuntu Linux环境，实验中会用到程序：1. LX终端（LXTerminal）: Linux命令行终端，打开后会进入Bash环境，可以使用Lin...
分类：
编程语言 时间：
2015-07-18 10:47:11
阅读次数：
2529
应该是去年的这个时候，我开始接触机器学习的相关知识，当时的入门书籍是《数据挖掘导论》。囫囵吞枣般看完了各个知名的分类器：决策树、朴素贝叶斯、SVM、神经网络、随机森林等等；另外较为认真地复习了统计学，学习了线性回归，也得以通过orange、spss、R做一些分类预测工作。可是对外说自己是搞机器学习的...
分类：
编程语言 时间：
2015-07-16 16:18:12
阅读次数：
461
处理过拟合的方法：1、去噪（数据清洗）；2、增加训练数据集（收集或构造新数据）3、正则化（L1、L2）4、减少特征数目5、对于决策树可以采用剪枝法6、采用组合分类器（装袋或随机森林）7、选择合适的迭代停止条件8、迭代过程中进行权值衰减（以某个小因子降低每个权值）
分类：
其他好文 时间：
2015-07-11 22:41:55
阅读次数：
478
