码迷,mamicode.com
首页 > 其他好文 > 详细

随机森林

时间:2016-03-08 23:55:36      阅读:241      评论:0      收藏:0      [点我收藏+]

标签:

http://www.cnblogs.com/wentingtu/archive/2011/12/13/2286212.html

随机森林,是用随机的方式建立一个森林,森林里面有很多的决策树组成,随机森林的每一棵决策树之间是没有关联的。在得到森林之后,当有一个新的输入样本进入的时候,就让森林中的每一棵决策树分别进行一下判断,看看这个样本应该属于哪一类(对于分类算法),然后看看哪一类被选择最多,就预测这个样本为那一类。
 
随机森林的采样分为行采样和列采样
行采样使用使用bagging中的Bootstrap aggregating方法。采用有放回的方式,也就是在采样得到的样本集合中,可能有重复的样本。假设输入样本为N个,那 么采样的样本也为N个。
列采样从M个feature中,选择m个(m << M)。之后就是对采样之后的数据使用完全分裂的方式建立出决策树。
特点
•随机选取训练样本集
•随机选取分裂属性集
•每棵树任其生长,不进行剪枝
 
影响性能因素
•单棵树的分类强度:每棵树分类强度越大,随机森林分类性能越好
•森林中树之间的相关度:树之间的相关度越大,则随机森林的分类性能越差

随机森林的实际用例:

https://www.kaggle.com/c/digit-recognizer/forums/t/2299/getting-started-python-sample-code-random-forest

from sklearn.ensemble import RandomForestClassifier
import numpy as np
import pandas as pd

# create the training & test sets, skipping the header row with [1:]
dataset = pd.read_csv("/Users/ml_data/train.csv")
target = dataset[[0]].values.ravel()
train = dataset.iloc[:,1:].values
test = pd.read_csv("/Users/ml_data/test.csv").values

# create and train the random forest
# multi-core CPUs can use: rf = RandomForestClassifier(n_estimators=100, n_jobs=2)
rf = RandomForestClassifier(n_estimators=100)
rf.fit(train, target)
pred = rf.predict(test)

np.savetxt(submission_rand_forest.csv, np.c_[range(1,len(test)+1),pred], delimiter=,, header = ImageId,Label, comments = ‘‘, fmt=%d)

 

 

 

随机森林

标签:

原文地址:http://www.cnblogs.com/SpeakSoftlyLove/p/5256131.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!