决策树(Decision Tree)在机器学习中也是比较常见的一种算法，最早的决策树算法是ID3，改善后得到了C4.5算法，进一步改进后形成了我们现在使用的C5.0算法，综合性能大幅提高。算法核心：为每一次分裂确定一个分裂属性。ID3采用的是“信息增益”为度量来选择分裂属性的。 ...
分类：
其他好文 时间：
2018-09-07 00:56:09
阅读次数：
2571
1、c4.5 c4.5算法是机器学习算法中的一种分类决策树算法，其核心是ID3算法，c4.5算法继承了ID3算法的优点，并在一下几个放米娜对ID3算法进行了改进： 1）用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足。 2）在树构造过程中进行剪枝。 3）能够完成对不连续属 ...
分类：
编程语言 时间：
2018-08-07 22:23:00
阅读次数：
152
提升决策树GBDT 梯度提升决策树算法是近年来被提及较多的一个算法，这主要得益于其算法的性能，以及该算法在各类数据挖掘以及机器学习比赛中的卓越表现，有很多人对GBDT算法进行了开源代码的开发，比较火的是陈天奇的XGBoost和微软的LightGBM 一、监督学习 1、 监督学习的主要任务 监督学习是 ...
分类：
编程语言 时间：
2018-08-05 14:18:16
阅读次数：
225
GBDT虽然是个强力的模型，但却有着一个致命的缺陷，不能用类似mini batch的方式来训练，需要对数据进行无数次的遍历。如果想要速度，就需要把数据都预加载在内存中，但这样数据就会受限于内存的大小；如果想要训练更多的数据，就要使用外存版本的决策树算法。虽然外存算法也有较多优化，SSD也在普及，但在 ...
分类：
其他好文 时间：
2018-08-01 14:08:11
阅读次数：
178
1、认识决策树： 决策树思想非常朴素，程序设计中的条件就是if-then结构，最早的决策树就是利用这类结构分割数据的一中分类学习方法。 2、信息论基础-银行贷款分析 香农在1948年提出信息论，单位为比特； 信息熵：可以理解为代价；信息和消除不确定性是相联系的； 信息增益：当得知特征x的信息而使得类 ...
分类：
编程语言 时间：
2018-07-29 22:21:39
阅读次数：
553
1.集成学习概念： ? 个体学习器通常是用一个现有的学习算法从训练数据产生，例如C4.5决策树算法、BP神经网络算法等。此时集成中只包含同种类型的个体学习器，例如“决策树集成”中的个体学习器全是决策树，“神经网络集成”中就全是神经网络，这样的集成是“同质”（homogeneous）的，同质集成中的个 ...
分类：
其他好文 时间：
2018-07-19 13:55:58
阅读次数：
283
决策树是一种基本的分类和回归模型，也就是说既可以用于分类也可以用于回归。这里以分类为例。 决策树模型一种描述对实例依据特征进行分类的树形结构，它包含一个根节点，若干个内部节点和若干个叶节点。其中叶节点对应的是决策结果，也可以说是一个类，内部节点表示的是一个属性和特征。 决策树的学习算法包含三个步骤： ...
分类：
编程语言 时间：
2018-07-03 11:46:29
阅读次数：
111
决策树方法的简单调用记录一下 1 clf=tree.DecisionTreeClassifier() 2 dataMat=[];labelMat=[] 3 dataPath='D:/machinelearning data/machinelearninginaction/Ch05/testSet.t ...
分类：
编程语言 时间：
2018-06-06 12:21:48
阅读次数：
418
决策树有些与生俱来的缺点： 1：分类规则复杂 决策树算法在产生规则的时候采用局部贪婪法。每次都只选择一个属性进行分析构造决策树，所以再产生的分类规则往往相当复杂。 2：收敛到非全局的局部最优解 ID3算法每次在树的某个层次进行属性选择时,它不再回溯重新考虑这个选择,所以它容易产生盲人登山中常见的风险 ...
分类：
其他好文 时间：
2018-06-01 00:17:52
阅读次数：
178
一、决策树之ID3算法简述 1976年-1986年，J.R.Quinlan给出ID3算法原型并进行了总结，确定了决策树学习的理论。这可以看做是决策树算法的起点。1993，Quinlan将ID3算法改进成C4.5算法，称为机器学习的十大算法之一。ID3算法的另一个分支是CART(Classificat ...
分类：
编程语言 时间：
2018-05-30 19:21:00
阅读次数：
231
