1. C4.5C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法. C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进：1)用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；2)在树构造过程中进行剪枝；3)能够完成对连续属性的离...
分类：
编程语言 时间：
2015-04-23 12:30:07
阅读次数：
203
这里是接着上一篇决策树算法介绍来的。
之前已经学习过决策树的整个方法，对它构造的过程有了比较清楚的认识。这一次的读书笔记就主要关注决策树的应用和用matplotlib来画出一棵决策树。
绘制决策树
matplotlib提供了一个注解工具annotations,跟matlab中的非常相似[不过个人认为matlab画图操作起来更加方便]，他是一个很强大的工具。
首先我们先绘制决策树的一个节...
分类：
其他好文 时间：
2015-04-17 11:35:59
阅读次数：
256
简述算法上一章的kNN更像是应用统计知识来进行科学的预测，它可以完成许多分类任务。但是最大的缺点就是无法给出数据的内在含义，而决策树算法数据形式非常便于理解。决策树的结果经常会应用到专家系统当中。构建一棵决策树的流程：检测数据集中每一个子祥的属性是否属于同一类
if so return 类标签；
else
寻找划分数据集的最好特征
划分数据集...
分类：
其他好文 时间：
2015-04-13 09:47:03
阅读次数：
197
1决策树算法算法原理:1.决策树是一个预测模型,它代表的属性对象与属性值之间的一种映射关系。2.决策树是一种树形结构，内部节点表示每个属性上的测试，每个分支代表一种测试输出，叶节点代表一种类别。3.决策树是一种监督学习方法，用于分类问题应用场景：1.实例是属性-值对表示的；2.可能需要析取描述；3....
分类：
编程语言 时间：
2015-04-07 17:29:13
阅读次数：
334
C4.5是机器学习算法中的另一个分类决策树算法，它是基于ID3算法进行改进后的一种重要算法，相比于ID3算法，改进有如下几个要点：用信息增益率来选择属性。ID3选择属性用的是子树的信息增益，这里可以用很多方法来定义信息，ID3使用的是熵（entropy， 熵是一种不纯度度量准则），也就是熵的变化值，...
分类：
其他好文 时间：
2015-02-06 14:52:18
阅读次数：
254
http://blog.csdn.net/lsldd/article/details/41223147从这一章开始进入正式的算法学习。首先我们学习经典而有效的分类算法：决策树分类算法。1、决策树算法决策树用树形结构对样本的属性进行分类，是最直观的分类算法，而且也可以用于回归。不过对于一些特殊的逻辑分...
分类：
编程语言 时间：
2015-01-07 20:43:41
阅读次数：
236
一、引言
在最开始的时候，我本来准备学习的是C4.5算法，后来发现C4.5算法的核心还是ID3算法，所以又辗转回到学习ID3算法了，因为C4.5是他的一个改进。至于是什么改进，在后面的描述中我会提到。
二、ID3算法
ID3算法是一种分类决策树算法。他通过一系列的规则，将数据最后分类成决策树的形式。分类的根据是用到了熵这个概念。熵在物理这门学科中就已经出现过，表示是一个物质的稳定度，在这里就...
分类：
编程语言 时间：
2015-01-04 21:31:19
阅读次数：
180
1. 算法背景介绍分类树（决策树）是一种十分常用的分类方法。它是一种监管学习，所谓监管学习说白了很简单，就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。C4.5分类树就是...
分类：
编程语言 时间：
2014-12-18 11:53:35
阅读次数：
336
决策树算法是一种逼近离散函数值的方法，是一种典型的分类方法。决策树算法构造决策树来发现数据中蕴涵的分类规则。如何构造精度高，规模小的决策树是决策树算法的核心内容。一般情况下分两步进行，1.决策树的生成。2.决策树的剪枝。（对上一个阶段生成的决策树进行检验，校正和修下的过程，方法：使用测试数据集校.....
分类：
编程语言 时间：
2014-12-17 14:28:52
阅读次数：
203
