1 简述1.1 id3是一种基于决策树的分类算法，由J.Ross Quinlan在1986年开发。id3根据信息增益，运用自顶向下的贪心策略建立决策树。信息增益用于度量某个属性对样本集合分类的好坏程度。由于采用了信息增益，id3算法建立的决策树规模比较小，查询速度快。id3算法的改进是C4.5算法， ...
分类：
其他好文 时间：
2017-04-25 14:54:18
阅读次数：
224
利用ID3算法来判断某天是否适合打网球。 （1）类别属性信息熵的计算由于未分区前，训练数据集中共有14个实例， 其中有9个实例属于yes类（适合打网球的），5个实例属于no类（不适合打网球）， 因此分区前类别属性的熵为： （2）非类别属性信息熵的计算，若先选择Outlook属性。 （3）Outloo ...
分类：
编程语言 时间：
2017-04-23 00:52:17
阅读次数：
572
主要思想： 0、训练集格式：特征1,特征2,...特征n,类别 1、采用Python自带的数据结构字典递归的表示数据 2、ID3计算的信息增益是指类别的信息增益，因此每次都是计算类别的熵 3、ID3每次选择最优特征进行数据划分后都会消耗特征 4、当特征消耗到一定程度，可能会出现数据实例一样，但是类别 ...
分类：
编程语言 时间：
2017-04-20 20:51:47
阅读次数：
238
信息增益是决策树ID3算法中重要的概念，同时使用信息增益的手段也用来做特征工程中的特征选择，本文介绍了一种使用SQL中汇总函数cube来计算特征信息增益方法。 ...
分类：
数据库 时间：
2017-04-20 09:56:38
阅读次数：
246
相比kNN的无脑比较相似度，我们需要一种能够较清晰地给出数据内在含义的分类器。 这一章给出了“决策树”这种选择，这一概念本身不难理解，问题在于 在树的每一层如何划分数据集能达到最好的效果 (书中选用的是ID3算法，虽然不是很理解这个名字，但算法本身不是很难理解) 这里的效果，我们引入信息熵这个概念进 ...
分类：
其他好文 时间：
2017-03-04 21:08:52
阅读次数：
150
1.信息增益的定义，也就是互信息 2.信息增益的推导 由公式即可得到信息增益 信息增益存在偏向于选择取值较多的特征的问题，信息增益比可以对这一问题进行修正 3.信息增益比 4.基尼指数，基尼指数越大，样本集合的不确定性也就越大，与熵类似 5.ID3算法，使用信息增益作为特征选择准则，递归选择信息增益 ...
分类：
其他好文 时间：
2017-03-01 22:39:05
阅读次数：
192
1. 基本分析理论 C5.0是决策树模型中的算法，79年由J R Quinlan发展，并提出了ID3算法，主要针对离散型属性数据，其后又不断的改进，形成C4.5，它在ID3基础上增加了队连续属性的离散化。C5.0是C4.5应用于大数据集上的分类算法，主要在执行效率和内存使用方面进行了改进。C4.5算 ...
分类：
编程语言 时间：
2017-02-09 17:43:09
阅读次数：
619
已知：流感训练数据集，预定义两个类别； 求：用ID3算法建立流感的属性描述决策树 流感训练数据集 No. 头痛 肌肉痛 体温 患流感 1 是(1) 是(1) 正常(0) 否(0) 2 是(1) 是(1) 高(1) 是(1) 3 是(1) 是(1) 很高(2) 是(1) 4 否(0) 是(1) 正常( ...
分类：
编程语言 时间：
2016-12-29 08:04:54
阅读次数：
248
人工智能实验课实现ID3算法时，需要把最终的决策树输出出来 考虑每个节点的名字长度、孩子个数都不同，直接层级遍历对齐起来很麻烦且容易出现歧义，所以决定用广义表的形式输出决策树 由于广义表中的元素顺序具有相对顺序，所以采用形式Root({weight1}subTree1,{weight2}subTre ...
分类：
其他好文 时间：
2016-11-30 14:49:17
阅读次数：
889
网络上使用sklearn生成决策树的资料很多，这里主要说明遇见标量数据的处理。 经查验参考资料，sklearn并非使用了课上以及书上讲的ID3算法，而是选择了CART，该算法生成二叉树；scikit-learn使用了一种优化的CART算法，要求元数据为数值型（要能转换为np.float32类型的矩阵 ...
分类：
其他好文 时间：
2016-11-23 23:05:51
阅读次数：
3474
