简介CART与C4.5类似，是决策树算法的一种。此外，常见的决策树算法还有ID3，这三者的不同之处在于特征的划分：ID3：特征划分基于信息增益C4.5：特征划分基于信息增益比CART：特征划分基于基尼指数基本思想CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。这样的决策树等价于递归地二分每个特征，将输入空间即特征空间划分为有限
分类：
编程语言 时间：
2018-12-28 22:22:54
阅读次数：
227
简介 CART与C4.5类似，是决策树算法的一种。此外，常见的决策树算法还有ID3，这三者的不同之处在于特征的划分： ID3：特征划分基于信息增益 C4.5：特征划分基于信息增益比 CART：特征划分基于基尼指数 基本思想 CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分支是取值 ...
分类：
编程语言 时间：
2018-12-28 22:13:21
阅读次数：
216
这两篇文章（上，下）已经总结得很好了 http://www.cnblogs.com/pinard/p/6050306.html https://www.cnblogs.com/pinard/p/6053344.html 1. 数学基础 1.信息论的信息熵：Entropy 2.基尼不纯度：Gini i ...
分类：
编程语言 时间：
2018-12-26 15:53:58
阅读次数：
183
一、绪论 K近邻法(k-nearest neighbors,KNN)是一种很基本的机器学习方法了，在我们平常的生活中也会不自主的应用。比如，我们判断一个人的人品，只需要观察他来往最密切的几个人的人品好坏就可以得出了。这里就运用了KNN的思想。KNN方法既可以做分类，也可以做回归，这点和决策树算法相同 ...
分类：
其他好文 时间：
2018-12-15 00:23:30
阅读次数：
170
1.理论 2.代码 2.1 训练数据 2.2 代码 2.3 结果 ...
分类：
编程语言 时间：
2018-10-27 00:18:53
阅读次数：
162
1、决策树简介 1.1 决策树概述 决策树算法是一种基于树形结构的分类算法，它能从给定的无序的训练样本中，提炼出树型的分类模型，树形中包含判断模块和终止模块。它是一种典型的分类算法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数 ...
分类：
其他好文 时间：
2018-10-22 20:45:27
阅读次数：
189
机器学习实战之决策树 一,引言： 上一章我们讲的kNN算法，虽然可以完成很多分类任务，但它最大的缺点是无法给出数据的内在含义，而决策树的主要优势就在于数据形式非常容易理解。决策树算法能够读取数据集合，决策树的一个重要任务是为了数据所蕴含的知识信息，因此，决策树可以使用不熟悉的数据集合，并从中提取一系 ...
分类：
其他好文 时间：
2018-10-04 11:08:35
阅读次数：
185
使用决策树算法手动计算GOLF数据集 步骤： 1、通过信息增益率筛选分支。 （1）共有4个自变量，分别计算每一个自变量的信息增益率。 首先计算outlook的信息增益。outlook的信息增益Gain(outlook)= 其中，v是可能取值的集合（本例中，outlook可以取3个值），D表示整个数据 ...
分类：
编程语言 时间：
2018-09-26 19:14:01
阅读次数：
800
网上的内容感觉又多又乱，自己写一篇决策树算法。希望对别人有所启发，对自己也是一种进步。 决策树 须知概念 信息熵 & 信息增益 熵： 熵（entropy）指的是体系的混乱的程度，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。 信息熵（香农熵）： 是一种信息的度量方式，表示信息的混 ...
分类：
编程语言 时间：
2018-09-24 00:50:03
阅读次数：
185
例子(怎么构造决策树)： Info(D) = -(9/14) * log(9/14) - (5/14) * log(5/14) = 0.940 bits Info_age(D) = (5/14) * (-(2/5) * log(2/5) - (3/5) * log(3/5)) + (4/14) * ...
分类：
编程语言 时间：
2018-09-14 20:01:28
阅读次数：
186
