在完成了K临近之后，今天我们开始下一个算法 >决策树算法。 一、决策树基础知识 如果突然问你"有一个陌生人叫X,Ta今天需要带伞吗?", 你一定会觉得这个问题就像告诉你"两千米外有一个超市,问超市里面有多少卷卫生纸"一样突兀. 可能几秒钟之后你会说"这要依情况而定, 如果今天烈日炎炎并且X是一个皮肤 ...
分类：
其他好文 时间：
2018-03-08 20:18:42
阅读次数：
187
id3 信息增益 c4.5 信息增益比 CART 基尼指数 参考 优缺点： 决策树算法原理 (上) 决策树算法原理 (下) 简略介绍： [Machine Learning & Algorithm] 决策树与迭代决策树（GBDT） 1.熵的概念 首先，我们需要熟悉信息论中熵的概念。熵度量了事物的不确定 ...
分类：
其他好文 时间：
2018-03-07 18:56:45
阅读次数：
162
GBDT 序言 GBDT (Gradient Boosting Decision Tree)又叫MART (Multiple Additive Regression Tree)，是一种迭代的决策树算法，即该算法由多棵决策树组成，所有决策树的预测结果累加起来做最终答案。 正文 Gradient Boo ...
分类：
其他好文 时间：
2018-03-05 11:14:57
阅读次数：
219
决策树算法在机器学习中算是很经典的一个算法系列了。它既可以作为分类算法，也可以作为回归算法，同时也特别适合集成学习比如随机森林。本文就对决策树算法原理做一个总结，上篇对ID3， C4.5的算法思想做了总结，下篇重点对CART算法做一个详细的介绍。选择CART做重点介绍的原因是scikit-learn ...
分类：
编程语言 时间：
2018-03-04 16:12:14
阅读次数：
235
在决策树算法原理(上)这篇里，我们讲到了决策树里ID3算法，和ID3算法的改进版C4.5算法。对于C4.5算法，我们也提到了它的不足，比如模型是用较为复杂的熵来度量，使用了相对较为复杂的多叉树，只能处理分类不能处理回归等。对于这些问题， CART算法大部分做了改进。CART算法也就是我们下面的重点了 ...
分类：
编程语言 时间：
2018-03-04 15:59:20
阅读次数：
285
第 1 章: 基础知识第 2 章: K近邻算法第 3 章: 决策树算法第 4 章: 朴素贝叶斯第 5 章: 逻辑斯蒂回归第 6 章: 支持向量机第 7 章: 集成方法第 8 章: 回归第 9 章: 树回归第 10 章: KMeans聚类第 11 章: Apriori算法与关联分析第 12 章: FP ...
分类：
Web程序 时间：
2018-02-23 11:00:38
阅读次数：
211
一 、决策树概述 前面我们讲的kNN算法，虽然可以完成很多分类任务，但它最大的缺点是无法给出数据的内在含义，而决策树的主要优势就在于数据形式非常容易理解。决策树算法能够读取数据集合，决策树的一个重要任务是为了数据所蕴含的知识信息，因此，决策树可以使用不熟悉的数据集合，并从中提取一系列规则，在这些机器 ...
分类：
其他好文 时间：
2018-02-12 13:57:28
阅读次数：
184
决策树是一种简单但广泛使用的分类器，它通过训练数据构建决策树，对未知的数据进行分类。决策树的每个内部节点表示在一个属性上的测试，每个分枝代表该测试的一个输出，而每个树叶结点存放着一个类标号。 在决策树算法中，ID3基于信息增益作为属性选择的度量，C4.5基于信息增益比作为属性选择的度量，CART基于 ...
分类：
其他好文 时间：
2018-01-23 00:55:55
阅读次数：
185
持续更新中... 1.k-近邻算法 优势：精度高、对异常值不敏感、无数据输入设定 缺点：计算复杂度高、空间复杂度高 适用数据范围：数值型和标称型 适用场景： 2.ID3决策树算法 优势：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据 劣势：可能会产生过度匹配问题 适用 ...
分类：
编程语言 时间：
2017-12-30 13:21:40
阅读次数：
147
关于本文说明，本人原博客地址位于http://blog.csdn.net/qq_37608890，本文来自笔者于2017年12月06日 18:06:30所撰写内容（http://blog.csdn.net/qq_37608890/article/details/78731169）。 本文根据最近学习 ...
分类：
编程语言 时间：
2017-12-22 23:01:12
阅读次数：
265
