入门学习机器学习的十大算法，第一站就是C4.5算法。C4.5是一种决策树算法，属于监督学习。先给一个样本集，从而建立一棵决策树，然后根据这个决策树来对后续的数据做决策。...
分类：
编程语言 时间：
2015-08-06 16:59:01
阅读次数：
226
该节主要是把《机器学习实战》书上第三章关于决策树的相关代码照样子实现了一遍。对其中一些内容作了些补充，对比ID3与C45区别，同时下载了一个大样本集实验决策树的准确率。首先，对于决策树的原理，很多很好的博客值得一看：从决策树学习谈到贝叶斯分类算法、EM、HMM决策树算法总结这两个已经详解了关于决策树的所有，慢慢品读吧。下面是书上外加添加的部分程序，首先是tree.py里面的程序：import ope...
分类：
编程语言 时间：
2015-07-31 22:01:49
阅读次数：
282
一、C4.5 C4.5，是机器学习算法中的一个分类决策树算法，它是决策树(决策树也就是做决策的节点间的组织方式像一棵树，其实是一个倒树)核心算法ID3的改进算法，所以基本上了解了一半决策树构造方法就能构造它。决策树构造方法其实就是每次选择一个好的特征以及分裂点作为当前节点的分类条件。二、The k-...
分类：
编程语言 时间：
2015-07-26 20:31:24
阅读次数：
144
引言在之前的两节博文《混合和装袋》和《自适应提升》中，我们已经有现成的一堆假设g在手中，我们还如何将这些g混合起来，得到更好的分类器。
混合方式可以分为三种情况：
把g看做是同等地位，通过投票或者平均的方式将它们合起来，称为Bagging
g是不平等的，有好有坏，一个可行的做法是把g当成是特征的转换，然后丢进线性模型训练就可以了，这称为AdaBoost
如果是不同的条件下，使用不...
分类：
编程语言 时间：
2015-07-26 12:40:57
阅读次数：
172
引入我们回顾一下之前学习的两个算法，Bagging算法中，通过bootstrapping得到不一样的数据，通过这些数据送到一个基本算法之后，得到不同的g，最后对这些g取平均得到G；决策树算法中，通过递归方式建立子树，最终得到一棵完整的树。
这两种算法都有其鲜明的特点，决策树对于不同的数据相对会敏感一些，即其算法的variance很大，而Bagging的特点是通过投票和平均的方式来降低varianc...
分类：
编程语言 时间：
2015-07-26 12:39:46
阅读次数：
1131
前言 在机器学习经典算法中，决策树算法的重要性想必大家都是知道的。不管是ID3算法还是比如C4.5算法等等，都面临一个问题，就是通过直接生成的完全决策树对于训练样本来说是“过度拟合”的，说白了是太精确了。由于完全决策树对训练样本的特征描述得“过于精确” ,无法实现对新样本的合理分析, 所以此时它不....
分类：
编程语言 时间：
2015-07-11 16:20:16
阅读次数：
220
【原创】Liu_LongPo 转载请注明出处
【CSDN】http://blog.csdn.net/llp1992AdaBoost算法是基于单层决策树等弱分类算法的强学习分类算法。单层决策树算法也是一种分类算法，但是其分类效果较差，只根据一个特征进行数据划分，因此单层决策树算法被称为弱分类算法；而AdaBoost算法通过将多个弱分类算法串行训练而成，属于强分类算法。AdaBoost算法是boost...
分类：
编程语言 时间：
2015-06-16 11:11:05
阅读次数：
804
决策树是一种预测模型，它由决策节点，分支和叶节点三个部分组成。决策节点代表一个样本测试，通常代表待分类样本的某个属性，在该属性上的不同测试结果代表一个分支；分支表示某个决策节点的不同取值。每个叶节点代表一种可能的分类结果。
使用训练集对决策树算法进行训练，得到一个决策树模型，利用模型对未知样本（类别未知）的类别判断时，从决策树根节点开始，从上到下搜索，直到沿某分支到达叶节点，叶节点的类别标签就是...
分类：
编程语言 时间：
2015-06-02 23:32:03
阅读次数：
336
引文：前面提到的K最近邻算法和决策树算法，数据实例最终被明确的划分到某个分类中，下面介绍一种不能完全确定数据实例应该划分到哪个类别，或者说只能给数据实例属于给定分类的概率。基于贝叶斯决策理论的分类方法之朴素贝叶斯
优点：在数据较少的情况下仍然有效，可以处理多类别问题
缺点：对于输入数据的准备方式较为敏感
适用数据类型：标称型数据。
朴素贝叶斯的一般过程
收集数据：可以使用任何方式
准备数据：需要数...
分类：
编程语言 时间：
2015-05-28 14:09:46
阅读次数：
263
1）决策树之ID3决策树算法是分类算法的一种，基础是ID3算法，C4.5、C5.0都是对ID3的改进。ID3算法的基本思想是，选择信息增益最大的属性作为当前的分类属性。看Tom M. Mitchell老师的《Machine Learing》第三章中的例子：我们先解释一下这张表，表中有14条实例数据，...
分类：
其他好文 时间：
2015-05-14 16:01:34
阅读次数：
2584
