分类问题，主要介绍决策树算法、朴素贝叶斯、支持向量机、BP神经网络、懒惰学习算法、随机森林与自适应增强算法、分类模型选择和结果评价。 一、分类基本介绍 物以类聚，人以群分，分类问题只古以来就出现我们的生活中。分类是数据挖掘中一个重要的分支，在各方面都有着广泛的应用，如医学疾病判别、垃圾邮件过滤、垃圾 ...
分类：
编程语言 时间：
2018-05-23 17:06:05
阅读次数：
236
我们以是否买房为例子给大家介绍一下决策树算法的使用，数据集如下（仅做演示，不代表真实情况）地段近地铁面积单价（万）是否购买三环是608是三环是808否三环否607是三环否807否五环是607是五环是807否五环否606是五环否806是六环是606是六环是805.5是六环否605否六环否805否从上表中我们可以看到，确定可以购买的数量有7个，不购买的数量有5个，共数是12个。按信息熵的计算公式我们可
分类：
系统相关 时间：
2018-05-02 23:11:17
阅读次数：
205
1. Python 2. Python机器学习的库：scikit-learn 2.1： 特性： 简单高效的数据挖掘和机器学习分析 对所有用户开放，根据不同需求高度可重用性 基于Numpy, SciPy和matplotlib 开源，商用级别：获得 BSD许可 2.2 覆盖问题领域： 分类（classi ...
分类：
编程语言 时间：
2018-04-17 22:18:47
阅读次数：
152
1. 概念决策树是通过一系列规则对数据进行分类的过程，它提供一种在什么条件下会得到什么值的类似规则的方法。决策树分为分类树和回归树两种，分类树对离散变量做决策树，回归树对连续变量做决策树。分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部节点和叶节点，内部节点表示一个特征或属性，叶节点表示一个类。直观看上去，决策树分类器就像判断模块和终止块组成的流程图
分类：
编程语言 时间：
2018-04-16 21:58:19
阅读次数：
202
特征选择 特征选择是从数据集的诸多特征里面选择和目标变量相关的特征，去掉那些不相关的特征。 特征选择分为两个问题：一个是子集搜索问题，另外一个是子集评价问题。比如将前向搜索和信息熵评价这两种策略进行结合就是决策树算法，事实上决策树算法可以进行特征选择。sklearn当中的“树形”算法的feature ...
分类：
其他好文 时间：
2018-04-09 17:20:52
阅读次数：
1002
采用ID3算法 （信息熵：H(X)=?∑i=0np(xi)log2p(xi)） 下载一个决策树可视化软件：Graphviz （注意环境变量Path加：C:\Program Files (x86)\Graphviz2.38\bin） 代码： 导入需要用到的库： 读取表格： 这里一些数据（属性），决定一 ...
分类：
编程语言 时间：
2018-04-09 00:25:07
阅读次数：
226
基本的决策树算法 ， 基本的决策树算法可以设计成为一个递归的算法，递归算法在无需或者无法进行划分的时候返回值，上面红色的部分标出了递归函数返回的三种情况，第一种情况是训练集的标签都相同，直接把结果标为该标签就可以了，。第二种情况是属性集为空和相同这两种情况。第三种情况属于训练集为空，训练集当中没有这 ...
分类：
编程语言 时间：
2018-04-08 22:29:44
阅读次数：
219
前一天，我们基于sklearn科学库实现了ID3的决策树程序，本文将基于python自带库实现ID3决策树算法。 一、代码涉及基本知识 1、 为了绘图方便，引入了一个第三方treePlotter模块进行图形绘制。该模块使用方法简单，调用模块createPlot接口，传入一个树型结构对象，即可绘制出相 ...
分类：
编程语言 时间：
2018-04-05 11:55:58
阅读次数：
248
以下关于决策树的内容来自网络，都是非常通俗易懂的。 一.GBDT简介 GBDT(Gradient Boosting Decision Tree) 是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终结果。它在被提出之初就和SVM一起被认为是泛化能力（generalization ...
分类：
其他好文 时间：
2018-04-03 15:27:48
阅读次数：
283
官方文档：http://scikit-learn.org/stable/modules/tree.html scikit-learn决策树算法类库内部实现是使用了调优过的CART树算法，既可以做分类，又可以做回归。分类决策树的类对应的是DecisionTreeClassifier，而回归决策树的类对 ...
分类：
其他好文 时间：
2018-03-14 16:57:07
阅读次数：
239
