机器学习中很重要的一个内容就是分类(classification).即根据已有的数据构造出一个模型，通过该模型可以给每个数据标明其所属的种类。通常所见的种类的集合包括{yes,no},{good,bad}等等。需要指出分类的结果集合必须是离散的。决策树是一种简单且广泛使用的分类器。决策树的每个叶子节...
分类：
编程语言 时间：
2015-10-16 18:46:34
阅读次数：
186
1、C4.5C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法.C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1)用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；2)在树构造过程中进行剪枝；3)能够完成对连续属性的离散...
分类：
编程语言 时间：
2015-09-16 21:33:20
阅读次数：
180
ID3算法#coding=utf-8
frommathimportlog
importoperator
#这里定义个样本集
defcreateDataSet():
dataSet=[[1,1,‘yes‘],
[1,1,‘yes‘],
[1,0,‘no‘],
[0,1,‘no‘],
[0,1,‘no‘]]
labels=[‘nosurfacing‘,‘flippers‘]
#changetodiscretevalues
returndataSet,labels
#这里计算该..
分类：
编程语言 时间：
2015-09-16 20:20:17
阅读次数：
365
决策树算法实际就是一个不断分割训练数据集使其成为数据子集的过程。这种分类或回归模型成树形结构，这也是其被成为决策树算法的主要原因。决策树算法最主要的问题是如何分裂原始数据集使其数据集包含的类别纯度越来越高，于是前辈们引入了熵和信息增益等概念。下面来总结一下..
分类：
编程语言 时间：
2015-09-16 01:06:32
阅读次数：
224
作为python的初学者，在做决策树算法的程序时一个有关列表删除的问题困扰了一天。今天在博客里写出来，希望大家也可以避免如此的问题。下面是代码纲要：defread_txt(filename):#定义了一个读txt文件的函数，这个函数的作用是将一个txt的表格转化成一个python列表。它是一个嵌套..
分类：
编程语言 时间：
2015-09-07 07:12:20
阅读次数：
245
这个系列是为了应对找工作面试时面试官问的算法问题，所以只是也谢算法的简要介绍，后期会陆续补充关于此
算法的常见面问题！
决策树是一种依托于策略抉择而建立起来的树，是一种依托于分类、训练上的预测树，根据已知，预测和分类未来。
决策树的建立是不断的使用数据的特征将数据分类的过程，主要的问题在于如何选择划分的特征；
常用的几种决策树算法有ID3、C4.5、CART等；其中ID3使用的是信息熵增益...
分类：
编程语言 时间：
2015-08-25 19:42:19
阅读次数：
349
机器学习在各个领域都有广泛的应用，特别在数据分析领域有着深远的影响。决策树是机器学习中最基础且应用最广泛的算法模型。本文介绍了机器学习的相关概念、常见的算法分类和决策树模型及应用。通过一个决策树案例，着重从特征选择、剪枝等方面描述决策树的构建，讨论并研究决策树模型评估准则。最后基于
R 语言和 SPSS 这两个工具，分别设计与实现了决策树模型的应用实例。
机器学习概念
...
分类：
编程语言 时间：
2015-08-25 16:51:14
阅读次数：
283
由于CSDN以前的编辑器写的博客修改比较麻烦，这篇博客是对以前写的下面这篇博客进行补充
http://blog.csdn.net/zhangzhengyi03539/article/details/44786951
下面这个函数是根据训练好的决策树模型，输入测试样本集合和特征名，对每个测试样本预测输出结果。function label=decisionTreeTest(decisionTreeM...
分类：
编程语言 时间：
2015-08-15 21:30:27
阅读次数：
296
一、简介
决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。 数据挖掘中决策树是一种经常要用到的技术，可以用于分析数据，同样也可以用来作预测
二、基本思想...
分类：
编程语言 时间：
2015-08-15 10:27:09
阅读次数：
196
c4.5算法是机器学习算法中的一种分类决策树算法，其核心算法是ID3 。c4.5对ID3算法做了相对的改进。如下 1 采用信息增益率代替信息增益。因为使用信息增益时会偏向选取取值更多的属性。 2 在树的构造过程中进行剪枝 3 能够完成对连续属性的离散化处理 4 对不完整数据进行处理c...
分类：
编程语言 时间：
2015-08-08 11:56:25
阅读次数：
130
