ID3是以信息增益作为划分训练数据集的特征，即认为信息增益大的特征是对分类结果影响更大，但是信息增益的方法偏向于选择取值较多的特征，因此引入了C4.5决策树，也就是使用信息增益率(比)来作为划分数据集的特征，信息增益率定义如下：。就是在ID3中已经计算出特征A的信息增益之后再除一个熵HA(D),HA...
分类：
编程语言 时间：
2015-09-23 16:34:20
阅读次数：
294
1）熵与信息增益：2）以下是实现代码：//import java.awt.color.ICC_ColorSpace;import java.io.*;import java.util.ArrayList;import java.util.Collections;import java.util.Co...
分类：
编程语言 时间：
2015-09-18 20:29:26
阅读次数：
315
决策树算法实际就是一个不断分割训练数据集使其成为数据子集的过程。这种分类或回归模型成树形结构，这也是其被成为决策树算法的主要原因。决策树算法最主要的问题是如何分裂原始数据集使其数据集包含的类别纯度越来越高，于是前辈们引入了熵和信息增益等概念。下面来总结一下..
分类：
编程语言 时间：
2015-09-16 01:06:32
阅读次数：
224
/*先把标题给写了，这样就能经常提醒自己*/转自别处有很多与此类似的文章也不知道谁是原创 因原文由少于错误 所以下文对此有修改并且做了适当的重点标记(横线见的内容没大明白 并且有些复杂，后面的运行流程依据前面的得出的算子进行分类)初步接触谓LR分类器(Logistic Regression Clas...
分类：
其他好文 时间：
2015-09-11 12:19:28
阅读次数：
1334
参考书《数据压缩导论（第4版）》Page303、给定符号集A={a1,a2,a3,a4},求一下条件下的一阶熵：（a）P(a1)=P(a2)=P(a3)=P(a4)=1/4（b）P(a1)=1/2,P(a2)=1/4,P(a3)=P(a4)=1/8（c）P(a1)=0.505,P(a2)=1/4,P...
分类：
其他好文 时间：
2015-09-09 21:04:26
阅读次数：
155
一、1-1 压缩数据量1-2 减少使用空间，减少信息存储空间，提高其传输、存储和处理效率1-6 按压缩过程的可逆性进行分类，可分为无损压缩和有损压缩。 按压缩的原理可以分为：预测编码、变换编码、量化和矢量量化编码、信息熵编码、子带编码、模型编码。二、参考书《数据压缩导论（第4版）》Page 8 .....
分类：
其他好文 时间：
2015-09-06 12:51:17
阅读次数：
200
【主成分分析用了很多次，每次都是似懂非懂意会了事用SPSS解决，身为一个本科数学的甚感惭愧。将原理部分思路总结如下以供时候参考。】主成分分析的目的是在p个特征中通过组合成p个新特征，在其中选取m个特征代表p个原始特征。从信息论的角度考虑，这m个特征蕴含了原始数据大部分的信息熵；从方差（？）的角度，这...
分类：
其他好文 时间：
2015-09-03 15:21:00
阅读次数：
375
前言 本章的两个模型都是对数线性模型。 逻辑斯蒂分布 如果变量X服从逻辑斯蒂分布，那么X的分布一定是y轴对称的。曲线在中心部分增长的较快。两端增长缓慢。 二项逻辑斯蒂回归模型 其本质就是条件概率P(Y|X)。也就意味着给定X，求出最大可能的Y来。 Y取值只有1和0。 考虑条件概率分布。 逻辑斯蒂回归...
分类：
其他好文 时间：
2015-09-01 21:27:01
阅读次数：
237
5、考虑以下序列：ATGCTTAACGTGCTTAACCTGAAGCTTCCGCTGAAGAACCTGCTGAACCCGCTTAAGCTTAAGCTGAACCTTCTGAACCTGCTT（a）根据此序列估计各概率值，并计算这一序列的一阶、二阶、三阶和四阶熵. 解：(a) 依题意得： ...
分类：
其他好文 时间：
2015-09-01 20:02:58
阅读次数：
237
3.给定符号集A={a1,a2,a3,a4},求以下条件下的一阶熵： （1）p(a1)=p(a2)=p(a3)=p(a4)=1/4; 解：一阶熵为： H= - 1/4 * 4 * log21/4 =2(bit) （2）p(a1)=1/2,p(a2)=...
分类：
其他好文 时间：
2015-09-01 20:00:17
阅读次数：
174
