1.1.基本概念：1.2.多媒体系统:1.3.多媒体数据压缩与编码:(1).熵编码:不考虑数据源的无损数据压缩技术。其核 心思想是按照符号出现的概率大小给符号分配长度 合适的代码,对常用的符号给它分配长度较短(即位 数较少)的代码,对不常用的符号给它分 配长度较长 (即位数较多)的代码。最常见的熵....
分类：
其他好文 时间：
2015-06-24 14:38:13
阅读次数：
143
在学习决策树学习之前，我想先问问几个问题，以便好好梳理思路。1. 决策树是什么？干啥用的？决策树学习又是什么？2. 信息增益，纯度，熵是什么？在决策树中是干啥用的？3. 构建一个决策树包含哪几个步骤？如何构建？回答：1. 决策树是一棵用来进行决策的树（哈哈，有点在说废话的赶脚）。一旦决策树生成，往里...
分类：
其他好文 时间：
2015-06-24 00:38:21
阅读次数：
259
最大熵模型中的数学推导查看原文，点击这里0 引言 写完SVM之后，一直想继续写机器学习的系列，无奈一直时间不稳定且对各个模型算法的理解尚不够，所以导致迟迟未动笔。无独有偶，重写KMP得益于今年4月个人组织的算法班，而动笔继续写这个机器学习系列，正得益于今年10月组织的机器学习班。 10月26日机.....
分类：
其他好文 时间：
2015-06-21 17:04:55
阅读次数：
276
关于对信息、熵、信息增益是信息论里的概念，是对数据处理的量化，这几个概念主要是在决策树里用到的概念，因为在利用特征来分类的时候会对特征选取顺序的选择，这几个概念比较抽象，我也花了好长时间去理解(自己认为的理解),废话不多说，接下来开始对这几个概念解释，防止自己忘记的同时，望对其他人有个借鉴的作用，如...
分类：
其他好文 时间：
2015-06-16 22:51:30
阅读次数：
159
使用k-means算法对数据进行聚类之后，通常需要估计一下...
分类：
其他好文 时间：
2015-06-12 10:04:03
阅读次数：
810
1 定义2 直观解释信息熵用来衡量信息量的大小若不确定性越大，则信息量越大，熵越大若不确定性越小，则信息量越小，熵越小比如A班对B班，胜率一个为x，另一个为1-x则信息熵为 -(xlogx + (1-x)log(1-x))求导后容易证明x=1/2时取得最大，最大值为2也就是说两者势均力敌时，不确定性...
分类：
编程语言 时间：
2015-06-10 19:07:54
阅读次数：
152
http://ccckmit.wikidot.com/st:mutualinformation
这篇博客非常不错，深入浅出，李航的似乎 没有讲清楚...
分类：
其他好文 时间：
2015-06-09 17:16:24
阅读次数：
838
为什么世界上一些最好的科学家和程序员，在世人眼里，都有点不太正常，甚至行为混乱？因为：熵。从熵的角度看，如果不改变发展模式，人类无法继续发展。熵是一种解释力极强的理论，许多现象都可以用熵来解释，看上去非常合理。根据热力学第一定律，能量是守恒的，可以互相转化（比如机械能转化为电能），而不会消失。热力学...
分类：
其他好文 时间：
2015-06-09 00:38:28
阅读次数：
210
1948年，香农在著名论文“通信的数学原理”中提出了“信息熵”的概念，解决了信息的度量问题，并且量化出信息的作用。 ? ? 香农使用了“比特”（Bit）这个概念来度量信息量。一个比特是一位二进制数，计算...
分类：
其他好文 时间：
2015-06-07 18:59:36
阅读次数：
265
计算数据集的香农熵from math import logdef calcShannonEnt(dataSet): numEntries = len(dataset) labelCounts = {} for featVec in dataset: currentLa...
分类：
其他好文 时间：
2015-06-03 13:30:21
阅读次数：
113
