参考文献：http://www.cnblogs.com/xppei/p/3534719.html---C++实现http://blog.sina.com.cn/s/blog_5fc375650100jgxg.html---讲解熵、信心增量
分类：
其他好文 时间：
2015-05-13 17:06:20
阅读次数：
96
最近两天简单看了下最大熵模型，特此做简单笔记，后续继续补充。最大熵模型是自然语言处理(NLP, nature language processing)被广泛运用，比如文本分类等。主要从分为三个方面，一：熵的数学定义；二：熵数学形式化定义的来源；三：最大熵模型。
注意：这里的熵都是指信息熵。
一：熵的数学定义：
下面分别给出熵、联合熵、条件熵、相对熵、互信息的定义。
熵：如果一个随机...
分类：
其他好文 时间：
2015-05-12 00:09:14
阅读次数：
270
一、熵权法介绍熵最先由申农引入信息论，目前已经在工程技术、社会经济等领域得到了非常广泛的应用。熵权法的基本思路是根据指标变异性的大小来确定客观权重。一般来说，若某个指标的信息熵越小，表明指标值得变异程度越大，提供的信息量越多，在综合评价中所能起到的作用也越大，其权重也就越大。相反，某个指标的信息熵越...
分类：
其他好文 时间：
2015-05-11 23:29:39
阅读次数：
200
信息熵香农与1948年提出的信息论以其中的信息熵这一基本概念为基础，用来表征人们对客观事件的不确定性的度量，与物理学中的熵表征物质的混乱程度有相似之处。
当处理不确定事件时，最常用的方式就是用概率方式描述，一般假定不确定的事件A每种可能的状态都有一个概率与之对应：P(Ai)s.t.∑i=1nP(Ai)=1P(Ai)≥0P(A_i)\\ s.t.\sum_{i=1}^nP(A_i)=1\\P(A_i...
分类：
其他好文 时间：
2015-05-07 16:41:45
阅读次数：
167
就从P77开始记好了.(稍微扩容)P77排序.1.香农信息论基于比较的排序不可能突破O(nlogn)的复杂度限制.1) 比较一次可以得到一个bool量,最大信息熵为$\log_2{2}=1.0$bit2) 全排列的个数是$n!$级别的,唯一地确定一个全排列需要$O\left(\log_2{n!}\r...
分类：
其他好文 时间：
2015-05-02 06:16:01
阅读次数：
187
对于理工科学生来说，“熵”并不是一个陌生的名词。在诸如“大学物理”“热力学”和“信息论”等课程中都会有所介绍。但同时“熵”又是一个显得有点神秘的概念，看不见也摸不着。我最早是在高中物理课中听说的，大概是在介绍“热力学第二定律”时提到的。热力学第二定律的内容是：热力学过程是不可逆的——孤立系统自发地朝着热力学平衡方向──最大熵状态──演化。
然后真正的对这个名词有所理解是在学习《工程热力学》...
分类：
其他好文 时间：
2015-04-27 23:51:02
阅读次数：
255
熵是一个来自物理学的概念，指的是某个系统中的“无序”的总量。当软件中的无序增长时，程序员们称之为“软件腐烂”（software rot）。有许多因素可以促生软件腐烂。其中最重要的一个似乎是开发项目时的心理（或文化）。 不要留着程序中的“破窗户”不修，低劣的设计，临时的糟糕的方案等等。而往往我们...
分类：
其他好文 时间：
2015-04-24 18:53:31
阅读次数：
155
本文分析FFmpeg的H.264解码器的环路滤波（Loop Filter）部分。FFmpeg的H.264解码器调用decode_slice()函数完成了解码工作。这些解码工作可以大体上分为3个步骤：熵解码，宏块解码以及环路滤波。本文分析这3个步骤中的第3个步骤。...
分类：
其他好文 时间：
2015-04-23 19:57:53
阅读次数：
203
本文分析FFmpeg的H.264解码器的宏块解码（Decode）部分的源代码。FFmpeg的H.264解码器调用decode_slice()函数完成了解码工作。这些解码工作可以大体上分为3个步骤：熵解码，宏块解码以及环路滤波。本文分析这3个步骤中的第2个步骤。由于宏块解码部分的内容比较多，因此将本部分内容拆分成两篇文章：一篇文章记录帧内预测宏块（Intra）的宏块解码，另一篇文章记录帧间预测宏块（...
分类：
其他好文 时间：
2015-04-20 17:08:52
阅读次数：
924
在信息论中，熵被用来衡量一个随机变量出现的期望值。变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大，熵是整个系统的平均消息量。 信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统有序化程度的一个度...
分类：
其他好文 时间：
2015-04-18 21:59:40
阅读次数：
279
