语言，人类独有的交流方式。而语言的形式——文字，人类最伟大的发明，携带着人类表达事物和自身情绪的信息。一句话，一篇文章，一部巨著，都是由文字构成。互联网上也是由大量的文字组成，每一个文字都包含着作者想传达的信息。 那么语言学和信息论是如何看待“语言”这一载体的呢？是不是文字越多，信息就越丰富呢？人类 ...
分类：
编程语言 时间：
2018-12-02 12:58:46
阅读次数：
264
一、复习信息熵 为了解决特征选择问题，找出最优特征，先要介绍一些信息论里面的概念。 1、熵（entropy） python3代码实现： 2、条件熵（conditional entropy） python3代码实现： 3、信息增益（information gain） python3代码实现： 看一个简 ...
分类：
其他好文 时间：
2018-10-28 11:14:54
阅读次数：
190
1. 信息熵 1.1 信息熵的数学本质 一个随机变量或系统所包含信息量的数学期望 1.2 信息熵的物理意义（信息论解释） 对随机变量的所有取值进行编码所需的最短编码长度 消除随机变量的不确定性所需的最短编码长度即为信息熵 1.3 随机变量X的熵： $H(X) = \sum_{i=1}^{n} P(x ...
分类：
其他好文 时间：
2018-10-27 23:32:28
阅读次数：
236
在信息论和概率论中，KL散度描述两个概率分布$P$和$Q$之间的相似程度。 定义为： $$ D(p||q)=\sum\limits_{i=1}^np(x)\log\frac{p(x)}{q(x)}. $$ ...
分类：
Web程序 时间：
2018-10-27 21:08:12
阅读次数：
467
为什么交叉熵可以用于计算代价函数 通用的说，熵(Entropy)被用于描述一个系统中的不确定性(the uncertainty of a system)。在不同领域熵有不同的解释，比如热力学的定义和信息论也不大相同。 要想明白交叉熵(Cross Entropy)的意义，可以从熵(Entropy) -... ...
分类：
其他好文 时间：
2018-10-26 22:05:30
阅读次数：
201
哈夫曼编码在信息论中学过， 编码步骤： 在C+中，哈夫曼用于压缩文件，例如ABCDE这些符号。 实现代码：http://www.cnblogs.com/gyk666/p/6851821.html ...
分类：
编程语言 时间：
2018-10-12 21:23:08
阅读次数：
120
定义一个事件 $X=x$ 的 自信息 为 $$ I(x) = \log P(x) $$ 信息熵 简称 熵 , 是表示随机变量不确定性的度量. 定义为 $$ H(X) = \mathbb{E}_{X \sim P}[I(x)] = \mathbb{E}_{X \sim P} [\log P(x)] $ ...
分类：
其他好文 时间：
2018-09-14 16:03:45
阅读次数：
168
绪论 信息论解答了通信理论中的两个基本问题：临界数据压缩（答案：熵H）和临界通信传输速率的值（答案：信道容量C） 熵 如果随机变量 X 的概率密度函数为 p(x) ,那么 X 的熵定义为 使用以2为底的对数函数，熵的量纲为比特。熵可以看作是随机变量的平均不确定度的度量。在平均意义下，它是为了描述该随 ...
分类：
其他好文 时间：
2018-09-09 16:53:22
阅读次数：
239
一、熵权法介绍 熵最先由申农引入信息论，目前已经在工程技术、社会经济等领域得到了非常广泛的应用。 熵权法的基本思路是根据指标变异性的大小来确定客观权重。 一般来说，若某个指标的信息熵越小，表明指标值得变异程度越大，提供的信息量越多，在综合评价中所能起到的作用也越大，其权重也就越大。相反，某个指标的信 ...
分类：
编程语言 时间：
2018-09-05 18:04:10
阅读次数：
903
