1. 设X 是一个随机变量，取值范围是一个包含M个字母的符号集。证明0 ≤H(X) ≤log2M 。 2. 证明如果观察到一个序列的元素为iid 分布，则该序列的熵等于一阶熵。 3.给定符号集A={a1，a2,a3,a4}，求以下条件的一介熵： (a)P(a1)=P(a2)=P(a3)=P(a4)= ...
分类：
其他好文 时间：
2016-09-06 12:23:47
阅读次数：
196
1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0 ≤ H(X) ≤ log2M。 2.证明：如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。 3.给定符号集A={a1,a2,a3,a4},求一下条件下的一阶熵。 ⑴ P(a1) = P(a2) = P(a3) = P( ...
分类：
其他好文 时间：
2016-09-06 12:03:39
阅读次数：
150
随机过程：我的理解是随机变量的集合.比如X(t)=Acos(wt+θ),t>=0,A,w为常数,θ为[0,2π]上均匀分布的随机变量.对于固定的t,X(t)是一个随机变量,它是θ的函数.由于θ是一个随机变量,那么它的函数也是随机变量.对于不同的t,如t1,t2.X(t1),X(t2)就是两个不同的随 ...
分类：
其他好文 时间：
2016-09-06 11:55:50
阅读次数：
164
决策树的原理，一个图表就很清楚了，首先，还是要牢记，条件熵是一种最优路径，是概率图模型中，两个随机变量之间的最优条件路径。也就是所有路径熵的期望。 H(Y|X) = -sigmaP(X,Y)logP(Y|X) = -sigmaP(X=xi)P(Y|X=xi)logP(Y|X=xi)=-sigmaP( ...
分类：
其他好文 时间：
2016-09-04 17:16:43
阅读次数：
209
一、熵 熵的定义： 其对数log的底为2，若使用底为b的对数，则记为。当对数底为时，熵的单位为奈特。 用表示数学期望，如果，则随机变量的期望值为， 当，关于的分布自指数学期望。而熵为随机变量的期望值，其是的概率密度函数，则可写为， 引理： 证明： 二、联合熵与条件熵： 对于服从联合分布为的一对离散随 ...
分类：
其他好文 时间：
2016-08-31 18:23:09
阅读次数：
299
排队论中在模拟时顾客到达时间，服务时间时，有两个结论： 1. 单位时间内平均到达的顾客数如果为 n ，那么到每两个顾客的达时间的时间间隔这个随机变量是服从参数为 1/n 的泊松分布； 2. 每个顾客平均需要的服务时间如果为 t，那么 t 应该服从 参数为 1/t 的指数分布。 泊松分布： ， 指数分 ...
分类：
其他好文 时间：
2016-08-29 14:28:03
阅读次数：
304
最近接触了pLSA模型，由于该模型中引入了主题作为隐变量，所以需要使用期望最大化（Expectation Maximization）算法求解。 为什么需要EM算法 数理统计的基本问题就是根据样本所提供的信息，对总体的分布或者分布的数字特征作出统计推断。所谓总体，就是一个具有确定分布的随机变量，来自总 ...
分类：
编程语言 时间：
2016-08-16 19:57:14
阅读次数：
250
熵： 表示随机变量不确定性的度量。 只依赖于随机变量X的分布，与其取值无关 0<=H(X)<=log(n),当随机变量X符合均匀分布时，熵最大 最大熵： 最大熵可理解为满足现有约束条件的情况下，其余不确定的信息默认为等可能的 ...
分类：
其他好文 时间：
2016-08-14 20:34:05
阅读次数：
115
频率直方图（frequency histogram）亦称频率分布直方图。统计学中表示频率分布的图形。在直角坐标系中，用横轴表示随机变量的取值，横轴上的每个小区间对应一个组的组距，作为小矩形的底边；纵轴表示频率(频数/组距=频率)，并用它作小矩形的高，以这种小矩形构成的一组图称为频率直方图。 R语言举... ...
分类：
其他好文 时间：
2016-08-14 14:35:50
阅读次数：
454
在关于离散型随机变量函数的期望的讨论中，我们很容易就得到了如下的等式： 那么推广到连续型随机变量，是否也存在类似的规律呢？ 即对于连续型随机变量函数的期望，有： 这里给出一个局部的证明过程，完整的证明过程书中留在了理论习题当中。 ...
分类：
其他好文 时间：
2016-08-12 06:44:58
阅读次数：
120
