两个随机变量的独立性表示两个变量X与Y是否有关系（贝叶斯可证），但是关系的强弱(mutual dependence)是无法表示的，为此我们引入了互信息。 其中 p(x,y) 是 X 和 Y 的联合概率分布函数，而p(x)和p(y)分别是 X 和 Y 的边缘概率分布函数。 在连续随机变量的情形下，求和 ...
分类：
其他好文 时间：
2018-09-22 00:58:02
阅读次数：
587
卡方分布—chi-square distribution, χ2-distribution： 若k个独立的随机变量Z1, Z2,..., Zk 满足标准正态分布 N(0,1) , 则这k个随机变量的平方和： 为服从自由度为k的卡方分布，记作： 或者 卡方检验—χ2检验是以χ2分布为基础的一种假设检验 ...
分类：
其他好文 时间：
2018-09-14 23:13:21
阅读次数：
480
定义一个事件 $X=x$ 的 自信息 为 $$ I(x) = \log P(x) $$ 信息熵 简称 熵 , 是表示随机变量不确定性的度量. 定义为 $$ H(X) = \mathbb{E}_{X \sim P}[I(x)] = \mathbb{E}_{X \sim P} [\log P(x)] $ ...
分类：
其他好文 时间：
2018-09-14 16:03:45
阅读次数：
168
绪论 信息论解答了通信理论中的两个基本问题：临界数据压缩（答案：熵H）和临界通信传输速率的值（答案：信道容量C） 熵 如果随机变量 X 的概率密度函数为 p(x) ,那么 X 的熵定义为 使用以2为底的对数函数，熵的量纲为比特。熵可以看作是随机变量的平均不确定度的度量。在平均意义下，它是为了描述该随 ...
分类：
其他好文 时间：
2018-09-09 16:53:22
阅读次数：
239
熵其实是信息量的期望值，它是一个随机变量的确定性的度量。熵越大，变量的取值越不确定，反之就越确定 参考链接：https://blog.csdn.net/rtygbwwwerr/article/details/50778098 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细 ...
分类：
其他好文 时间：
2018-09-05 23:45:15
阅读次数：
202
参考：https://blog.csdn.net/qq_33638791/article/details/74926573 常见分布：高斯分布 来源：中心极限定理 定义：大量独立的随机变量之和趋向于正态分布（高斯分布） 前提：样本之间相互独立 可以看出期望U代表了正态分布的偏移量;方差代表了幅度 当 ...
分类：
其他好文 时间：
2018-09-05 10:27:52
阅读次数：
140
1. 切比雪夫不等式 $P(|X?EX|≥?)≤DX/?^2$ 等价的是： $P(|X?EX|1，X2，…，Xn，…是相互独立的随机变量序列，数学期望E(Xi)和方差D(Xi)都存在(i=1，2，…)，且D(Xi) 0，有 ...
分类：
其他好文 时间：
2018-09-02 12:31:02
阅读次数：
210
6.6 pre_randomize和post_randomize函数 我们在调用randomize()函数之前或者之后要立即执行一些操作。比如，在随机化之前可能要设置类里的一些非随机变量（上下限、权重），或者随机化之后需要计算随机数据的误差矫正位。 SystemVerilog中可以使用void类型的 ...
分类：
其他好文 时间：
2018-08-28 21:11:20
阅读次数：
212
在概率论和方向统计中，von Mises分布(又称圆正态分布或Tikhonov分布)是圆上的连续概率分布。它近似于包裹正态分布，是正态分布的圆形模拟。 圆上的自由扩散角θ是一个包裹正态分布的随机变量，随时间线性增长的unwarpped variance。另一方面，von Mises分布是调和势中圆上 ...
分类：
其他好文 时间：
2018-08-27 14:14:00
阅读次数：
489
逻辑斯蒂回归: 逻辑斯蒂回归是统计学习中的经典分类方法，属于对数线性模型。logistic回归的因变量可以是二分类的， 也可以是多分类的 基本原理 logistic 分布 折X是连续的随机变量，X服从logistic分布是指X具有下列分布函数和密度函数: 其中为位置参数，为形状参数。与图像如下，其中 ...
分类：
其他好文 时间：
2018-08-22 14:03:12
阅读次数：
323
