1.重要的统计量 2.协方差 3.Pearson相关系数 4.协方差矩阵 5.相关系数矩阵 用来发现特征的相关性 6.独立与不相关 7.矩 8.重要的定理与不等式 ①Jenson不等式 ②切比雪夫不等式 ③大数定理 ④伯努利定理 ⑤中心极限定理 9.参数估计 ①矩估计 ②极大似然估计 ...
分类：
其他好文 时间：
2016-07-19 22:09:45
阅读次数：
118
极大似然估计（MLE）提供了一种 给定观察数据来评估模型参数的方法，MLE 的问题形式是这样的，给定来自随机变量 $X$ 的数据集合 $\left \{ x_1,x_2 ,..., x_N \right \}$ , $X$ 的概率密度函数 $f(x|\theta)$ ,其中 $\theta$ 是为概 ...
分类：
编程语言 时间：
2016-06-06 18:30:10
阅读次数：
613
设总体分布,X1,…,Xn为来自这个总体中抽出的样本，则样本（X1,…,Xn）的分布为：，记为。 固定，而看做x1,…,xn的函数时，L是一个概率密度函数。可以这样理解：若，则在观察时出现这个点的可能性要比出现这个点的可能性要大。把这件事反过来，可以这样想：当已经观察到时，若，则被估计的参数是的可能... ...
分类：
其他好文 时间：
2016-05-16 17:05:11
阅读次数：
184
极大似然估计法是求点估计的一种方法，最早由高斯提出，后来费歇尔（Fisher）在1912年重新提出。它属于数理统计的范畴。
大学期间我们都学过概率论和数理统计这门课程。
概率论和数理统计是互逆的过程。概率论可以看成是由因推果，数理统计则是由果溯因。
用两个简单的例子来说明它们之间的区别。
由因推果（概率论）
例1：设有一枚骰子，2面标...
分类：
其他好文 时间：
2016-05-13 04:37:36
阅读次数：
287
华电北风吹
日期：2016-05-07高斯混合模型是一个无监督学习算法，主要用思路是利用EM算法对混合高斯分布进行极大似然估计。一、高斯混合分布
对于有kk个高斯分布混合而成的混合高斯分布的概率密度函数有
p(x)=∑zp(x|z)p(z)(1)p(x)=\sum_z p(x|z)p(z) \tag{1}
对于随机变量zz有zz~Multinomial(?)Multinomial(\phi)...
分类：
其他好文 时间：
2016-05-13 03:40:48
阅读次数：
261
问题引入先思考这样一个问题：我们知道，人群中人的身高大致服从一个正态分布。那么现在，如果说我拿到了一个班的学生（就姑且假设是100人吧！）的身高，我想请你帮我估计一下，这个正态分布的参数θ:N(μ,σ)\theta:N(\mu,\sigma)。如何估计？好简单。应用极大似然估计的思想，把每一个样本拿出来相乘，求解得到概率最大的那个参数，即为我们想要的参数θ\theta好，现在我们将问题增加一点点难度...
分类：
编程语言 时间：
2016-04-29 19:29:06
阅读次数：
285
问题引入先思考这样一个问题：我们知道，人群中人的身高大致服从一个正态分布。那么现在，如果说我拿到了一个班的学生（就姑且假设是100人吧！）的身高，我想请你帮我估计一下，这个正态分布的参数θ:N(μ,σ)\theta:N(\mu,\sigma)。如何估计？好简单。应用极大似然估计的思想，把每一个样本拿出来相乘，求解得到概率最大的那个参数，即为我们想要的参数θ\theta好，现在我们将问题增加一点点难度...
分类：
编程语言 时间：
2016-04-26 21:35:52
阅读次数：
298
EM 算法所面对的问题跟之前的不一样，要复杂一些。 EM 算法所用的概率模型，既含有观测变量，又含有隐变量。如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法，或贝叶斯估计法来估计模型参数，但是，当模型含有隐变量时，情况就复杂一些，相当于一个双层的概率模型，要估计出两层的模型参数 ...
分类：
编程语言 时间：
2016-04-18 20:35:53
阅读次数：
190
我讲EM算法的大概流程主要三部分：需要的预备知识、EM算法详解和对EM算法的改进。 一、EM算法的预备知识 1、极大似然估计 （1）举例说明：经典问题——学生身高问题 我们需要调查我们学校的男生和女生的身高分布。 假设你在校园里随便找了100个男生和100个女生。他们共200个人。将他们按照性别划分 ...
分类：
编程语言 时间：
2016-04-01 14:45:06
阅读次数：
374
第9章 EM算法及其推广
EM算法是一种迭代算法，用于含有隐变量(hidden variable)的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望(expectation)；M步，求极大( maximization )，所以这一算法称为期望极大算法(expectation maximization algorithm)，简称EM算法。
9...
分类：
编程语言 时间：
2016-03-30 13:15:16
阅读次数：
561
