在统计计算中，最大期望（EM，Expectation–Maximization）算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variabl）。最大期望经常用在机器学习和计算机视觉的数据集聚（Data Clusteri...
分类：
编程语言 时间：
2015-12-27 20:28:36
阅读次数：
225
本文回顾最大似然估计，最大后验概率的知识。这是两个概率统计数据挖掘中非常常见的知识点，属于比较容易学的。
分类：
其他好文 时间：
2015-12-18 20:31:52
阅读次数：
204
Expectation Maximization (EM)是一种以迭代的方式来解决一类特殊最大似然 (Maximum Likelihood) 问题的方法，这类问题通常是无法直接求得最优解，但是如果引入隐含变量，在已知隐含变量的值的情况下，就可以转化为简单的情况，直接求得最大似然解。我们会看到，上一次...
分类：
其他好文 时间：
2015-12-17 22:18:46
阅读次数：
233
不同于其它的机器学习模型，EM算法是一种非监督的学习算法，它的输入数据事先不需要进行标注。相反，该算法从给定的样本集中，能计算出高斯混和参数的最大似然估计。也能得到每个样本对应的标注值，类似于kmeans聚类（输入样本数据，输出样本数据的标注）。实际上，高斯混和模型GMM和kmeans都是EM算法的...
分类：
编程语言 时间：
2015-12-10 16:37:06
阅读次数：
355
本文转自http://blog.csdn.net/sunmenggmail/article/details/130046751. 最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。简单而言，假设我们要统计全国人口的身高，首先假设这个身高服从服从正态分布，但是该分布的...
分类：
其他好文 时间：
2015-12-05 15:43:51
阅读次数：
179
最大似然法,英文名称是Maximum Likelihood Method，在统计中应用很广。这个方法的思想最早由高斯提出来，后来由菲舍加以推广并命名。最大似然法是要解决这样一个问题：给定一组数据和一个参数待定的模型，如何确定模型的参数，使得这个确定参数后的模型在所有模型中产生已知数据的概率最 大。通...
分类：
其他好文 时间：
2015-12-03 00:50:51
阅读次数：
285
在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。概率用于在...
分类：
其他好文 时间：
2015-12-03 00:49:26
阅读次数：
133
对于常规线性模型来说，其精确的模型可定义如下： 其中，模型中的第一部分描述了通过待预测值随自变量的变化趋势，而第二部分描述了线性模型不能建模的误差项。 最小二乘方法采用损失代价和最小来获得线性模型的参数。在此，我们通过假设误差项的概率分布，并用最大似然估计的方法寻求模型参数Θ。 在此，我们假设误差项...
分类：
其他好文 时间：
2015-11-18 16:00:10
阅读次数：
138
在看FK论文时，fisher information matrix是必须理解的。从维基百科查阅到，Fisher information matrix是用利用最大似然函数估计来计算方差矩阵。来源于：http://mathworld.wolfram.com/FisherInformationMatrix...
分类：
其他好文 时间：
2015-11-06 19:30:57
阅读次数：
907
为什么要用参数估计？在贝叶斯方法中，要事先估计先验概率和条件密度函数，然后再设计分类器。但是多数情况下训练样本数总是太少，而且当用于表示特征维数较高时，对条件密度函数的估计就会计算复杂度较高。因此，如果我们已经事先知道参数的个数，并且先验知识允许我们能够把条件概率密度参数化，就可以使问题难度显著降低...
分类：
其他好文 时间：
2015-10-26 22:16:15
阅读次数：
166
