EM算法与混合高斯模型 close all; clear; clc; %% Sample Generate N=5000; a_real =[3/10,5/10,2/10]; mu_real = [7,12;12,7;14,15]; cov_real(:,:,1) = [1,0;0,1]; cov_... ...
分类：
编程语言 时间：
2018-10-26 22:16:13
阅读次数：
343
EM算法推导 网上和书上有关于EM算法的推导，都比较复杂，不便于记忆，这里给出一个更加简短的推导，用于备忘。 在不包含隐变量的情况下，我们求最大似然的时候只需要进行求导使导函数等于0，求出参数即可。但是包含隐变量，直接求导就变得异常复杂，此时需要EM算法，首先求出隐变量的期望值（E步），然后，把隐变 ...
分类：
编程语言 时间：
2018-10-26 14:22:08
阅读次数：
143
原理 给定样本集，k-means算法得到聚类，使得下面平方误差最小 其中表示聚类的中心点。 实现 上式最小化是一个NP难问题，实际上采用EM算法可以求得近似解。算法伪代码如下 输入：，聚类数量k 从D中随机选择k个样本点作为k个聚类的中心repeat 循环所有样本点，把样本点划分到最近的聚类中：ar ...
分类：
编程语言 时间：
2018-10-14 01:54:12
阅读次数：
175
主题模型 主题模型这样理解一篇文章的生成过程： 1、 确定文章的K个主题。 2、 重复选择K个主题之一，按主题-词语概率生成词语。 3、 所有词语组成文章。 这里可以看到，主题模型仅仅考虑词语的数量，不考虑词语的顺序，所以主题模型是词袋模型。 主题模型有两个关键的过程： 1、 doc -> topi ...
分类：
其他好文 时间：
2018-10-05 21:04:33
阅读次数：
185
1、IRT模型概述 IRT（item response theory 项目反映理论）模型。IRT模型用来描述被试者能力和项目特性之间的关系。在现实生活中，由于被试者的能力不能通过可观测的数据进行描述，所以IRT模型用一个潜变量 $ \theta $ 来表示，并考虑与项目相关的一组参数来分析正确回答测 ...
分类：
编程语言 时间：
2018-09-11 21:22:21
阅读次数：
1606
一、基本认识 EM（Expectation Maximization Algorithm）算法即期望最大化算法。这个名字起的很理科，就是把算法中两个步骤的名称放到名字里，一个E步计算期望，一个M步计算最大化，然后放到名字里就OK。 EM算法是一种 迭代算法 ，是1977年由Demspster等人总结 ...
分类：
编程语言 时间：
2018-08-28 01:05:57
阅读次数：
424
一、EM算法简介 在 "EM算法之一 问题引出" 中我们介绍了硬币的问题，给出了模型的目标函数，提到了这种含隐变量的极大似然估计要用EM算法解决，继而罗列了EM算法的简单过程，当然最后看到EM算法时内心是懵圈的，我们也简要的分析了一下，那回过头来，重新看下EM算法的简单介绍： 输入：观测变量数据Y， ...
分类：
编程语言 时间：
2018-08-28 00:51:30
阅读次数：
185
参考： 从最大似然到EM算法浅解 （EM算法）The EM Algorithm EM算法的九层境界：Hinton和Jordan理解的EM算法 在EM算法的证明中，其实比较好理解，总结如下： 从最大似然估计出发 > 将隐变量暴露出来，写出累加/积分的 形式 > 引入Q(z),表示隐变量z的概率密度函数 ...
分类：
编程语言 时间：
2018-08-20 00:28:07
阅读次数：
8398
最近的机器学习这一块一直卡在概率机器学习上，尤其是CRF上，有点浮，先将学习到的好好总结一下。 一、EM算法的基础和贝叶斯基础 1）EM算法的基本原理和推导 2）EM算法的基本应用，k-means和高斯混合模型 二、隐马可夫和条件随机场 1）隐马（HMM）的基于原理和对应的三个问题及其解法 2）最大 ...
分类：
其他好文 时间：
2018-08-19 23:26:27
阅读次数：
222
