码迷,mamicode.com
首页 > 编程语言 > 详细

EM 算法(三)-GMM

时间:2019-11-18 18:18:47      阅读:84      评论:0      收藏:0      [点我收藏+]

标签:sub   net   结果   ssi   ack   概率分布   sdn   strong   男人   

高斯混合模型

混合模型,顾名思义就是几个概率分布密度混合在一起,而高斯混合模型是最常见的混合模型;

GMM,全称 Gaussian Mixture Model,中文名高斯混合模型,也就是由多个高斯分布混合起来的模型;

概率密度函数为

技术图片

K 表示高斯分布的个数,αk 表示每个高斯分布的系数,αk>0,并且 Σαk=1,

Ø(y|θk) 表示每个高斯分布,θk 表示每个高斯分布的参数,θk=(uk,σk2);

技术图片

 

举个例子

男人和女人的身高都服从各自的高斯分布,把男人女人混在一起,那他们的身高就服从高斯混合分布;

高斯混合模型就是用混合在一起的身高数据,估计男人和女人各自的高斯分布

 

小结

GMM 实际上分为两步,第一步是选择一个高斯分布,如男人数据集,这里涉及取到某个分布的概率,αk

然后从该分布中取一个样本,等同于普通高斯分布

 

GMM 常用于聚类,也就是把每个概率密度分布聚为一类;如果概率密度分布为已知,那就变成参数估计问题

 

EM 解释 GMM

EM 的核心是 隐变量 和 似然函数

技术图片

 

求导结果如下

技术图片 

 

GMM 的 EM 算法

技术图片

 

算法流程

技术图片

 

 

参考资料:

https://blog.csdn.net/jinping_shi/article/details/59613054 

《统计学习方法》李航 

EM 算法(三)-GMM

标签:sub   net   结果   ssi   ack   概率分布   sdn   strong   男人   

原文地址:https://www.cnblogs.com/yanshw/p/11870656.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!