高斯混合模型(GMM)

1. 有时候单一高斯分布不能很好的描述分布

 

image.png

• 上图左面用单一高斯分布去描述，显然没有右图用两个高斯分布去描述的效果好。

2. 引入混合高斯分

这里插一句，为什么是“高斯混合模型”，而不是别的混合模型，因为从中心极限定理知，只要K足够大，模型足够复杂，样本量足够多，每一块小区域就可以用高斯分布描述。而且高斯函数具有良好的计算性能，所GMM被广泛地应用。

• 单一高斯分布公式

  
  
   

  

  image.png
• 混合高斯分布

• 每个GMM由K个高斯分布组成，每个高斯分布称为一个组件（Component），这些组件线性加成在一起就组成了GMM的概率密度函数：

  
  
   

  

  image.png
  
  
   

  

  image.png
  
  
   

  

  image.png

• 如上图，我们用三个高斯分布去描述一个二维的数据。