介绍三种构造狄利克雷过程的方法 断棍构造过程（Stick-Breaking Construction） 给出了一种显式采样方法，即构造一个有明确定义的G ，使得G满足狄利克雷过程。 构造：第一步，给定一个正实数 ，先从beta分布中构造一个，，这里k从1到 ；再利用构造一个，。之所以要这样得到是为了...
分类：
其他好文 时间：
2016-01-21 12:03:33
阅读次数：
246
0 前言 看完前面几篇简单的文章后，思路还是不清晰了，但是稍微理解了LDA，下面@Hcy开始详细进入boss篇。其中文章可以分为下述5个步骤：一个函数：gamma函数四个分布：二项分布、多项分布、beta分布、Dirichlet分布一个概念和一个理念：共轭先验和贝叶斯框架两个模型：pLSA、LDA（...
分类：
其他好文 时间：
2016-01-06 17:54:25
阅读次数：
308
http://cos.name/2013/01/lda-math-beta-dirichlet/#more-69532. 认识Beta/Dirichlet分布2.1 魔鬼的游戏—认识Beta 分布统计学就是猜测上帝的游戏,当然我们不总是有机会猜测上帝，运气不好的时候就得揣度魔鬼的心思。有一天你被魔鬼...
分类：
其他好文 时间：
2015-08-02 23:09:04
阅读次数：
182
http://blog.csdn.net/shuimu12345678/article/details/307739290-1分布：在一次试验中，要么为0要么为1的分布，叫0-1分布。二项分布：做n次伯努利实验，每次实验为1的概率为p,实验为0的概率为1-p;有k次为1，n-k次为0的概率，就是二项...
分类：
其他好文 时间：
2015-08-02 21:29:33
阅读次数：
165
本小节阅读：
MLAPP：第三章
CS229：Naive bayes
贝叶斯概念学习
我们考虑一个小孩学习一个词的过程，比如“狗”。大概是小孩的父母指出了这个词的一些正例，比如说：“看那条可爱的狗”或者“记住那条小狗”等等。然而，他们是不太可能提供如“看那条不是狗的东西”的负例。当然，负例也可能在动态学习的过程中接触到，比如父母可能纠正小孩的错误：“那是一只猫，不是一条狗。” —...
分类：
系统相关 时间：
2015-08-01 19:03:59
阅读次数：
374
概率论基本概念
离散变量
概率论中的两个基本法则：加法法则和乘法法则，加法法则定义了随机变量X与条件变量Y之间的直接联系。乘法法则定义了概率学中最重要的条件概率，同时也可以叫做联合概率，因为它描述了事件X和Y同时发生的概率。
通过上面公式可以推到出条件概率公式：
进而可以得到著名的贝叶斯公式，贝叶斯公式广泛的应用于科学界，这也被称为后验概率，因为它在咱们知道...
分类：
系统相关 时间：
2015-07-29 23:03:39
阅读次数：
1124
最近一直有点小忙，但是不知道在瞎忙什么，终于有时间把Beta分布的整理弄完。
下面的内容，夹杂着英文和中文，呵呵～
Beta Distribution
Beta Distribution Definition
The Beta distribution is a special case of the Dirichlet distribution,
an...
分类：
其他好文 时间：
2015-06-03 19:42:58
阅读次数：
1742
了解LDA需要明白如下数学原理：
一个函数：gamma函数
四个分布：二项分布、多项分布、beta分布、Dirichlet分布
一个概念和一个理念：共轭先验和贝叶斯框架
两个模型：pLSA、LDA（文档-主题，主题-词语）
一个采样：Gibbs采样...
分类：
其他好文 时间：
2015-01-13 10:32:11
阅读次数：
185
在《Gamma函数是如何被发现的？》里证明了\begin{align*} B(m, n) = \int_0^1 x^{m-1} (1-x)^{n-1} \text{d} x = \frac{\Gamma (m) \Gamma (n)}{\Gamma (m+n)} \end{align*}于是令\.....
分类：
其他好文 时间：
2014-08-31 22:48:32
阅读次数：
349
