贝叶斯思维漫步

现在仍然记得大学最“无聊”的一堂课之一——概率论，出勤人数三个班加起来也没超过正常一个班的数量，当然最后一堂课除外（笑）。个人感觉上课也比较枯燥，当时完全不知道概率论可以用在什么方面，所有听课也就不是那么认真，结果就是期末考试只有70多分（想想当年高数90多线性代数也90······）。然而随着大学毕业，概率论也就离我远去，好像不会再有交集。后来开始“专研”机器学习方面的知识，“朴素贝叶斯”这个名词映入我的眼帘，遥远的记忆才被唤起，记得概率论中有个贝叶斯定理，贝叶斯定理的那个公式当时完全看不明白为什么，是怎么得来的，也就只会拿来用用而已。

前几天在贝叶斯思维这本书上看到了书中所介绍的贝叶斯定理，瞬间豁然开朗，这里做简单叙述，联合概率是乘积可交换的：

$$p(A\ and\ B) = p(B\ and\ A)$$ 那么有： $$p(A\ and\ B) = p(A)p(B|A)$$ 由于没有明确定义$A$ 和$B$ 的含义，所以可以对它们进行互换： $$p(B\ and\ A) = p(B)p(A|B)$$ 现在可以得到： $$p(A)p(B|A) = p(B)p(A|B)$$ 最后两边除以$p(B)$ 得到： $$p(A|B) = \frac{p(A)p(B|A)}{p(B)}$$ 这样就得到了贝叶斯公式了。

书中提到另一种理解贝叶斯定理的思路：它给我们提供的是一种根据数据集$D$ 的内容变化更新假设概率$H$ 的方法。那么贝叶斯公式可改写成：

$$p(H|D) = \frac{p(H)p(D|H)}{p(D)}$$ 在这种解释里，每项的意义如下：

• $p(H)$ 称为先验概率， 即在得到新数据前某一假设的概率。
• $p(H|D)$ 称为后验概率， 即在看到新数据后，要计算的该假设的概率。
• $p(D|H)$ 是该假设下得到这一数据的概率，称为似然度 。
• $p(D)$ 是在任何假设下得到这一数据的概率，称为标准化常量 。

可以通过全概率公式计算$p(D)$ ，即如果发生某一事件有互不相容的两个可能性，可以这样累加概率：

$$p(D) = p(B_1)p(D|B_1) + p(B_2)p(D|B_2)$$

来个例子？
Monty Hall难题，来自书中的例子。

• 蒙蒂向你示意三个关闭的大门，然后告诉你每个门后面都有一个奖品：一个奖品是一辆车，另外两个是不怎么值钱的奖品。奖品随机配置。
• 游戏的目的是要猜哪个门后面有车。如果你猜对了就可以拿走汽车。
• 你先挑选一扇门，姑且称之为门A，其他两个称为门B和门C。
• 在打开选中的门前，为了增加悬念，蒙蒂会先打开B或C中一个没有车的门来增加悬念（如果汽车实际上就在A门背后，那么蒙蒂打开门B或门C都是安全的，所以他可以随意选中一个）。
• 然后蒙蒂给你一个选择。坚持最初的选择还是换到剩下的未打开的门上。

那么很多人会认为，蒙蒂打开了一个门，汽车就在剩下的两个门中，换门与不换门得到汽车的概率都一样，都是0.5。

如果，蒙蒂选择一扇门打开这个动作是独立的，也就是不受选手选择的那扇门的影响的话（也就是蒙蒂也不知道哪扇门后面有车而在剩下两扇门中随机打开），那么我认为换与不换的概率都是0.5，但问题是，蒙蒂的选择并不是一个独立事件，他根据选手的选择而做出选择（在剩下的门中选没有车的门），那么这不能用独立事件的思维思考了。

我之前见过这题，也思考过，开始也是用独立事件的思维做的，但是看了解释后发现并不是你这么回事。

现在用比较通俗的方法解释吧：
1、假设选手坚持原来的原则，得到车的概率是多少呢？嗯，他一开始就要在三扇门中选中那扇有车的门，所以概率就是1/3。
2、假设选手换门，得到车的概率是多少呢？选手换门得到车，那么他最开始选中的门是没有车的，三扇门中两扇门没车，只要选中这两扇门即可，然后换门就可以得到车，所以这种情况下得到车的概率是2/3。

下面来看看使用贝叶斯思维如何解答吧：
首先假定选手选的是A门，蒙蒂选B门打开而且里面没有车（即为贝叶斯公式中的$D$）。
分别假设车在门A，B，C后面的情况：
假设A，先验概率$p(H)$ = 1/3，似然度$p(D|H)$ = 1/2，那么$p(H)p(D|H)$ = 1/6
假设B，先验概率$p(H)$ = 1/3，似然度$p(D|H)$ = 0，那么$p(H)p(D|H)$ = 0
假设C，先验概率$p(H)$ = 1/3，似然度$p(D|H)$ = 1，那么$p(H)p(D|H)$ = 1/3
那么标准化常量$p(D)$ 根据全概率公式得到1/6 + 0 + 1/3 = 1/2。
现在来计算下后验概率：
假设A，后验概率$p(H|D)$ = 1/3
假设B，后验概率$p(H|D)$ = 0
假设C，后验概率$p(H|D)$ = 2/3

可以发现，如果选手选了A门，他继续选择A门得到车的概率是1/3，而换门得到车的概率是2/3。

关于贝叶斯思维的思考今天就到这吧。