隐含狄利克雷分布（Latent Dirichlet Allocation ,简称LDA) 贝叶斯模型贝叶斯模型主要涉及“先验分布”， “数据（似然）”和“后验分布”三块，在贝叶斯学派中： 先验分布 + 数据（似然）= 后验分布可以理解为通过在现先验分布的基础上更新后验分布 二项分布$a = a -2 ...
分类：
其他好文 时间：
2018-11-28 20:30:46
阅读次数：
204
一、神经网络1.为了进行梯度下降，误差函数不能是离散的，而必须是连续的。误差函数必须是可微分的。同时，要将离散预测变成连续预测，方法是将激活函数从阶跃函数变成S函数。 2.最大似然法：选出实际发生的情况所对应的概率更大的模型。 3.交叉熵(损失函数)：将得到的概率取对数，对它们的相反数进行求和。准确 ...
分类：
其他好文 时间：
2018-11-26 22:09:27
阅读次数：
260
EM算法：让期望最大化的算法最大似然估计：已知：样本服从分布的模型 观测到的样本求解：模型的参数 极大似然估计是用来估计模型参数的统计学方法 就是什么参数能使得样本符合这么一个模型最大似然函数：什么样的参数使得出现当前这批样本概率最大 利用结果推出参数的最大值 问题提升：有两个类别，这两个类别都服从 ...
分类：
编程语言 时间：
2018-11-26 20:58:40
阅读次数：
23591
众所周知，极大似然估计是一种应用很广泛的参数估计方法。例如我手头有一些东北人的身高的数据，又知道身高的概率模型是高斯分布，那么利用极大化似然函数的方法可以估计出高斯分布的两个参数，均值和方差。这个方法基本上所有概率课本上都会讲，我这就不多说了，不清楚的请百度。 然而现在我面临的是这种情况，我手上的数 ...
分类：
编程语言 时间：
2018-11-24 18:01:30
阅读次数：
173
前言 EM算法大家应该都耳熟能详了，不过很多关于算法的介绍都有很多公式。当然严格的证明肯定少不了公式，不过推公式也是得建立在了解概念的基础上是吧。所以本文就试图以比较直观的方式谈下对EM算法的理解，尽量不引入推导和证明，希望可以有助理解算法的思路。 介绍 EM方法是专门为优化似然函数设计的一种优化算 ...
分类：
编程语言 时间：
2018-11-02 01:57:17
阅读次数：
228
一.ID3 1.李航统计学习书上写：ID3相当于用极大似然法进行概率模型的选择。这句话邹博的回答是：从ID3的构建树过程而言，它可以看成使用贪心算法得到近似最优的一颗决策树，它无法保证是最优的。李航《统计学习方法》中这句话，应该是ID3提出时使用的理论依据，可以参考J.R. QUINLAN的" In ...
分类：
其他好文 时间：
2018-11-01 22:33:47
阅读次数：
241
游戏介绍 井字棋，英文名叫Tic-Tac-Toe，是一种在3*3格子上进行的连珠游戏，和五子棋类似。然后由分别代表O和X的两个游戏者轮流在格子里留下标记（一般来说先手者为X），任意三个标记形成一条直线（包括行、列、对角线、反对角线），则为获胜。 解决策略 重点在于电脑方如何下棋，我们采取估计棋局每个 ...
分类：
其他好文 时间：
2018-10-31 01:16:03
阅读次数：
185
EM算法推导 网上和书上有关于EM算法的推导，都比较复杂，不便于记忆，这里给出一个更加简短的推导，用于备忘。 在不包含隐变量的情况下，我们求最大似然的时候只需要进行求导使导函数等于0，求出参数即可。但是包含隐变量，直接求导就变得异常复杂，此时需要EM算法，首先求出隐变量的期望值（E步），然后，把隐变 ...
分类：
编程语言 时间：
2018-10-26 14:22:08
阅读次数：
143
看了好多书籍和博客，讲先验后验、贝叶斯公式、两大学派、概率模型、或是逻辑回归，讲的一个比一个清楚 ，但是联系起来却理解不能 基本概念如下 先验概率：一个事件发生的概率 \[P(y)\] 后验概率：一个事件在另一个事件发生条件下的条件概率 \[P(y|x)\] 贝叶斯公式：联合概率公式直接能推导出来的 ...
分类：
其他好文 时间：
2018-10-20 00:53:15
阅读次数：
766
MAP：最大后验概率（Maximum a posteriori） 估计方法根据经验数据获得对难以观察的量的点估计。它与最大似然估计中的 Fisher方法有密切关系， 但是它使用了一个增大的优化目标，这种方法将被估计量的先验分布融合到其中。所以最大后验估计可以看作是规则化（regularization ...
分类：
其他好文 时间：
2018-10-16 19:24:39
阅读次数：
125
