参考 从最大似然到 EM 算法浅解 最大似然估计学习总结 EM 算法及其推广学习笔记 之前已经总结了似然的概念，那么顺其自然的理解就是，求得似然最大值的参数即为想要的参数，也就是参数估计，使用的方法为最大似然估计。 先提出几个问题： 1.最大似然估计求参数的一般流程是怎样的？ 2.什么样的场景适合/ ...
分类：
其他好文 时间：
2018-01-22 11:59:05
阅读次数：
204
贝叶斯决策论，作为解决模式识别问题的一种基本的统计途径，其假设决策的问题可以用概率的形式表示，并且假设所有有关的概率结构均已知。 根据贝叶斯公式，可以知道后验概率可以表示成似然函数和先验概率的乘积形式（证据对于每个类别都是相通的，所以在决策过程中可以忽略）。贝叶斯决策一般是用于分类场景，我们根据每个 ...
分类：
其他好文 时间：
2018-01-21 11:02:06
阅读次数：
185
参数估计：最大似然、贝叶斯与最大后验 为什么会有参数估计呢？这要源于我们对所研究问题的简化和假设。我们在看待一个问题的时候，经常会使用一些我们所熟知的经典的模型去简化问题，就像我们看一个房子，我们想到是不是可以把它看成是方形一样。如果我们已经知道这个房子是三间平房，那么大体上我们就可以用长方体去描述 ...
分类：
其他好文 时间：
2018-01-16 00:49:56
阅读次数：
164
朴素贝叶斯法基于 1.贝叶斯定理 2.特征条件独立假设 用于分类的特征在类（y）确定的情况下是条件独立的 输入： 过程： 1.学习先验概率 2.学习条件概率分布（条件独立性假设） 其中： （极大似然估计） 3.根据贝叶斯公式，计算后验概率 带入条件概率公式： 上式中，分母是一样的，当k取不同值时分子 ...
分类：
其他好文 时间：
2018-01-11 15:35:25
阅读次数：
104
在讨论最大似然估计之前，我们先来解决这样一个问题：有一枚不规则的硬币，要计算出它正面朝上的概率。为此，我们做了 10 次实验，得到这样的结果：[1, 0, 1, 0, 0, 0, 0, 0, 0, 1]（1 代表正面朝上，0 代表反面朝上）。现在，要根据实验得到的结果来估计正面朝上的概率，即模型的参 ...
分类：
其他好文 时间：
2018-01-09 14:42:06
阅读次数：
163
语言模型 p(S) 就是语言模型，即用来计算一个句子 S 概率的模型。 那么，如何计算呢？最简单、直接的方法是计数后做除法，即最大似然估计（Maximum Likelihood Estimate，MLE），如下： 其中，count(w1,w2,…,wi?1,wi) 表示词序列(w1,w2,…,wi? ...
分类：
编程语言 时间：
2017-12-25 15:05:33
阅读次数：
207
将word2vec思想拓展到序列item的2vec方法并运用到推荐系统中，实质上可以认为是一种cf 在word2vec中，doc中的word是具有序列关系的，优化目标类似在max对数似然函数 应用在item2vec上，可以有两种看待方式： （1）如果item是强时序关系的，那么对某一次序列中的ite ...
分类：
其他好文 时间：
2017-12-23 19:11:03
阅读次数：
168
针对机器翻译，提出 RNN encoder-decoder. encoder与decoder是两个RNN，它们放在一起进行参数学习，最大化条件似然函数。 网络结构： 注意输入语句与输出语句长度不一定相同。 在encoder端，t时刻的隐藏状态h表示为 t-1时刻的h 以及t时刻的输入x的函数，直到输 ...
分类：
Web程序 时间：
2017-12-23 19:07:12
阅读次数：
285
本文介绍 Stanford《From Languages to Information》课程中讲到的 单词拼写错误 纠正。背后的数学原理主要是贝叶斯公式。单词拼写错误纠正主要涉及到两个模型：一个是Nosiy Channel模型，它是贝叶斯公式中的似然函数；另一个模型是Language Model，它 ...
分类：
其他好文 时间：
2017-12-09 19:32:08
阅读次数：
207
理解略肤浅，所以该博文更适合像我一样的初学者，所以大牛勿喷！当然哪里有不合适的地方，欢迎指正，万分感谢！！ 1、什么是估计 通过样本去估计总体 2、参数估计 。。。我理解就是估计参数，可以是总体期望，也可以是总体方差。根据对象是一个值，还是一个区间，可分为点估计和区间估计 3、矩估计 首先我们应该了 ...
分类：
其他好文 时间：
2017-12-02 16:17:09
阅读次数：
131
