上篇学习了PDF的参数估计方法，主要有最大似然估计和贝叶斯估计，他们主要对有确定形式的PDF进行参数估计，而在实际情况下，并不能知道PDF的确切形式，只能通过利用所有样本对整个PDF进行估计,而且这种估计只能是利用数值方法求解。...
分类：
其他好文 时间：
2016-04-22 20:12:06
阅读次数：
171
本文主要介绍三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。
1、最大似然估计MLE
首先回顾一下贝叶斯公式
这个公式也称为逆概率公式，可以将后验概率转化为基于似然函数和先验概率的计算表达式，即
最大似然估计就是要用似然函数取到最大值时的参数值作为估计值，似然函数可...
分类：
其他好文 时间：
2016-04-22 19:52:49
阅读次数：
146
（一）牛顿法解最大似然估计 牛顿方法（Newton's Method）与梯度下降（Gradient Descent）方法的功能一样，都是对解空间进行搜索的方法。其基本思想如下： 对于一个函数f(x)，如果我们要求函数值为0时的x，如图所示： 我们先随机选一个点，然后求出该点的切线，即导数，延长它使之 ...
分类：
其他好文 时间：
2016-04-21 01:17:59
阅读次数：
442
非常早就想看看EM算法，这个算法在HMM（隐马尔科夫模型）得到非常好的应用。这个算法公式太多就手写了这部分主体部分。 好的參考博客：最大似然预计到EM，讲了详细样例通熟易懂。 JerryLead博客非常不错 混合高斯模型算法 非常早就想看看EM算法，这个算法在HMM（隐马尔科夫模型）得到非常好的应用 ...
分类：
编程语言 时间：
2016-04-17 10:21:33
阅读次数：
177
ML-最大似然估计 MAP-最大后验估计 贝叶斯估计 三者的关系及区别 一。机器学习 核心思想是从past experience中学习出规则，从而对新的事物进行预测。对于监督学习来说，有用的样本数目越多，训练越准确。 用下图来表示机器学习的过程及包含的知识： 简单来说就是： 二。ML vs MAP ...
分类：
其他好文 时间：
2016-04-16 23:15:50
阅读次数：
774
概率密度函数估计是贝叶斯决策的基础，有两大类方法：参数法和非参数法。所谓的参数法是指已知参数形式，但不知道参数，我们要对参数进行估计的过程。这里主要介绍点估计的两种方法：一种是最大似然估计，一种是贝叶斯估计。 最大似然估计 假设： 我们要估计的参数 是确定但未知的； 样本之间是独立同分布的（或者是条...
分类：
其他好文 时间：
2016-03-10 23:46:47
阅读次数：
466
1、结论 测量误差（测量）服从高斯分布的情况下， 最小二乘法等价于极大似然估计。 2、最大似然估计 最大似然估计就是通过求解最大的（1）式得到参数，其中 L 函数称为参数的似然函数，是一个概率分布函数。 ...
分类：
其他好文 时间：
2016-03-09 12:44:28
阅读次数：
136
MLE: maximum likelihood estimate 最大似然估计 OLS: Ordinary Least Squares 普通最小二乘法 LSE: Least Squares Estimate 最小二乘估计 IRLS: Iteratively Reweighted Least Squa
分类：
其他好文 时间：
2016-03-04 13:13:34
阅读次数：
137
在统计计算中，最大期望（EM）算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variable）。最大期望经常用在机器学习和计算机视觉的数据聚类（Data Clustering） 领域。最大期望算法经过两个步骤交替进行计
分类：
编程语言 时间：
2016-03-01 20:48:49
阅读次数：
676
原文链接：http://blog.sina.com.cn/s/blog_78fd98af0100xk7k.html通俗的说说最大似然估计吧，文绉绉的概念和严谨的公式推导总是记不住，又让人昏昏欲睡....1.什么是最大似然估计如果我们知道样本（数据）所服从的概率分布的模型，而不知道该模型中的参数，例如...
分类：
其他好文 时间：
2016-01-13 19:17:50
阅读次数：
150
