最近学习整理相关算法，发现EM算法和MLE估计都是十分优秀的算法。 首先最大似然估计是一种已知结果，通过改变参数theta使得这种结果出现的可能性最大。 而EM算法则是可以解决含有隐藏变量的问题。举个大家都用的例子，就是我们要统计某学校男女同学的身高，如果我们可以区分男女同学，那么用最大似然估计即可 ...
分类：
编程语言 时间：
2016-08-11 21:01:41
阅读次数：
225
最近复习了一下机器学习的知识，在这里想总结一下，网上也有很多，大多都是不全或者是错误的。下面主要看我来简单总结一下回归分析的知识点。 1、内容概要 （1）线性回归 （2）逻辑回归（Logistic ） （3）最大似然估计 （4）梯度下降 2、线性回归 （1）我们以前初中学过线性函数y=a*x+b,都 ...
分类：
其他好文 时间：
2016-06-07 12:35:38
阅读次数：
247
http://blog.csdn.net/pipisorry/article/details/51482120
文本分析的三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。
参数估计
参数估计中，我们会遇到两个主要问题：（1）如何去估计参数的value。（2）估计出参数的value之后，如何去计算新的observation的概率，即进行回归分析和预测。...
分类：
其他好文 时间：
2016-05-27 12:42:02
阅读次数：
288
Basis(基础)：MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimation最大似然估计)，QP(Quadratic Programming 二次规划)， CP(Conditional Probability条件概率)，...
分类：
编程语言 时间：
2016-05-07 07:58:05
阅读次数：
237
EM算法 作者：樱花猪 摘要： 本文为七月算法（julyedu.com）12月机器学习第十次次课在线笔记。EM算法全称为Expectation Maximization Algorithm，既最大期望算法。它是一种迭代的算法，用于含有隐变量的概率参数模型的最大似然估计和极大后验概率估计。EM算法经常 ...
分类：
编程语言 时间：
2016-05-05 10:51:58
阅读次数：
225
Basis(基础)： MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimation最大似然估计)，QP(Quadratic ...
分类：
其他好文 时间：
2016-05-05 07:02:42
阅读次数：
180
1.数学 2.机器学习 Java 机器学习 工具 & 库 1.处理小数据效果好 2.深度学习—大数据，超过500w；图像，语言方面效果奇好 SVD 最小二乘法 梯度下降法 局部加权回归 1.最大似然估计 2.logistic回归 3.感知器的初步—logistic的简化情节 牛顿法 1.介绍了牛顿方 ...
分类：
其他好文 时间：
2016-04-23 11:53:53
阅读次数：
699
上篇学习了PDF的参数估计方法，主要有最大似然估计和贝叶斯估计，他们主要对有确定形式的PDF进行参数估计，而在实际情况下，并不能知道PDF的确切形式，只能通过利用所有样本对整个PDF进行估计,而且这种估计只能是利用数值方法求解。...
分类：
其他好文 时间：
2016-04-22 20:12:06
阅读次数：
171
本文主要介绍三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。
1、最大似然估计MLE
首先回顾一下贝叶斯公式
这个公式也称为逆概率公式，可以将后验概率转化为基于似然函数和先验概率的计算表达式，即
最大似然估计就是要用似然函数取到最大值时的参数值作为估计值，似然函数可...
分类：
其他好文 时间：
2016-04-22 19:52:49
阅读次数：
146
（一）牛顿法解最大似然估计 牛顿方法（Newton's Method）与梯度下降（Gradient Descent）方法的功能一样，都是对解空间进行搜索的方法。其基本思想如下： 对于一个函数f(x)，如果我们要求函数值为0时的x，如图所示： 我们先随机选一个点，然后求出该点的切线，即导数，延长它使之 ...
分类：
其他好文 时间：
2016-04-21 01:17:59
阅读次数：
442
