最大似然估计：现在已经拿到了很多个样本（你的数据集中所有因变量），这些样本值已经实现，最大似然估计就是去找到那个（组）参数估计值，使得前面已经实现的样本值发生概率最大。因为你手头上的样本已经实现了，其发生概率最大才符合逻辑。这时是求样本所有观测的联合概率最大化，是个连乘积，只要取对数，就变成了线性加...
分类：
其他好文 时间：
2015-10-17 17:47:03
阅读次数：
177
Basis(基础)：MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimation最大似然估计)，QP(Quadratic ...
分类：
其他好文 时间：
2015-10-11 00:28:07
阅读次数：
243
几个常见问题： 1、为什么损失函数采用最小二乘法，而不是绝对值形式，也不采用最小三乘法？关于这个问题的答案，后面的课程会给出，主要是从最大似然函数角度给出的合理化解释，如果你追问，最大似然函数就代表科...
分类：
其他好文 时间：
2015-10-09 20:05:28
阅读次数：
526
1、使用机器学习来解决问题，我们用数学语言来描述它，然后建立一个模型，例如回归模型或者分类模型等来描述这个问题； 2、通过最小化误差、最大似然、最大后验概率等等建立模型的代价函数，转化为最优化问题。找到最优化问题的解，也就是能拟合我们的数据的最好的模型参数； 3、求解这个代价函数，找到最优解。 求最...
分类：
编程语言 时间：
2015-10-01 22:58:30
阅读次数：
497
Log-Linear 模型（也叫做最大熵模型）是 NLP 领域中使用最为广泛的模型之中的一个。其训练常採用最大似然准则。且为防止过拟合，往往在目标函数中增加（能够产生稀疏性的） L1 正则。但对于这样的带 L1 正则的最大熵模型，直接採用标准的随机梯度下降法（SGD）会出现效率不高和...
分类：
其他好文 时间：
2015-09-30 19:35:31
阅读次数：
237
目录0基于文本分析的参数估计... 11 参数估计方法... 11.1最大似然估计MLE. 21.2最大后验概率... 31.3贝叶斯推理... 42 共轭分布... 72.1 随机生成过程及共轭分布... 72.2 Multinomial分布和 Dirichlet分布... 83 unigram ...
分类：
其他好文 时间：
2015-09-29 13:06:39
阅读次数：
1471
最大后验估计（MAP） 最大后验估计是根据经验数据获得对难以观察的量的点估计。与最大似然估计类似，最大区别是，最大后验估计的融入了要估计量的先验分布在其中。故最大后验估计可以看做规则化的最大似然估计。 ...
分类：
其他好文 时间：
2015-09-12 13:37:52
阅读次数：
147
Basis(基础)：MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimation最大似然估计)，QP(Quadratic ...
分类：
其他好文 时间：
2015-09-08 15:30:02
阅读次数：
249
Staticalmodelregression$y_i=f_{\theta}(x_i)+\epsilon_i,E(\epsilon)=0$1.$\epsilon\sim N(0,\sigma^2) 2.使用最大似然估计 $\rightarrow$ 最小二乘$y\sim N(f_{\theta}(x....
分类：
移动开发 时间：
2015-08-11 15:54:11
阅读次数：
134
EM 算法是求参数极大似然估计的一种方法，它可以从非完整数据集中对参数进行估计，是一种非常简单实用的学习算法。这种方法可以广泛地应用于处理缺损数据、截尾数据以及带有噪声等所谓的不完全数据，可以具体来说，我们可以利用EM算法来填充样本中的缺失数据、发现隐藏变量的值、估计HMM中的参数、估计有限混合分布中的参数以及可以进行无监督聚类等等。贴相关几个好文章：从最大似然到EM算法浅解混合高斯模型（Mixtu...
分类：
编程语言 时间：
2015-08-06 22:21:12
阅读次数：
326
