机器学习算法可以说是不少的，如果死记硬背的话，只能当时记得推导过程和步骤，过一段时间就又想不起来了，只能依稀记得一些影子。所以，应该找到算法的一些通用的方法来理解算法的思路以及推导过程。 我认为，最大似然估计和损失函数，就是机器学习算法的通用框架，是掌握机器学习算法的钥匙。 以下，用实际算法来证实这 ...
分类：
编程语言 时间：
2017-03-21 12:58:02
阅读次数：
130
最大似然估计学习总结 MadTurtle 转至here 1. 作用 在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数作为真实的参数估计。 2. 离散型 设为离散型随机变量，为多维参数向量，如果随机变量相互独立且概率计算式为P{，则可得概率函数为P{}=，在固 ...
分类：
其他好文 时间：
2017-02-27 18:56:59
阅读次数：
267
说的通俗一点啊，最大似然估计，就是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。例如：一个麻袋里有白球与黑球，但是我不知道它们之间的比例，那我就有放回的抽取10次，结果我发现我抽到了8次黑球2次白球，我要求最有可能的黑白球之间的比例时，就采取最大似然估计法： 我假设我抽到黑球的概 ...
分类：
其他好文 时间：
2017-01-07 01:16:58
阅读次数：
167
隐马尔可夫模型的学习问题：给定一个输出序列O=O1O2...OT,如何调节模型μ=(A,B,π）的参数，使得P(O|M)最大。 最大似然估计是一种解决方法，如果产生的状态序列为Q=q1q2...qT,根据最大似然估计，可以通过以下公式推算： πi‘ = δ（q1,si) aij' = Q中从状态qi ...
分类：
编程语言 时间：
2016-12-25 11:23:58
阅读次数：
242
现在，生成模型还没有体会到深度学习的利好，在Discriminative模型上，成果如雨后春笋，但在生成模型上，却并非如此。原因如下：
- 在最大似然估计及相关策略上，很多概率计算的模拟非常难
- ...
分类：
Web程序 时间：
2016-12-23 14:36:15
阅读次数：
604
一、一些概念 互信息： 两个随机变量x和Y的互信息，定义X, Y的联合分布和独立分布乘积的相对熵。 贝叶斯公式： 贝叶斯带来的思考： 给定某些样本D，在这些样本中计算某结论出现的概率，即 给定样本D 所以可以推出，再假定p(Ai)相等，可以推出，这个就是最大似然估计做的事情，看下取哪个参数的时候，D ...
分类：
其他好文 时间：
2016-12-18 18:06:26
阅读次数：
256
Basis(基础)： MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimation最大似然估计)，QP(Quadratic ...
分类：
编程语言 时间：
2016-11-14 09:41:30
阅读次数：
306
由于最近要经常用到XGBOOST的包，不免对相关的GBDT的原理又重新学习了一遍， 发现其中在考虑损失函数的时候，是以对数log进行度量的，囿于误差平方和函数的印象 那么为什么是对数呢？可能是下面的原因： 【通俗的解释】 对数损失是用于最大似然估计的。一组参数在一堆数据下的似然值，等于每一条数据的概 ...
分类：
其他好文 时间：
2016-09-30 00:53:41
阅读次数：
376
最大似然估计 MLE 给定一堆数据，假如我们知道它是从某一种分布中随机取出来的，可是我们并不知道这个分布具体的参，即“模型已定，参数未知”。 例如，对于线性回归，我们假定样本是服从正态分布，但是不知道均值和方差；或者对于逻辑回归，我们假定样本是服从二项分布，但是不知道均值，逻辑回归公式得到的是因变量 ...
分类：
其他好文 时间：
2016-09-14 10:58:39
阅读次数：
183
参数估计的方法有多种，这里我们分析三种基于概率的方法，分别是最大似然估计（Maximum Likelihood）、贝叶斯估计（Bayes）和最大后验估计（Maximum a posteriori）。我...
分类：
其他好文 时间：
2016-08-28 18:15:44
阅读次数：
151
