在看FK论文时，fisher information matrix是必须理解的。从维基百科查阅到，Fisher information matrix是用利用最大似然函数估计来计算方差矩阵。来源于：http://mathworld.wolfram.com/FisherInformationMatrix...
分类：
其他好文 时间：
2015-11-06 19:30:57
阅读次数：
907
几个常见问题： 1、为什么损失函数采用最小二乘法，而不是绝对值形式，也不采用最小三乘法？关于这个问题的答案，后面的课程会给出，主要是从最大似然函数角度给出的合理化解释，如果你追问，最大似然函数就代表科...
分类：
其他好文 时间：
2015-10-09 20:05:28
阅读次数：
526
一直对贝叶斯里面的似然函数（likelihood function），先验概率（prior），后验概率（posterior）理解得不是很好，今天仿佛有了新的理解，记录一下。看论文的时候读到这样一句话：原来只关注公式，所以一带而过。再重新看这个公式前的描述，细思极恐。the likelihood fu...
分类：
其他好文 时间：
2015-09-19 19:44:41
阅读次数：
142
1.EM算法是含有隐变量的变量的概率模型极大似然估计或极大后验概率估计的迭代算法，含有隐变量的概率模型的数据表示为$P(Y,Z|\theta)$.这里，$Y$是观测变量的数据，$Z$是隐变量的数据，$\theta$是模型参数。EM算法通过迭代求解观测数据的对数似然函数$L(\theta)=logP(...
分类：
编程语言 时间：
2015-09-10 23:55:46
阅读次数：
293
【机器学习】EM算法详细推导和讲解 今天不太想学习，炒个冷饭，讲讲机器学习十大算法里有名的EM算法，文章里面有些个人理解，如有错漏，还请读者不吝赐教。 众所周知，极大似然估计是一种应用很广泛的参数估计方法。例如我手头有一些东北人的身高的数据，又知道身高的概率模型是高斯分布，那么利用极大化似然函数的....
分类：
编程语言 时间：
2015-08-29 21:34:37
阅读次数：
303
1、似然函数 概率和似然的区别：概率是已知参数的条件下预测未知事情发生的概率，而似然性是已知事情发生的前提下估计模型的参数。我们通常都是将似然函数取最大值时的参数作为模型的参数。 那么为何要取似然函数取最大值的参数作为模型的参数？我们基于这样的假设：对于已经发生的事情，在同样条件下再次发生的概率.....
分类：
其他好文 时间：
2015-08-08 01:11:03
阅读次数：
394
最大似然估计是一种奇妙的东西，我觉得发明这种估计的人特别才华。如果是我，觉得很难凭空想到这样做。 极大似然估计和贝叶斯估计分别代表了频率派和贝叶斯派的观点。频率派认为，参数是客观存在的，只是未知而矣。因此，频率派最关心极大似然函数，只要参数求出来了，给定自变量X，Y也就固定了，极大似然估计如下...
分类：
其他好文 时间：
2015-07-31 23:24:27
阅读次数：
369
Logistic regression （逻辑回归）是当前业界比较常用的机器学习方法，用于估计某种事物的可能性，也用来进行分类。
在分类的情形下，经过学习之后的LR分类器其实就是一组权值w0,w1,...,wm.
当输入测试样本集中的测试数据时，这一组权值按照与测试数据线性加和的方式，求出一个z值：
z = w0+w1*x1+w2*x2+...+wm*xm。 ① （其中x1,x2,...,...
分类：
其他好文 时间：
2015-07-14 11:27:21
阅读次数：
149
也说说EM[本文链接：http://www.cnblogs.com/breezedeus/archive/2012/08/12/2634466.html，转载请注明出处]前几天看Andrew Ng 讲EM的视频，又温习了一遍这玩意。EM的想法其实也比较简单。我要最大化似然函数（或者后验概率），但是直...
分类：
其他好文 时间：
2015-07-09 21:08:08
阅读次数：
110
今天看了一下朴素贝叶斯算法。在看到如果样本的某个特征是连续属性的情况下，需要计算出在所有类别下该特征（该特征在不同类别下的）高斯分布，说白了就是求出来在某一类别下该特征的均值和标准差。那么，给某一个特征的值，在带入该特征在各类的概率密度函数（PDF），就可以得到书中所说的“后验概率”。
那么问题来了，对于离散属性的特征，这样是没有问题的。但是PDF某一点的值，大学学的知识说是没有意义的。求出一个...
分类：
其他好文 时间：
2015-07-06 12:29:03
阅读次数：
139
