在上一篇中提到的Logistic回归是利用最大似然概率的思想和梯度上升算法确定θ，从而确定f(θ)。本篇将介绍另一种求解最大似然概率?(θ)的方法，即牛顿迭代法。
在牛顿迭代法中，假设一个函数是，求解θ值使得f(θ)=0。在图1中可知，
图1
选择一个点，对应函数值为,并将对应的切线与x轴相交的点记为，所以 ,依此类推可知牛顿迭代规律。
为了求得最大似然概率?(θ)，让,...
分类：
其他好文 时间：
2015-07-07 16:52:26
阅读次数：
249
今天看了一下朴素贝叶斯算法。在看到如果样本的某个特征是连续属性的情况下，需要计算出在所有类别下该特征（该特征在不同类别下的）高斯分布，说白了就是求出来在某一类别下该特征的均值和标准差。那么，给某一个特征的值，在带入该特征在各类的概率密度函数（PDF），就可以得到书中所说的“后验概率”。
那么问题来了，对于离散属性的特征，这样是没有问题的。但是PDF某一点的值，大学学的知识说是没有意义的。求出一个...
分类：
其他好文 时间：
2015-07-06 12:29:03
阅读次数：
139
思路：
之前的线性回归都是根据特征值服从的分布猜想结果，生成算法是根据结果猜想特征值的分布。
贝叶斯公式：
GDA高斯分类器：模型：写成表达式的形式：
分离效果图：
推理：
原理：根据上述表达式的形式和最大似然原理，我们要求出这两个高斯分布，使给出的case最大限度的符合。
写成表达式的形式：原因：为什么要求p(y|x)p(y|x)的最大似然：因为我们是要求给出XX后预测YY，因此我们要求给出x下y...
分类：
编程语言 时间：
2015-06-27 09:56:38
阅读次数：
135
这一节课主要讲如何用logistic regression做分类。 在误差衡量问题上，选取了最大似然函数误差函数，这一段推导是难点。 接下来是如何最小化Ein，采用的是梯度下降法，这个比较容易。 参考：http://beader.me/mlnotebook/section3/logistic-re....
分类：
其他好文 时间：
2015-06-25 22:56:17
阅读次数：
226
logistic 回归1.问题：在上面讨论回归问题时，讨论的结果都是连续类型，但如果要求做分类呢？即讨论结果为离散型的值。2.解答：
假设：
其中：
g(z)g(z)的图形如下：
由此可知：当hθ(x)h_\theta(x)<0.5时我们可以认为为0，反之为1，这样就变成离散型的数据了。
推导迭代式：利用概率论进行推导，找出样本服从的分布类型，利用最大似然法求出相应的θ\theta因此：...
分类：
其他好文 时间：
2015-06-21 09:24:34
阅读次数：
137
文章《EM算法学习笔记1：简介》中介绍了EM算法的主要思路和流程，我们知道EM算法通过迭代的方法，最后得到最大似然问题的一个局部最优解。本文介绍标准EM算法背后的原理。我们有样本集X，隐变量Z，模型参数θ\theta，注意他们3个都是向量，要求解的log似然函数是lnp(X|θ)lnp(X|\theta)，而这个log似然函数难以求解，我们假设隐变量Z已知，发现lnp(X,Z|θ)lnp(X,Z|\...
分类：
编程语言 时间：
2015-06-18 22:14:56
阅读次数：
209
fromhttp://blog.csdn.net/yanqingan/article/details/6125812最大似然估计学习总结------MadTurtle1.作用在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数作为真实的参数估计。2.离散型设为离...
分类：
其他好文 时间：
2015-06-13 22:57:35
阅读次数：
185
逻辑回归和其他回归的异同，及其如何选择关于权值的更新函数问题。用最大似然估计来选取costfunction...
分类：
其他好文 时间：
2015-05-20 16:22:55
阅读次数：
2937
逻辑斯谛回归模型是研究因变量为二分类或多分类观察结果与影响因素之间的关系的一种概率型非线性回归模型。逻辑斯谛回归系数通过最大似然估计得到。Logistic函数如下： 式中x为 这里是输入变量的n个特征，然后按照Logistic函数形式求出。假设有n个独立变量的向量，设条件概率在x条件下y发生的...
分类：
其他好文 时间：
2015-05-12 10:53:49
阅读次数：
230
在统计计算中，最大期望（EM）算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variable）。最大期望经常用在机器学习和计算机视觉的数据聚类（Data Clustering）领域。...
分类：
编程语言 时间：
2015-05-10 17:23:37
阅读次数：
342
