逻辑回归，简单的说，就是用sigmoid函数把连续函数归一化转化成离散的几个可能的结果。 逻辑回归的算法 最大似然法： 我自己的理解，最大似然法就是在你观测到某一系列事件出现的可能性之后，倒推该事件最可能的概率，这个最可能的概率会使这一系列事件发生的可能性无限接近我们观测到的可能性。 梯度下降法/随 ...
分类：
其他好文 时间：
2017-09-10 01:15:38
阅读次数：
189
转自：http://blog.csdn.net/yanqingan/article/details/6125812 最大似然估计学习总结 MadTurtle 1. 作用 在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数作为真实的参数估计。 2. 离散型 设为 ...
分类：
其他好文 时间：
2017-09-06 00:39:59
阅读次数：
162
朴素贝叶斯分类 1，基本概念 2，算法流程 关键点：理解先验概率，条件概率，最大后验概率，下面是以极大似然估计的 3，算法改进（贝叶斯估计） 上述用极大似然估计可能会出现所要估计的概率值为0的情况，改进方法: 先验概率贝叶斯估计：K表示类别数，λ为参数：0时为极大似然估计；1时为拉普拉斯平滑 条件概 ...
分类：
其他好文 时间：
2017-09-02 20:48:16
阅读次数：
184
1、最大似然 多数情况下我们是根据已知条件来推算结果，而最大似然估计是已经知道了结果，然后寻求使该结果出现的可能性最大的条件，以此作为估计值 求最大似然函数估计值的步骤： 2、机器学习算法的学习过程 这个优化函数存在解析解。例如我们求最值一般是对代价函数求导，导数为0的点一般就是最值，如果代价函数能 ...
分类：
其他好文 时间：
2017-08-23 20:44:28
阅读次数：
138
《Machine Learning in Action》 为防止连续乘法时每个乘数过小，而导致的下溢出（太多很小的数相乘结果为0，或者不能正确分类） 训练： 分类： 注意：上述代码中标有注意的地方，是公式中概率连乘变成了对数概率相加。此举可以在数学上证明不会影响分类结果，且在实际计算中，避免了因概率 ...
分类：
其他好文 时间：
2017-08-22 00:21:03
阅读次数：
191
区别： 几种朴素贝叶斯分类器的区别在于对于分布的假设，即假设满足的形式。 一、高斯NB 导入 假设特征的似然函数满足， 和 采用“最大似然估计” 二、Multinomial NB 导入 特征是离散值，通常用样本的概率去估计 为避免有的特征值缺省，一般对样本的概率做Laplace平滑：（a=1时） 三 ...
分类：
其他好文 时间：
2017-08-22 00:19:05
阅读次数：
731
Basis(基础)： MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimation最大似然估计)，QP(Quadratic ...
分类：
其他好文 时间：
2017-08-19 18:34:39
阅读次数：
191
正式学习之前，所需要的预备知识（主要是数学）应该包括：微积分（偏导数、梯度等等）、概率论与数理统计（例如极大似然估计、中央极限定理、大数法则等等）、最优化方法（比如梯度下降、牛顿-拉普什方法、变分法（欧拉-拉格朗日方程）、凸优化等等）——如果你对其中的某些名词感到陌生，那么就说明你尚不具备深入开展数 ...
分类：
其他好文 时间：
2017-08-07 19:29:03
阅读次数：
169
SRILM的主要目标是支持语言模型的估计和评测。估计是从训练数据（训练集）中得到一个模型，包括最大似然估计及相应的平滑算法；而评测则是从测试集中计算其困惑度。其最基础和最核心的模块是n-gram模块，这也是最早实现的模块，包括两个工 具：ngram-count和ngram，相应的被用来估计语言模型和 ...
分类：
编程语言 时间：
2017-08-07 11:42:42
阅读次数：
3712
AIC 此处模型选择我们只考虑模型参数数量，不涉及模型结构的选择。 很多参数估计问题均采用似然函数作为目标函数，当训练数据足够多时，可以不断提高模型精度，但是以提高模型复杂度为代价的，同时带来一个机器学习中非常普遍的问题——过拟合。所以，模型选择问题在模型复杂度与模型对数据集描述能力（即似然函数）之 ...
分类：
其他好文 时间：
2017-07-30 13:58:26
阅读次数：
603
