EM算法用于含有隐含变量的概率模型参数的极大似然估计。什么是隐含变量的概率模型呢？举个例子，假设有3枚硬币，分别记为A,B,C，它们正面出现的概率分别为r,p,q。每次实验先掷硬币A，如果出现的是正面就投B，如果出现的反面就投C，出现正面记为1，出现反面记为0。独立10次实验，观测结果如下：1101 ...
分类：
编程语言 时间：
2016-09-29 01:28:50
阅读次数：
239
联合体与结构体是很容易混淆的概念。粗略一看，两者无论声明、定义还是定义对象的方式都很相似。然而这两个东西的概念和作用实际千差万别。首先，联合体的各个成员共用内存，并应该同时只能有一个成员得到这块内存的使用权（即对内存的读写），而结构体各个成员各自拥有内存，各自使用互不干涉。所以，某种意义上来说，联合 ...
分类：
其他好文 时间：
2016-09-18 22:17:04
阅读次数：
131
最大似然估计 MLE 给定一堆数据，假如我们知道它是从某一种分布中随机取出来的，可是我们并不知道这个分布具体的参，即“模型已定，参数未知”。 例如，对于线性回归，我们假定样本是服从正态分布，但是不知道均值和方差；或者对于逻辑回归，我们假定样本是服从二项分布，但是不知道均值，逻辑回归公式得到的是因变量 ...
分类：
其他好文 时间：
2016-09-14 10:58:39
阅读次数：
183
临时表概念 临时表就是用来暂时保存临时数据（亦或叫中间数据）的一个数据库对象，它和普通表有些类似，然而又有很大区别。它只能存储在临时表空间，而非用户的表空间。ORACLE临时表是会话或事务级别的，只对当前会话或事务可见。每个会话只能查看和修改自己的数据。 临时表语法 临时表分类 ORACLE临时表有 ...
分类：
数据库 时间：
2016-09-02 18:52:27
阅读次数：
241
本节讨论给定训练数据集估计条件随机场模型参数的问题，即条件随机场的学习问题。条件随机场模型实际上是定义在时序数据上的对数线形模型，其学习方法包括极大似然估计和正则化的极大似然估计。具体的优化实现算法有改进的迭代尺度法IIS、梯度下降法以及 L-BFGS 算法。（crf++ 采用了 L-BFGS 优化... ...
分类：
其他好文 时间：
2016-08-31 18:25:26
阅读次数：
278
参数估计的方法有多种，这里我们分析三种基于概率的方法，分别是最大似然估计（Maximum Likelihood）、贝叶斯估计（Bayes）和最大后验估计（Maximum a posteriori）。我...
分类：
其他好文 时间：
2016-08-28 18:15:44
阅读次数：
151
遇到这个问题似然重启是个办法，但是真心好累。。 1.在dos下，输入 netstat -ano|findstr 8080 //说明：查看占用8080端口的进程 显示占用端口的进程 2.在任务管理其中查看PID好对应的进程,自己手动关掉进程或者用下面方法： taskkill /pid xxxx /f ...
分类：
其他好文 时间：
2016-08-21 22:55:44
阅读次数：
302
比对梯度下降和随机梯度下降： 梯度下降：每一次迭代耗时长，在大数据集上处理速度慢，对参数敏感性适中 随机梯度下降：每一次迭代耗时短，在大数据集上处理速度较快，但对参数非常敏感 随机梯度下降能更快地达到较大的对数似然值，但噪声更大 步长太小，收敛速度太慢；步长较大，震荡较大；步长异常大，不收敛 ...
分类：
其他好文 时间：
2016-08-15 12:46:22
阅读次数：
116
最近学习整理相关算法，发现EM算法和MLE估计都是十分优秀的算法。 首先最大似然估计是一种已知结果，通过改变参数theta使得这种结果出现的可能性最大。 而EM算法则是可以解决含有隐藏变量的问题。举个大家都用的例子，就是我们要统计某学校男女同学的身高，如果我们可以区分男女同学，那么用最大似然估计即可 ...
分类：
编程语言 时间：
2016-08-11 21:01:41
阅读次数：
225
