对所有类型的CRF模型，包括最大熵模型，都是采用极大似然估计的方法来进行参数估计，也就是说在训练数据集$\mathcal T$上进行对数似然函数$\mathcal L$的极大化。根据上一篇《条件随机场（三）》，我们知道线性链CRF的模型为 \begin{equation} p_{\vec {\lam ...
分类：
其他好文 时间：
2017-07-01 11:00:52
阅读次数：
214
交叉熵可在神经网络(机器学习)中作为损失函数，p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量真实分布p与当前训练得到的概率分布q有多么大的差异。 相对熵（relative entropy）就是KL散度（Kullback–Leibler divergence），用于衡量 ...
分类：
其他好文 时间：
2017-06-27 17:01:26
阅读次数：
326
一、视频编解码概述 1. 应用场景 视频编码的目的就是压缩视频的占用空间，提高存储和传输的效率，在获得有效的压缩效果的同时，使得压缩过程引起的失真最小。视频压缩算法是通过去除时间、空间的冗余来实现的。通过去除不同类型的冗余，可以明显的压缩数据，代价就是一部分信息失真，可以通过熵编码器（如哈夫曼编码等 ...
分类：
其他好文 时间：
2017-06-21 15:57:23
阅读次数：
189
That transfer of information, from what we don’t know about the system to what we know, represents a change in entropy. Insight decreases the entropy ...
分类：
其他好文 时间：
2017-06-21 13:56:54
阅读次数：
136
参考：莫烦。 主要是运用的ＭＬＰ。另外这里用到的是批训练： 这个代码很简单，跟上次的基本没有什么区别。 这里的lossfunction用到的是是交叉熵cross_entropy.可能网上很多形式跟这里的并不一样。 这里一段时间会另开一个栏。专门去写一些机器学习上的一些理论知识。 这里代码主要写一下如 ...
分类：
其他好文 时间：
2017-06-19 00:27:28
阅读次数：
263
极大似然估计 上篇文章介绍了最大熵模型以及采用拉格朗日乘子法求解对偶问题，其模型的解如下， \begin{equation} P_{w}(y|x) = \frac 1 {Z_{w}(x)} \exp {\left( \sum\limits_{i=1}^n w_{i} f_{i}(x,y) \righ ...
分类：
其他好文 时间：
2017-06-14 16:08:00
阅读次数：
180
广义线性模型是把自变量的线性预测函数当作因变量的估计值。在机器学习中，有很多模型都是基于广义线性模型的，比如传统的线性回归模型，最大熵模型，Logistic回归，softmax回归，等等。今天主要来学习如何来针对某类型的分布建立相应的广义线性模型。 Contents 1. 广义线性模型的认识 2. ...
分类：
其他好文 时间：
2017-06-05 19:23:26
阅读次数：
319
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt=""> ...
分类：
其他好文 时间：
2017-06-04 21:28:11
阅读次数：
258
转载请注明出处：http://blog.csdn.net/luoshixian099/article/details/50351562 勿在浮沙筑高台 关于图像压缩上的几个名词解释： 1.平均比特数：相应一张图像上每一个像素所採用的平均比特数。L(r_k)为灰度级r_k所使用的比特数，p(r_k)表 ...
分类：
其他好文 时间：
2017-06-04 09:53:32
阅读次数：
307
20170512 051201.py 文档读入数据，分列读取，计数 20170512 部分未整理，关于BP神经网络和神经网络最大熵。 20170518 部分未整理，关于LTP分词。 20170518 051803.py 051804.py 结巴分词的使用案例 051806.py 分词，去停用词，统计 ...
分类：
其他好文 时间：
2017-06-03 20:59:38
阅读次数：
254
