”云”或者’云滴‘是云模型的基本单元，所谓云是指在其论域上的一个分布，可以用联合概率的形式（x， u）来表示 云模型用三个数据来表示其特征 期望：云滴在论域空间分布的期望，一般用符号Εx表示。 熵：不确定程度，由离散程度和模糊程度共同决定，一般用En表示。 超熵： 用来度量熵的不确定性，既熵的熵，一
分类：
其他好文 时间：
2016-03-07 13:26:38
阅读次数：
264
ID3算法 ID3算法是J. Ross Quinlan在1975提出的分类预测算法。该算法的核心是“信息熵”。 信息熵就是一组数据包含的信息，概率的度量。一组数据越有序信息熵也就越低，极端时如果一组数据中只有一个非0，其它都是0，那么熵等于0，因为只有可能是这个非0的情况发生，它给人们的信息已经确定
分类：
编程语言 时间：
2016-03-07 10:15:46
阅读次数：
208
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 中文名最小二乘法
分类：
其他好文 时间：
2016-02-28 18:19:25
阅读次数：
746
序列标注问题应该说是自然语言处理中最常见的问题，而且很可能是最而没有之一。在深度学习没有广泛渗透到各个应用领域之前，传统的最常用的解决序列标注问题的方案是最大熵、CRF等模型，尤其是CRF，基本是最主流的方法。随着深度学习的不断探索和发展，很可能RNN模型会取代CRF的传统霸主地位，会成为解决序列标注问题的标配解决方案。...
分类：
其他好文 时间：
2016-02-23 20:57:37
阅读次数：
601
我看了吴军博士有关的视频，在《大学之路》新书发布会的现场，吴军博士两次提到，“物理学上，一个封闭系统的熵是不断增加的”，由此讲到我们需要开放与包容的观念和胸怀。而在一个全球化进程不断深入的时代，提倡观念的开放似乎不是什么新鲜事。但做到观念的开放真的那么简单吗？观念的惯性是强大甚至是顽固的，很多时候我
分类：
其他好文 时间：
2016-02-21 21:15:55
阅读次数：
170
http://ccckmit.wikidot.com/st:mutualinformation 这篇博客很不错。深入浅出，李航的似乎 没有讲清楚
分类：
其他好文 时间：
2016-02-17 22:09:36
阅读次数：
255
对于一个二维信号，比如灰度图像，灰度值的范围是0-255，因此只要根据像素灰度值(0-255)出现的概率，就可以计算出信息熵。但是，对于一个一维信号，比如说心电信号，数据值的范围并不是确定的，不会是(0-255)这么确定，如果进行域值变换，使其转换到一个整数范围的话，就会丢失数据，请高手指点，怎么计...
分类：
其他好文 时间：
2016-01-26 18:11:51
阅读次数：
286
if-then规则的集合，优点是模型具有可读性，分类速度快。决策树常用的算法：ID3算法、C4.5算法、CART算法1、熵（entropy，又称信息熵）因此，熵只依赖于X的分布，与X的取值无关。熵越大，随机变量X的不确定性就越大。如果有0概率，令。单位为比特(bit)或纳特(Nat)2、条件熵——表...
分类：
编程语言 时间：
2015-12-29 12:41:50
阅读次数：
184
这是一个最大熵的简明Java实现，提供训练与预测接口。训练采用GIS训练算法，附带示例训练集。本文旨在介绍最大熵的原理、分类和实现，不涉及公式推导或其他训练算法，请放心食用。最大熵理论简介最大熵属于辨识模型,能够满足所有已知的约束, 对未知的信息不做任何过分的假设。什么叫已知的约束？本文不会使用晦涩...
分类：
编程语言 时间：
2015-12-27 20:24:21
阅读次数：
194
为了满足不同应用的需求，JPEG标准包括两种基本的压缩方法：1.基于DCT变换的有损压缩算法；2.基于预测方法的无损压缩算法。基于DCT的基线系统有损压缩技术是到目前为止应用最为广泛的一种压缩方法。
1.基于DCT有损压缩技术
下面是编码器和解码器的流程图，压缩过程：原图分成8×8的子块，分别进行正向离散余弦变换(FDCT)，对每个8×8子块的系数采用量化表进行量化，最后使用熵编码，输出...
分类：
其他好文 时间：
2015-12-24 20:57:04
阅读次数：
297
