我们不要把鸡蛋都放在一个篮子里面讲得就是最大熵原理，从投资的角度来看这就是风险最小原则。从信息论的角度来说，就是保留了最大的不确定性，也就是让熵达到了最大。最大熵院里指出，对一个随机事件的概率分布进行预测的时候，我们的预测应当满足全部的已知条件，而对于未知的情况不要做任何的主观假设（不做主观假设这点 ...
分类：
其他好文 时间：
2017-06-03 20:53:36
阅读次数：
130
转自：http://blog.csdn.net/xw20084898/article/details/17564957 一、工具：VC+OpenCV 二、语言：C++ 三、原理 otsu法（最大类间方差法，有时也称之为大津算法）使用的是聚类的思想，把图像的灰度数按灰度级分成2个部分，使得两个部分之间 ...
分类：
其他好文 时间：
2017-05-30 16:19:01
阅读次数：
261
一、H.264 的层次介绍 H.264 定义三个层次，每一个层次支持一组特定的编码功能。而且按照各个层次指定所指定的功能。基础层次(baselineprofile)支持 I 帧和 P 帧【1】的帧内和帧间编码，支持自适应的可变长度的熵编码(CAVLC)。主要层次(main profile)支持隔行扫 ...
分类：
其他好文 时间：
2017-05-27 10:38:58
阅读次数：
283
引言 无损压缩算法可行的基本原理是，任意一个非随机文件都含有重复数据，这些重复数据可以通过用来确定字符或短语出现概率的统计建模技术来压缩。统计模型可以用来为特定的字符或者短语生成代码，基于它们出现的频率，配置最短的代码给最常用的数据。这些技术包括熵编码(entropy encoding)，游程编码( ...
分类：
编程语言 时间：
2017-05-25 15:42:09
阅读次数：
181
生活中我们常常听到人们说“不要把鸡蛋放到一个篮子里”。这样能够减少风险。深究一下，这是为什么呢？事实上，这里边包括了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍。重点给出当中所涉及数学公式的理解和具 ...
分类：
其他好文 时间：
2017-05-19 20:14:01
阅读次数：
217
在机器学习算法（如二叉树）、特征选择（互信息）中经常用到熵的概念，信息熵的概念以及介绍网上有很多，这里主要做一个直观的介绍。 1. 信息的度量 2. 信息熵 一、 信息量 常常把消息中有意义的内容成为信息。我们常常说，某人说的某句话信息量很大，具体在信息论中，其实指的是他说的这句话消除的不确定性多。 ...
分类：
其他好文 时间：
2017-05-17 00:43:49
阅读次数：
244
决策树 决策树学习采用的是自顶向下的递归方法, 其基本思想是以信息熵为度量构造一棵熵值下降最快的树,到叶子节点处的熵值为零, 此时每个叶节点中的实例都属于同一类。 决策树三种生成算法 回归树: 平方误差 最小 的准则 分类树: 基尼系数 最小的准则 最大优点: 可以自学习。在学习的过程中,不需要使用 ...
分类：
其他好文 时间：
2017-05-15 16:28:02
阅读次数：
271
本篇以信息增益最大作为最优化策略来详细介绍决策树的决策流程。 首先给定数据集，见下图 注：本数据来源于网络 本篇将以这些数据作为训练数据（虽然少，但足以介绍清楚原理！），下图是决策树选择特征的流程 (请原谅我的拍照技术) 图中entropy代表决策树在根节点处的信息熵，Entropy(age)表示用 ...
分类：
其他好文 时间：
2017-05-14 22:19:17
阅读次数：
235
声明：本文主要是基于网上的材料做了文字编辑，原创部分甚少。參考资料见最后。 隐马尔可夫模型（Hidden Markov Model。HMM），最大熵马尔可夫模型（Maximum Entropy Markov Model，MEMM）以及条件随机场（Conditional Random Field，CR ...
分类：
其他好文 时间：
2017-05-13 20:58:37
阅读次数：
226
信息熵： 1. 热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。 2. ；两个独立符号所产生的不确定性应等于各自不确定性之和 3. 在信源中，考虑的不是某一单个符号发生的不确定性，而是要考虑这个信源所有可能发生情况的平均不确定性。 对于当个符号，它的概率为p时，... ...
分类：
其他好文 时间：
2017-05-12 00:05:09
阅读次数：
390
