所谓最大熵模型，就是遵循两个原则： (1) 为所有已知的信息建模； (2) 对未知不做任何假设，保持均衡。
分类：
其他好文 时间：
2015-07-28 14:27:40
阅读次数：
240
声明：本文主要是基于网上的材料做了文字编辑，原创部分甚少。参考资料见最后。
隐马尔可夫模型（Hidden Markov Model，HMM），最大熵马尔可夫模型（Maximum Entropy Markov Model，MEMM）以及条件随机场（Conditional Random Field，CRF）是序列标注中最常用也是最基本的三个模型。HMM首先出现，MEMM其次，CRF最后。三个算法...
分类：
其他好文 时间：
2015-07-20 16:23:48
阅读次数：
250
原文：https://www.zybuluo.com/frank-shaw/note/108124信息熵信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量...
分类：
其他好文 时间：
2015-07-19 17:48:12
阅读次数：
300
什么是熵(Entropy)简单来说，熵是表示物质系统状态的一种度量，用它老表征系统的无序程度。熵越大，系统越无序，意味着系统结构和运动的不确定和无规则；反之，，熵越小，系统越有序，意味着具有确定和有规则的运动状态。熵的中文意思是热量被温度除的商。负熵是物质系统有序化，组织化，复杂化状态的一种度量。熵...
分类：
其他好文 时间：
2015-07-16 16:04:48
阅读次数：
169
CART:分类回归树分类树和回归树的区别：分裂节点时使用的节点非纯度量（最小化准则、特征选择）不一样，修剪树的准则不一样分类树： 节点非纯度量：平方误差和 区域估计值：均值（在给定的划分下，均值带来的平方误差和最小）回归树： 节点非纯度量：误分类误差、Gini指数、熵 区域估计值：多数类G...
分类：
其他好文 时间：
2015-07-15 01:10:41
阅读次数：
338
视频图像数据有极强的相关性，也就是说有大量的冗余信息。其中冗余信息可分为空域冗余信息和时域冗余信息。压缩技术就是将数据中的冗余信息去掉（去除数据之间的相关性），压缩技术包含帧内图像数据压缩技术、帧间图像数据压缩技术和熵编码压缩技术。一、去时域冗余信息使用帧间编码技术可去除时域冗余信息，它包括以下.....
分类：
其他好文 时间：
2015-07-14 19:46:03
阅读次数：
436
命，不可改，运可以改。就像，河床与河流的关系。河床确定了河流的方向，但河流也能潜移默化的改变河床的结构，互相纠缠产生结果。
命，是一种结构，所谓格局，小到人大到建筑经济亦或是行星宇宙。这是由先前因素决定，一旦格局产生就在命出之始，结构形成。
运，是一种能量，这里能量是物理学上的理解，亦或是熵或是信息，是参与物质变化的基本粒子。能量的存在，有走向，有分布，受到结构的影响，或是相互影响。...
分类：
其他好文 时间：
2015-07-12 00:20:44
阅读次数：
162
ID3算法java实现
1 ID3算法概述
1.1 信息熵
熵是无序性（或不确定性）的度量指标。假如事件A的全概率划分是（A1,A2,...,An），每部分发生的概率是(p1,p2,...,pn)，那信息熵定义为：
通常以2为底数，所以信息熵的单位是bit。
1.2 决策树
决策树是以实例为基础的归纳学习算法。它从一组无次序、无规则的元组中推理出决策树表示形式的分类规则。它...
分类：
编程语言 时间：
2015-07-10 19:04:15
阅读次数：
313
逻辑回归优化方法-L-BFGS逻辑回归的优化方法是一个经典的问题，如果我们把它视为一个最大熵模型，那么我们知道最早的优化方法是IIS，这个方法就不细讲了，因为它速度很慢。后来发现在最优化领域中非常常用的l-BFGS方法对于Logistic Regression的收敛速度优化是不错的。l-BFGS方法...
分类：
其他好文 时间：
2015-06-30 18:02:00
阅读次数：
132
static int Get1DMaxEntropyThreshold(const int* HistGram, int const in_Start, int const in_End) { int X, Y, Amount = 0; double HistGr...
分类：
其他好文 时间：
2015-06-25 12:05:36
阅读次数：
111
