题目： 小明最近在研究压缩算法。 他知道，压缩的时候如果能够使得数值很小，就能通过熵编码得到较高的压缩比。然而，要使数值很小是一个挑战。 最近，小明需要压缩一些正整数的序列，这些序列的特点是，后面出现的数字很大可能是刚出现过不久的数字。对于这种特殊的序列，小明准备对序列做一个变换来减小数字的值。 变 ...
分类：
其他好文 时间：
2018-02-25 12:58:50
阅读次数：
169
（本节课各种数学式子比较多。。。。。^_^） 决策树 Decision Tree? 介绍? 熵 Entropy? 信息增益 Information Gain? 常见算法? 过度拟合 Overfitting? 剪枝 Prune? 增益率 GainRatio? 更多的DT应?场景类别：? 连续函数，多分 ...
分类：
其他好文 时间：
2018-02-19 14:21:19
阅读次数：
193
一、熵编码概念： 熵越大越混乱 信息学中的熵： 用于度量消息的平均信息量，和信息的不确定性 越是随机的、前后不相关的信息，其熵越高 信源编码定理： 说明了香农熵越信源符号概率之间的关系 信息的熵为信源无损编码后平均码长的下限 任何的无损编码方法都不可能使编码后的平均码长小于香农熵，只能使其尽量接近 ...
分类：
编程语言 时间：
2018-02-12 13:48:49
阅读次数：
248
信息熵： 生活中的所见所闻，都接触到许许多多的信息，有的信息对我们有用，有的无用。如 “地球是自转的”，这条信息对我们没什么用，因为我们都知道，而且是确确实实是这样的。香农用信息熵的概念来描述信源的不确定度，变量的不确定性越大，熵也就越大。 在某个事件中，如果不发生的概率为0，那么可以确定信息熵为0 ...
分类：
其他好文 时间：
2018-02-06 20:30:54
阅读次数：
136
输出结果 样本总数：8当前labelCounts状态：{'1': 1}当前labelCounts状态：{'1': 1, '2': 1}当前labelCounts状态：{'1': 1, '2': 1, '3': 1}当前labelCounts状态：{'1': 1, '2': 1, '3': 1, '4 ...
分类：
其他好文 时间：
2018-02-01 20:38:24
阅读次数：
201
名称 entropy_gray - 确定图像的熵和各向异性。 用法 entropy_gray(Regions, Image : : : Entropy, Anisotropy) 描述 算子entropy_gray创建输入图像中灰度值的相对频率的直方图，并根据以下公式从这些频率计算来自区域的每个区域的 ...
分类：
其他好文 时间：
2018-01-30 12:12:17
阅读次数：
182
决策树的训练与测试 如何切分特征（选择节点） 衡量标准-熵 衡量标准-熵 信息增益 信息增益 决策树构造实例 信息增益：表示特征X使得类Y的不确定性减小的程度。（分类后的专一性，希望分类后的结果是同类在一起） Outlook = sunny时，熵值 = (-2/5)*log(2/5)/log2 - ...
分类：
编程语言 时间：
2018-01-29 17:33:56
阅读次数：
220
原文 如何通俗的解释交叉熵与相对熵? 相关公式： 假设现在有一个样本集中两个概率分布 p,q，其中 p 为真实分布，q 为非真实分布。假如，按照真实分布 p 来衡量识别一个样本所需要的编码长度的期望为： H(p)= 但是，如果采用错误的分布 q 来表示来自真实分布 p 的平均编码长度，则应该是： H ...
分类：
其他好文 时间：
2018-01-15 18:45:10
阅读次数：
193
在信息论中，Rényi熵是Hartley熵，Shannon熵，碰撞熵和最小熵的推广。熵能量化了系统的多样性，不确定性或随机性。Rényi熵以AlfrédRényi命名。在分形维数估计的背景下，Rényi熵构成了广义维数概念的基础。 Rényi熵在生态学和统计学中是重要的多样性指标。Rényi熵在量子 ...
分类：
其他好文 时间：
2018-01-13 16:55:36
阅读次数：
1323
