#python3 calculate Shannon Entropy
from math import log2
def calcShannonEnt(dataSet):
length,dataDict=float(len(dataSet)),{}
for data in dataSet:
try:dataDict[data]+=1
except:...
分类：
其他好文 时间：
2015-08-29 20:21:06
阅读次数：
392
第6章 逻辑回归与最大熵模型逻辑回归(logistic regression)是统计学习中的经典分类方法。最大嫡是概率模型学习的一个准则将其推广到分类问题得到最大熵模型(maximum entropymodel)。逻辑回归模型与最大熵模型都属于对数线性模型。6.1 逻辑回归模型定义6.1(逻辑分布)...
分类：
其他好文 时间：
2015-08-28 19:15:16
阅读次数：
569
1-6 数据压缩技术是如何分类的？ 答：一般分为可逆压缩和不可逆压缩：建模表达式->二次量化->熵编码（1） 建立一个数学模型，以便能更紧凑或更有效地“重新表达”规律性不那么明显（或本质性不那么突出）的原始数据；（2） 设法更简洁地表达利用该模型对原始数据建模所得到的模型参数（或新的数据表示形式.....
分类：
其他好文 时间：
2015-08-28 12:32:45
阅读次数：
122
第6章 逻辑回归与最大熵模型逻辑回归(logistic regression)是统计学习中的经典分类方法。最大嫡是概率模型学习的一个准则将其推广到分类问题得到最大熵模型(maximum entropy model)。逻辑回归模型与最大熵模型都属于对数线性模型。6.1 逻辑回归模型定义6.1(逻辑分布...
分类：
其他好文 时间：
2015-08-26 23:55:55
阅读次数：
760
这个系列是为了应对找工作面试时面试官问的算法问题，所以只是也谢算法的简要介绍，后期会陆续补充关于此
算法的常见面问题！
决策树是一种依托于策略抉择而建立起来的树，是一种依托于分类、训练上的预测树，根据已知，预测和分类未来。
决策树的建立是不断的使用数据的特征将数据分类的过程，主要的问题在于如何选择划分的特征；
常用的几种决策树算法有ID3、C4.5、CART等；其中ID3使用的是信息熵增益...
分类：
编程语言 时间：
2015-08-25 19:42:19
阅读次数：
349
熵给定一个离散变量，我们观察它的每一个取值所包含的信息量的大小，因此，我们用来表示信息量的大小，概率分布为。当p(x)=1时，说明这个事件一定会发生，因此，它带给我的信息为0.（因为一定会发生，毫无悬念）如果x和y独立无关，那么：他们之间的关系为：（p(x)=1时，h(x)=0，负号为了确保h(x)...
分类：
其他好文 时间：
2015-08-18 11:32:27
阅读次数：
264
转自：KL距离，Kullback-Leibler DivergenceKL距离，是Kullback-Leibler差异（Kullback-Leibler Divergence）的简称，也叫做相对熵（Relative Entropy）。它衡量的是相同事件空间里的两个概率分布的差异情况。其物理意义是：在...
分类：
其他好文 时间：
2015-08-11 18:16:40
阅读次数：
127
1、似然函数 概率和似然的区别：概率是已知参数的条件下预测未知事情发生的概率，而似然性是已知事情发生的前提下估计模型的参数。我们通常都是将似然函数取最大值时的参数作为模型的参数。 那么为何要取似然函数取最大值的参数作为模型的参数？我们基于这样的假设：对于已经发生的事情，在同样条件下再次发生的概率.....
分类：
其他好文 时间：
2015-08-08 01:11:03
阅读次数：
394
Linux中的随机数可以从两个特殊的文件中产生，一个是/dev/urandom.另外一个是/dev/random。他们产生随机数的原理是利用当前系统的熵池来计算出固定一定数量的随机比特，然后将这些比特作为字节流返回。熵池就是当前系统的环境噪音，熵指的是一个系统的混乱程度，系统噪音可以通过很多参数来评...
分类：
系统相关 时间：
2015-08-05 10:07:23
阅读次数：
170
信息论
熵
如果离散随机变量有P（X）分布，那么x所携带的熵（信息量）：
之所以用log2来作为底，是为了方便衡量该信息可以用多少bit来表示。因为1个bit非0即1. 从上公式可以推导出：当k个状态发生的几率一样时，随机变量X所携带的熵越大。正如下图表示的伯努利分布所携带的熵随着概率变化的结果：
KL divergence
KL divergence 全称Kullbac...
分类：
系统相关 时间：
2015-07-31 20:28:17
阅读次数：
333
