本文分析FFmpeg的H.264解码器的熵解码（Entropy Decoding）部分的源代码。FFmpeg的H.264解码器调用decode_slice()函数完成了解码工作。这些解码工作可以大体上分为3个步骤：熵解码，宏块解码以及环路滤波。本文分析这3个步骤中的第1个步骤。...
分类：
其他好文 时间：
2015-04-18 17:43:54
阅读次数：
322
本文分析FFmpeg的H.264解码器的主干部分。“主干部分”是相对于“熵解码”、“宏块解码”、“环路滤波”这些细节部分而言的。它包含了H.264解码器直到decode_slice()前面的函数调用关系（decode_slice()后面就是H.264解码器的细节部分，主要包含了“熵解码”、“宏块解码”、“环路滤波”3个部分）。...
分类：
其他好文 时间：
2015-04-14 16:42:14
阅读次数：
429
from math import log
#以决策为标准计算信息熵
def calcShannonEnt(dataSet):
numEntries = len(dataSet)
labelCounts = {}
for featVec in dataSet:
currentLabel = featVec[-1]
if cu...
分类：
其他好文 时间：
2015-04-09 21:56:49
阅读次数：
265
1、logistic回归是统计学习中的经典分类方法。
最大熵模型：最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型。
两者都是对数线性模型。
2、二项logstic分类模型：用于二类分布。
多项logstic分类模型：用于多类分布。
3、最大熵模型（maximum entropy model）:是由最大熵原理推导实现。
...
分类：
其他好文 时间：
2015-04-05 09:14:27
阅读次数：
346
随机数生成器计算机使用的随机数生成器往往是伪随机的，为了达到统计意义上的真随机数，可以需要引入系统
外的变量等作为随机种子（如UNIX系统中熵池）。假设有一天出现了上帝的投硬币函数: int G();
由于这里用到的上帝硬币可能不均匀。但可以保证是G()可以x概率返回1，1-x的概率返回0，其中x为未知常数（且x不等于0或1）。请实现目标函数: int F(double p);
要求
F函数以...
分类：
其他好文 时间：
2015-04-02 22:36:30
阅读次数：
209
CART算法原理与理解
CART算法的全称是分类回归树算法，分类即划分离散变量；回归划分连续变量。他与C4.5很相似，但是一个二元分类，采用的是类似于熵的GINI指数作为分类决策，形成决策树之后还要进行剪枝，我自己在实现整个算法的时候采用的是代价复杂度算法。
GINI指数
GINI指数主要是度量数据划分或训练数据集D的不纯度为主，系数值的属性作为测试属性，GINI值越小，表明样本的纯净度越高...
分类：
编程语言 时间：
2015-04-01 22:02:53
阅读次数：
324
第一个函数是计算熵的函数
function result=CEntropy(propertyList)
result=0;
totalLength=length(propertyList);
itemList=unique(propertyList);
pNum=length(itemList);
for i=1:pNum
itemLength=length(find(property...
分类：
其他好文 时间：
2015-04-01 09:39:24
阅读次数：
315
ID3是数据挖掘分类中的一种（是一种if-then的模式），其中运用到熵的概念，表示随机变量不确定性的度量H（x）=-∑pi *log pi信息增益是指特征A对训练数据集D的信息增益g（D，A），定义为集合D的经验熵H（D）与特征A给定条件下D的经验条件熵H（D|A）之差g（D，A）=H（D）-H（...
分类：
其他好文 时间：
2015-03-19 23:25:45
阅读次数：
155
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲machine learning算法中用得很多的交叉熵代价函数。1.从方差代价函数说起代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为： 其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+...
分类：
其他好文 时间：
2015-03-13 14:27:18
阅读次数：
293
