在线性回归问题中，我们假设，而在分类问题中，我们假设，它们都是广义线性模型的例子，而广义线性模型就是把自变量的线性预测函数当作因变量的估计值。很多模型都是基于广义线性模型的，例如，传统的线性回归模型，最大熵模型，Logistic回归，softmax回归。 指数分布族 在了解广义线性模型之前，先了解一 ...
分类：
其他好文 时间：
2016-08-14 07:38:51
阅读次数：
196
行业集中度是决定市场结构最基本、最重要的因素，集中体现了市场的竞争和垄断程度，经常使用的集中度计量指标有：行业集中率（CRn指数）、赫尔芬达尔—赫希曼指数（Herfindahl-HirschmanIndex，缩写：HHI，以下简称赫希曼指数）、洛仑兹曲线、基尼系数、逆指数和熵指数等，其中集中率（CR ...
分类：
其他好文 时间：
2016-08-07 21:29:48
阅读次数：
725
>信息 \( i(x)=-log(p(x)) \) 事件x不确定性的度量，不确定性越大，信息量越大 >熵 \( H(X) = \sum_x{-p(x)log(p(x))} \) 随机变量X不确定的度量，信息的期望，不确定性越大，熵越大 >条件熵 \( H(X|Y) \sum_{x,y}{-p(x,y ...
分类：
其他好文 时间：
2016-07-24 19:16:09
阅读次数：
150
说明：此篇是作者对“最大熵模型”的第二次总结，因此可以算作对上次总结的查漏补缺以及更进一步的理解，所以很多在第一次总结中已经整理过的内容在本篇中将不再重复，如果你看的有些吃力，那建议你看下我的第一次总结：
http://blog.csdn.net/xueyingxue001/article/details/50773796
信息量：
某事件x的信息量的式子为...
分类：
其他好文 时间：
2016-07-19 10:36:53
阅读次数：
188
% 读取一张彩色图片 分别显示RGB三个通道图片% 将彩色图片换成灰度图像 求图像的均值 方差 熵im=(imread('robot.jpg'));figure,imshow(im); % Step1 分别显示RGB三个通道图片subplot(2,2 ,1),imshow(im); %原始彩色图像s ...
分类：
其他好文 时间：
2016-07-05 20:38:17
阅读次数：
437
Gossip算法又被称为反熵（Anti-Entropy），熵是物理学上的一个概念，代表杂乱无章，而反熵就是在杂乱无章中寻求一致，这充分说明了Gossip的特点： 在一个有界网络中，每个节点都随机地与其他节点通信，经过一番杂乱无章的通信，最终所有节点的状态都会达成一致。 每个节点可能知道所有其他节点， ...
分类：
其他好文 时间：
2016-07-04 22:08:33
阅读次数：
337
1、逆熵 Cassandra数据库在分布式的架构上借鉴了Amazon的Dynamo，而在数据的存储模型上参考了Google的Bigtable，因而在数据一致性方面与Dynamo和Bigtable有着很深的联系，逆熵机制就是这种联系的一种体现。 逆熵与gossip协议一样也是基于传染病理论的算法，它主 ...
分类：
其他好文 时间：
2016-07-04 21:50:54
阅读次数：
309
针对立体图像的一种视觉舒适度评价准则 调节accommodation相当于单目focus过程，建模为左右视图的联合熵。聚焦vergence相当于双目fusion过程，建模为左右视图的互信息。联合熵和互信息通过从左右视图中提取的视觉基元计算，调节-聚焦冲突表示为互信息与联合熵之比。 正如动眼神经线索， ...
分类：
其他好文 时间：
2016-07-03 13:08:47
阅读次数：
122
一、折线图分析法和散列图分析法 二、协方差（两个参数）与协方差矩阵（参数大于两个） 三、相关系数法（可以直接用excel求相关系数） 四、一元回归（两个参数）和多元回归（多余两个参数） 五、信息熵及互信息 互信息指的是两个随机变量之间的关联程度，即给定一个随机变量后，另一个随机变量不确定性的削弱程度 ...
分类：
其他好文 时间：
2016-07-01 22:53:59
阅读次数：
215
七月在线4月机器学习算法班课程笔记——No.8
1. 统计学习基础回顾1.1 先验概率与后验概率 先验概率：根据以往经验和分析得到的概率，如全概率公式，它往往作为”由因求果”问题中的”因”出现。
后验概率：依据得到”结果”信息所计算出的最有可能是那种事件发生，如贝叶斯公式中的，是”执果寻因”问题中的”因”。后验概率可以根据通过贝叶斯公式，用先验概率和似然函数计算出来。
贝叶斯定理：假设...
分类：
编程语言 时间：
2016-06-21 08:04:13
阅读次数：
2226
