（3）在逻辑回归中的应用。 由于交叉熵是衡量两个分布之间的相似度，在逻辑回归中，首先数据集真实的分布是p，通过逻辑回归模型预测出来的结果对应的分布是q，此时交叉熵在这里就是衡量预测结果q与真实结果p之间的差异程度，称之为交叉熵损失函数。具体如下： 假设，对应两分类的逻辑回归模型logistic re ...
分类：
其他好文 时间：
2017-10-01 16:17:29
阅读次数：
198
基本流程: 决策树: 根结点:属性测试，包含样本全集 内部结点:属性测试，根据属性测试的结果被划分到子结点中 叶结点：决策结果 划分选择:如何选择最优划分属性。目标是结点的"纯度"越来越高 1.信息增益： 使用“信息熵”: 信息增益越大，意味使用属性a划分所获得的“纯度提升”越大。因此可以使用信息增 ...
分类：
其他好文 时间：
2017-09-26 19:46:51
阅读次数：
166
安装熵服务yum install rng-tools 启动熵服务systemctl start rngd 如果你的 CPU 不支持 DRNG 特性或者像我一样使用虚拟机，可以使用/dev/unrandom来模拟。 cp /usr/lib/systemd/system/rngd.service /et ...
分类：
其他好文 时间：
2017-09-26 13:08:24
阅读次数：
230
一. 熵的定义： 原始熵的定义：克劳修斯(T.Clausius) 于1854年提出熵(entropie)的概念, 我国物理学家胡刚复教授于1923年根据热温商之意首次把entropie译为“熵”。熵，热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。统计热力学: 熵的大小 ...
分类：
其他好文 时间：
2017-09-24 10:47:30
阅读次数：
331
说明： 本文是关于http://neuralnetworksanddeeplearning.com/的相关笔记 问题一：神经元在错误的值上饱和导致学习速率的下降 解决： 1.输出层： 因使用二次代价函数时，学习在神经元犯了明显错误时却比学习快接近真实值时慢， 可以使用交叉熵代价函数 使得在神经元犯明 ...
分类：
其他好文 时间：
2017-09-20 21:57:18
阅读次数：
131
[[1, 1, 'yes'], [1, 1, 'yes'], [1, 0, 'no'], [0, 1, 'no'], [0, 1, 'no']] 经验熵 - 经验条件熵 “yes”有两个，no 有3个，经验熵 = - 2/5 * log(2/5) - 3/5 * log(3/5)，这个公式设为def ...
分类：
其他好文 时间：
2017-09-20 12:10:39
阅读次数：
161
最大熵原理是在1957 年由E.T.Jaynes 提出的，其主要思想是，在只掌握关于未知分布的部分知识时，应该选取符合这些知识但熵值最大的概率分布。因为在这种情况下，符合已知知识的概率分布可能不止一个。我们知道，熵定义的实际上是一个随机变量的不确定性，熵最大的时候，说明随机变量最不确定，换句话说，也 ...
分类：
其他好文 时间：
2017-09-15 16:49:48
阅读次数：
133
这两天在linux部署完tomcat以后，发现每次启动都非常的慢，没有部署任何项目，虽然我启动了3个tomcat，但是也不至于10几分钟才启动。 于是查了下，发现是和 【JVM上的随机数与熵池策略】有关系。 解决办法： 1、在tomcat的bin/catalina.sh中加入这么一行：-Djava. ...
分类：
系统相关 时间：
2017-09-11 18:19:25
阅读次数：
199
xent_regularize, Cross Entropy Regularize nnet3/nnet-discriminative-trainning.cc:109 void NnetDiscriminativeTrainer::ProcessOutputs() 交叉熵正则化，即帧平滑 《解读深... ...
分类：
其他好文 时间：
2017-09-09 23:13:18
阅读次数：
326
构建决策树需要解决的第一个问题就是：当前数据集上哪个特征在划分数据分类时起决定性作用。 下面的例子使用的是ID3算法解决上面的问题，对数据进行分类。 计算给定数据集的香农熵 下面是例子中用到的数据集，相对简单，但已经满足要求。 按照给定特征划分数据集 遍历整个数据集，循环计算香农熵，找到最好的特征划 ...
分类：
其他好文 时间：
2017-09-09 21:39:10
阅读次数：
161
