ID3算法java实现 1 ID3算法概述 1.1 信息熵 熵是无序性（或不确定性）的度量指标。假如事件A的全概率划分是（A1,A2,...,An），每部分发生的概率是(p1,p2,...,pn)。那信息熵定义为： 通常以2为底数。所以信息熵的单位是bit。 1.2 决策树 决策树是以实例为基础的归 ...
分类：
编程语言 时间：
2017-05-06 19:56:39
阅读次数：
339
说明： 本文主要是关于http://neuralnetworksanddeeplearning.com/的相关笔记 问题一：神经元在错误的值上饱和导致学习速率的下降 解决： 1.输出层： 因使用二次代价函数时，学习在神经元犯了明显错误时却比学习快接近真实值时慢， 可以使用交叉熵代价函数 使得在神经元 ...
分类：
其他好文 时间：
2017-05-05 19:26:21
阅读次数：
120
http://www.ruanyifeng.com/blog/2013/04/entropy.html 1. 上周，我读完了《熵：一种新的世界观》。 总体上，我不推荐这本书。因为作者是两个经济学家，他们写了一本物理学的书！ 正如经济学家所擅长的，书中充满了夸大偏颇的描写，以及片面的和逻辑不严密的论证 ...
分类：
其他好文 时间：
2017-05-04 16:25:18
阅读次数：
259
http://www.cnblogs.com/ljy2013/p/6432269.html 作者：Noriko Oshima链接：https://www.zhihu.com/question/41252833/answer/108777563来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非 ...
分类：
其他好文 时间：
2017-05-02 22:19:59
阅读次数：
123
利用ID3算法来判断某天是否适合打网球。 （1）类别属性信息熵的计算由于未分区前，训练数据集中共有14个实例， 其中有9个实例属于yes类（适合打网球的），5个实例属于no类（不适合打网球）， 因此分区前类别属性的熵为： （2）非类别属性信息熵的计算，若先选择Outlook属性。 （3）Outloo ...
分类：
编程语言 时间：
2017-04-23 00:52:17
阅读次数：
572
生活中我们常常听到人们说“不要把鸡蛋放到一个篮子里”，这样能够减少风险。深究一下，这是为什么呢？事实上。这里边包括了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍，重点给出当中所涉及数学公式的理解和具 ...
分类：
其他好文 时间：
2017-04-22 12:40:08
阅读次数：
204
主要思想： 0、训练集格式：特征1,特征2,...特征n,类别 1、采用Python自带的数据结构字典递归的表示数据 2、ID3计算的信息增益是指类别的信息增益，因此每次都是计算类别的熵 3、ID3每次选择最优特征进行数据划分后都会消耗特征 4、当特征消耗到一定程度，可能会出现数据实例一样，但是类别 ...
分类：
编程语言 时间：
2017-04-20 20:51:47
阅读次数：
238
代码复杂程度可以用“熵”来表示，“熵”是物理学中的概念， 表示所有“无序”的总和， 尽管软件开发不受任何物理定律的约束，然而熵对软件开发的影响非常之大， 当代码中的无序增长到一定程度时，代码复杂到了程序员难以掌控， 软件就“腐烂”了。 追本溯源，导致软件腐烂的原因其实并不复杂， 跟我们现实世界中的方 ...
分类：
其他好文 时间：
2017-04-13 22:00:09
阅读次数：
243
作者：桂。 时间：2017-04-13 07:43:03 链接：http://www.cnblogs.com/xingshansi/p/6702188.html 声明：欢迎被转载，不过记得注明出处哦~ 前言 前面分析了非负矩阵分解（NMF）的应用，总觉得NMF与谱聚类（Spectral cluste ...
分类：
其他好文 时间：
2017-04-13 20:20:25
阅读次数：
356
最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回归，支持向量 ...
分类：
其他好文 时间：
2017-04-05 22:09:53
阅读次数：
298
