lz这篇文章主要讲：熵, 联合熵(joint entropy),条件熵(conditional entropy),相对熵(relative entropy,KL 距离),交叉熵(cross entropy),困惑度(perplexity),互信息(mutual information)。熵 (信息论)/信息熵在信息论中，熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。...
分类：
其他好文 时间：
2016-06-21 07:51:15
阅读次数：
568
要求：对于各定的信源计算其中各个字母以及空格出现的次数，概率，信源熵！首先在大脑里构思编辑过程要用到哪些具体的函数功能等等，然后自己现在纸上画一画，好的根据求信源熵的公式E（X）=-p(xi)log2p(xi)(i=1,2,..n)可以得到如下编码过程！<?php//所给定字母$String=‘qwe..
分类：
Web程序 时间：
2016-06-12 00:31:15
阅读次数：
328
《机器学习实战》第三章 决策树 #1 trees.py 计算给定数据集的香农熵 #2 trees.py 划分数据集 待划分的数据集、划分数据集的待征、需要返回的特征的值 #3 trees.py 选择最好的数据集划分方式 #4 trees.py 创建树的函数代码 两个参数：数据集、标签列表 ...
分类：
编程语言 时间：
2016-06-10 14:58:26
阅读次数：
338
最小二乘法Least Square Method，做为分类回归算法的基础，有着悠久的历史（由马里·勒让德于1806年提出）。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
那什么是最小二乘法呢？别着急，我们先从...
分类：
编程语言 时间：
2016-05-27 12:19:23
阅读次数：
398
返回目录
上一篇：k-近邻算法
1. 简单理论介绍
决策树的类型有很多，有CART、ID3和C4.5等，其中CART是基于基尼不纯度(Gini)的，这里不做详解，而ID3和C4.5都是基于信息熵的，它们两个得到的结果都是一样的，本次定义主要针对ID3算法。下面我们介绍信息熵的定义。
1.1 熵
设D为用类别对训练集进行的划分，则D的熵（entropy）表示为：...
分类：
其他好文 时间：
2016-05-16 09:33:49
阅读次数：
284
七月算法--12月机器学习在线班-第七次课笔记—最大熵 七月算法（julyedu.com）12月机器学习在线班学习笔记 http://www.julyedu.com ...
分类：
编程语言 时间：
2016-05-13 21:54:47
阅读次数：
500
七月算法--12月机器学习在线班-第十一次课笔记—随机森林和提升 七月算法（julyedu.com）12月机器学习在线班学习笔记http://www.julyedu.com 随机森林：多棵树，对当前节点做划分是最重要的 1，决策树 决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造... ...
分类：
编程语言 时间：
2016-05-13 20:35:49
阅读次数：
237
七月算法--12月机器学习在线班-第十一次课笔记—随机森林和提升 七月算法（julyedu.com）12月机器学习在线班学习笔记http://www.julyedu.com 随机森林：多棵树，对当前节点做划分是最重要的 1，决策树 决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造... ...
分类：
编程语言 时间：
2016-05-13 14:35:37
阅读次数：
142
<span style="font-family:宋体;mso-ascii-font-family:Cambria;mso-ascii-theme-font:minor-latin;
mso-fareast-font-family:宋体;mso-fareast-theme-font:minor-fareast;mso-hansi-font-family:
Cambria;mso-hansi-the...
分类：
其他好文 时间：
2016-05-13 02:30:21
阅读次数：
269
