本文所用符号： $D$：所有样本，如《西瓜书》中所有的西瓜样本 $a$：用来划分样本的类别属性，a有V个可取值{$a^1,a^2 \dots , a^V$}，如若用a表示“色泽”，则a的取值是{$a^1=青绿,a^2=乌黑,a^3=浅白$}，此时$V=3$ $D^v$：用a对样本D进行划分后属于$a ...
分类：
其他好文 时间：
2018-08-18 15:31:26
阅读次数：
306
一、信息熵 百科：信息熵 衡量信息的不确定度； 1）理论提出 信息论之父 C. E. Shannon 指出：任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。 信息论之父 C. E. Shannon 指出：任何信息都存在冗余，冗余大小与信息中每个符号（数字 ...
分类：
其他好文 时间：
2018-08-14 22:54:03
阅读次数：
1254
一.交叉熵损失函数形式 现在给出三种交叉熵损失函数的形式，来思考下分别表示的的什么含义。 --式子1 --式子2 --式子3 解释下符号，m为样本的个数，C为类别个数。上面三个式子都可以作为神经网络的损失函数作为训练，那么区别是什么？ ■1》式子1，用于那些类别之间互斥(如：一张图片中只能保护猫或者 ...
分类：
其他好文 时间：
2018-08-11 20:04:14
阅读次数：
308
熵值法是一种客观赋权法，是指根据各项指标观测值所提供的信息的大小来确定指标权重。在信息论中，熵是对不确定性信息的一种度量。信息量越大，不确定性就越小，熵也就越小；信息量越小，不确定性就越大，熵也越大。 熵大 越不确定 信息量小 影响小 权重小 熵小 越确定 信息量大 影响大 权重大 熵大 越不确定 ...
分类：
其他好文 时间：
2018-08-05 22:29:06
阅读次数：
1628
1、认识决策树： 决策树思想非常朴素，程序设计中的条件就是if-then结构，最早的决策树就是利用这类结构分割数据的一中分类学习方法。 2、信息论基础-银行贷款分析 香农在1948年提出信息论，单位为比特； 信息熵：可以理解为代价；信息和消除不确定性是相联系的； 信息增益：当得知特征x的信息而使得类 ...
分类：
编程语言 时间：
2018-07-29 22:21:39
阅读次数：
553
数据挖掘所挖掘的结果是面向全部的数据，而机器学习则是预测测试样本的检测结果。 1.挖掘知识类型：1.特征化2.数据区分3.关联分析4.分类5.聚类、孤立点分析、演变分析 2.互信息值：是信息论中一个有用的信息度量。它可以看出是一个信息量里包含另一个随机变量的信息量。 互信息值越大，就代表2个属性关联 ...
分类：
其他好文 时间：
2018-07-26 18:36:23
阅读次数：
546
引言 古人云：“活到老，学到老。”互联网算是最辛苦的行业之一，“加班”对工程师来说已是“家常便饭”，同时互联网技术又日新月异，很多工程师都疲于应付，叫苦不堪。以至于长期以来流传一个很广的误解：35岁是程序员工作的终点。 如何在繁忙的工作中做好技术积累，构建个人核心竞争力，相信是很多工程师同行都在思考 ...
分类：
其他好文 时间：
2018-07-08 19:07:16
阅读次数：
212
下载地址：网盘下载 编辑推荐 《信息论基础》（原书第2版）适合作为电子工程、统计学以及电信方面的高年级本科生和研究生的信息论基础教程教材，也可供研究人员和专业人士参考。 编辑推荐 编辑推荐 《信息论基础》（原书第2版）适合作为电子工程、统计学以及电信方面的高年级本科生和研究生的信息论基础教程教材，也 ...
分类：
其他好文 时间：
2018-07-07 10:42:54
阅读次数：
1120
区块链是作为比特币底层技术与基础架构而诞生的。比特币是一个可以点对点进行支付、不依赖任何第三方的电子现金系统。借助密码学技术，比特币的发明者中本聪构造了一个极为巧妙的经济系统，解决了在去中心化的结构 下，如何创造一个可信的价值传输系统这个难题。 香农作为信息论的开创者，解决了“如何用数学方法定义信息 ...
分类：
其他好文 时间：
2018-05-10 13:16:23
阅读次数：
139
参考： 模式识别与机器学习（一）：概率论、决策论、信息论 了解一些AI方面的前沿知识！！！ 待续~ ...
分类：
其他好文 时间：
2018-04-07 11:17:12
阅读次数：
138
