信息熵香农与1948年提出的信息论以其中的信息熵这一基本概念为基础，用来表征人们对客观事件的不确定性的度量，与物理学中的熵表征物质的混乱程度有相似之处。
当处理不确定事件时，最常用的方式就是用概率方式描述，一般假定不确定的事件A每种可能的状态都有一个概率与之对应：P(Ai)s.t.∑i=1nP(Ai)=1P(Ai)≥0P(A_i)\\ s.t.\sum_{i=1}^nP(A_i)=1\\P(A_i...
分类：
其他好文 时间：
2015-05-07 16:41:45
阅读次数：
167
12.4 置换检验点评除coin和lmPerm包外，R还提供了其他可做置换检验的包。perm包能实现coin包中的部分功能，因此可作为coin包所得结果的验证。corrperm包提供了有重复测量的相关性的置换检验。logregperm包提供了Logistic回归的置换检验。另外一个非常重要的包是gl...
分类：
其他好文 时间：
2015-05-05 01:14:42
阅读次数：
414
回归概述（个人理解的总结）回归是数学中的一种模拟离散数据点的数学模型的方法，拟合一个连续的函数从而可以对未知的离散数据点进行分类或预测。这种方法有一个统一的形式，给定nn维特征的数据集合，对任意一个数据点Xi={x(1)i，x(2)i，...,x(n)i}X_i=\{x_i^{(1)}，x_i^{(2)}，...,x_i^{(n)}\}的每个维度都有一个回归系数wiw_i与之对应，整个模型就存在一个...
分类：
其他好文 时间：
2015-04-30 20:11:04
阅读次数：
121
引言 随机森林在机器学习实战中没有讲到，我是从伯克利大学的一个叫breiman的主页中看到相关的资料，这个breiman好像是随机森林算法的提出者，网址如下 http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm 随机森林算法简...
分类：
其他好文 时间：
2015-04-28 20:54:09
阅读次数：
260
引言 k-Means很早就接触了，大四做本科毕设的时候就用的k-Means，最近从新翻到机器学习实战书中讲到，再结合这几年看到的相关的文章，谈一谈KMeans 算法流程 首先数据集中的每个样本向量可看作高维空间中的一个点 那么我们开始的时候可以从数据集中任意选取K个数据点作为初始类中心，也可以创建符...
分类：
其他好文 时间：
2015-04-27 23:20:35
阅读次数：
217
Logistic回归的理论内容上篇文章已经讲述过，在求解参数时可以用牛顿迭代，可以发现这种方法貌似太复杂，今天我们介绍另一种方法，叫梯度下降。当然求最小值就是梯度下降，而求最大值相对就是梯度上升。由于，如果，那么得到现在我们要找一组，使得所有的最接近，设现在我们要找一组，使得最小。这就是今天要介绍的...
分类：
编程语言 时间：
2015-04-25 11:56:04
阅读次数：
253
假设现在有一些数据点，我们用一条直线对这些点进行拟合，这个拟合过程称作回归。利用logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。基于Logistic回归和Sigmoid函数的分类我们想要的函数应该是，能接受所有的输入然后预测出类别。在两个分类的情况下，上...
分类：
其他好文 时间：
2015-04-20 16:18:45
阅读次数：
145
什么叫做回归呢？举个例子，我们现在有一些数据点，然后我们打算用一条直线来对这些点进行拟合（该曲线称为最佳拟合曲线），这个拟合过程就被称为回归。利用Logistic回归进行分类的主要思想是：
根据现有数据对分类边界线建立回归公式，以此进行分类。
这里的”回归“一词源于最佳拟合，表示要找到最佳拟合参数集。训练分类器时的嘴阀就是寻找最佳拟合曲线，使用的是最优化算法。基于Logistic回归和Sigmo...
分类：
其他好文 时间：
2015-04-18 17:48:11
阅读次数：
171
K-means算法属于无监督学习聚类算法，其计算步骤还是挺简单的，思想也挺容易理解，而且还可以在思想中体会到EM算法的思想。K-means 算法的优缺点：
1.优点：容易实现
2.缺点：可能收敛到局部最小值，在大规模数据集上收敛较慢
使用数据类型：数值型数据以往的回归算法、朴素贝叶斯、SVM等都是有类别标签y的，因此属于有监督学习，而K-means聚类算法只有x，没有y在聚类问题中，我们的...
分类：
编程语言 时间：
2015-04-17 13:54:08
阅读次数：
162
前面我们在是实现K-means算法的时候，提到了它本身存在的缺陷：
1.可能收敛到局部最小值
2.在大规模数据集上收敛较慢
对于上一篇博文最后说的，当陷入局部最小值的时候，处理方法就是多运行几次K-means算法，然后选择畸变函数J较小的作为最佳聚类结果。这样的说法显然不能让我们接受，我们追求的应该是一次就能给出接近最优的聚类结果。其实K-means的缺点的根本原因就是：对K个质心的初始选...
分类：
编程语言 时间：
2015-04-17 13:52:12
阅读次数：
357
