特征选取是机器学习领域非常重要的一个方向。主要有两个功能：（1）减少特征数量、降维，使模型泛化能力更强，减少过拟合（2）增强度特征和特征值之间的理解几种常用的特征选取方法一、去掉取值变化小的特征考察某个特征下，样本的方差值，可以人为给定一个阈值，抛开那些小于这个阈值的特征。二、单变量特征选择单变量特...
分类：
编程语言 时间：
2015-06-11 18:49:59
阅读次数：
256
很多时候会出现把一个N*M的矩阵做pca（对M降维）之后却得到一个M*(M-1)矩阵这样的结果。之前都是数学推导得到这个结论，但是，今天看到一个很形象的解释：Consider what PCA does. Put simply, PCA (as most typically run) creates...
分类：
其他好文 时间：
2015-06-10 23:47:31
阅读次数：
207
绘制了一张导图,有不对的地方欢迎指正:下载地址机器学习中,特征是很关键的.其中包括,特征的提取和特征的选择.他们是降维的两种方法,但又有所不同:特征抽取（Feature Extraction）:Creatting a subset of new features by combinations of...
分类：
系统相关 时间：
2015-06-09 13:31:22
阅读次数：
422
首先将本节主要内容记录下来，然后给出课后习题的答案。
笔记：
1：首先我想推导用SVD求解PCA的合理性。
PCA原理：假设样本数据X∈Rm×n，其中m是样本数量，n是样本的维数。PCA降维的目的就是为了使将数据样本由原来的n维降低到k维(k＜n)。方法是找数据随之变化的主轴，在Andrew
Ng的网易公开课上我们知道主方向就是X的协方差所对应的最大特征值所对应的特征向量的...
分类：
其他好文 时间：
2015-06-09 11:56:02
阅读次数：
200
// 降维$(document).ready(function(){ var shapes = [ [ [[0, 4], [0, 5], [1, 4], [1, 5]] ], [ [[0, 3], [0, ...
分类：
编程语言 时间：
2015-06-09 11:42:40
阅读次数：
164
上一讲说到，各个特征（各个分量）对分类来说，其重要性当然是不同的。舍去不重要的分量，这就是降维。聚类变换觉得：重要的分量就是能让变换后类内距离小的分量。类内距离小，意味着抱团抱得紧。可是，抱团抱得紧，真的就一定easy分类么？如图1所看到的，依据聚类变换的原则，我们要留下方差小的分量，把方差大（波动...
分类：
其他好文 时间：
2015-06-03 19:09:49
阅读次数：
173
四大机器学习降维算法：PCA、LDA、LLE、Laplacian Eigenmaps机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。 y是数据点映射后的低维...
分类：
编程语言 时间：
2015-05-30 20:59:04
阅读次数：
253
一.问题来源 来源于换关键字，从LSH转换为hash检索，这要感谢李某。二.解析 笔者认为关键思想是数据降维后使用矩阵旋转优化，其他和LSH一样的。2.1 PCA降维 先对原始空间的数据集X∈Rn×d用PCA进行降维处理，设经过PCA降维后的数据集为V∈Rn×c，该问题就可以转化为将该数据集中...
分类：
其他好文 时间：
2015-05-27 11:36:09
阅读次数：
118
1.流形学习的概念流形学习方法(Manifold Learning)，简称流形学习，自2000年在著名的科学杂志《Science》被首次提出以来，已成为信息科学领域的研究热点。在理论和应用上，流形学习方法都具有重要的研究意义。假设数据是均匀采样于一个高维欧氏空间中的低维流形，流形学习就是从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形，并求出相应的嵌入映射，以实现维数约简或者数据可视化。...
分类：
其他好文 时间：
2015-05-22 22:39:15
阅读次数：
5815
介绍在这篇文章中，我们讨论主成分分析（PCA）是如何工作的，以及它如何被用来作为分类问题的降维技术。在这篇文章的末尾，出于证明的目的提供了Matlab源代码。在前面的文章中，我们讨论了所谓的维数诅咒，表明在高维空间分类器倾向于过度拟合训练数据。接下来产生的问题是哪些特征应该保留，哪些应该从高维特征向量中删除。如果此特征向量的所有特征是统计独立的，可以简单地从这个向量中消除最小的判别特征。通过各种贪婪...
分类：
其他好文 时间：
2015-05-22 17:07:33
阅读次数：
2951
