降维（二）----Laplacian Eigenmaps降维系列：降维（一）----说说主成分分析(PCA)的源头降维（二）----Laplacian Eigenmaps---------------------前一篇文章中介绍了主成分分析。PCA的降维原则是最小化投影损失，或者是最大化保留投影后数...
分类：
其他好文 时间：
2015-06-19 21:29:35
阅读次数：
198
栈式自动编码器(Stacked AutoEncoder)起源：自动编码器单自动编码器，充其量也就是个强化补丁版PCA，只用一次好不过瘾。于是Bengio等人在2007年的 Greedy Layer-Wise Training of Deep Networks中，仿照stacked RBM构成的DBN...
分类：
Web程序 时间：
2015-06-19 20:15:59
阅读次数：
360
降噪自动编码器（Denoising Autoencoder)起源：PCA、特征提取....随着一些奇怪的高维数据出现，比如图像、语音，传统的统计学-机器学习方法遇到了前所未有的挑战。数据维度过高，数据单调,噪声分布广，传统方法的“数值游戏”很难奏效。数据挖掘？已然挖不出有用的东西。为了解决高维度的问...
分类：
Web程序 时间：
2015-06-19 20:08:51
阅读次数：
11767
PRML学习笔记：特征值分解、奇异值分解与 PCA
分类：
其他好文 时间：
2015-06-17 13:08:27
阅读次数：
217
Reference：http://licstar.net/archives/328 （比较综合的词向量研究现状分析）起源：One-hot Representation、PCA序：为什么NLP在模式识别里面比较难？Licstar的文章开头这么提到：语言（词、句子、篇章等）属于人类认知过程中产生的高层认...
分类：
其他好文 时间：
2015-06-12 22:01:12
阅读次数：
21115
UFLDL上的ICA为什么一定要做PCA whitenAndrew Ng先生的UFLDL教程真可谓deep learning入门的首选课程。在两年前我看教程里讲ICA部分的（链接）时候，里面提到使用教程所述的ICA模型时，输入数据必须经过PCA白化操作，页面上有个TODO问为什么要这样做。以当年的我...
分类：
其他好文 时间：
2015-06-11 21:10:02
阅读次数：
186
很多时候会出现把一个N*M的矩阵做pca（对M降维）之后却得到一个M*(M-1)矩阵这样的结果。之前都是数学推导得到这个结论，但是，今天看到一个很形象的解释：Consider what PCA does. Put simply, PCA (as most typically run) creates...
分类：
其他好文 时间：
2015-06-10 23:47:31
阅读次数：
207
首先将本节主要内容记录下来，然后给出课后习题的答案。
笔记：
1：首先我想推导用SVD求解PCA的合理性。
PCA原理：假设样本数据X∈Rm×n，其中m是样本数量，n是样本的维数。PCA降维的目的就是为了使将数据样本由原来的n维降低到k维(k＜n)。方法是找数据随之变化的主轴，在Andrew
Ng的网易公开课上我们知道主方向就是X的协方差所对应的最大特征值所对应的特征向量的...
分类：
其他好文 时间：
2015-06-09 11:56:02
阅读次数：
200
四大机器学习降维算法：PCA、LDA、LLE、Laplacian Eigenmaps机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。 y是数据点映射后的低维...
分类：
编程语言 时间：
2015-05-30 20:59:04
阅读次数：
253
