斯坦福ML公开课笔记15
我们在上一篇笔记中讲到了PCA(主成分分析)。PCA是一种直接的降维方法，通过求解特征值与特征向量，并选取特征值较大的一些特征向量来达到降维的效果。
本文继续PCA的话题，包括PCA的一个应用——LSI(Latent Semantic Indexing, 隐含语义索引)和PCA的一个实现——SVD(Singular Value Decomposition,奇异值分解)，在SVD和LSI结束之后，关于PCA的内容就告一段落。视频的后半段开始讲无监督学习的一种——ICA(Indepen...
分类：
其他好文 时间：
2014-07-22 14:16:14
阅读次数：
314
1，引言
有关模式识别的一个主要问题是维数灾难。我们将在第7章看到维数很容易变得很大。
降低维数的必要性有几方面的原因。计算复杂度是一个方面。另一个有关分类器的泛化性能。
因此，本章的主要任务是：在尽可能保留特征的分类判别信息前提下，来选择重要的和维数少的特征量。这个过程被称作特征选择或者特征降维。
定量描述来讲，选择的特征应该使得类内距离减小，类间距离增大。...
分类：
其他好文 时间：
2014-07-20 10:14:09
阅读次数：
207
题意很简单，给定一个N*N的大矩阵，求其中数值和最大的子矩阵。一开始找不到怎么DP，没有最优子结构啊，后来聪哥给了我思路，化成一维，变成最大连续和即可。为了转化成一维，必须枚举子矩阵的宽度，通过预处理的suffix可以很快计算出每一列某一段的和，然后进行一维DP即可。。总复杂度为 O(N^3);#i...
分类：
其他好文 时间：
2014-07-16 16:59:44
阅读次数：
231
本篇主要介绍PCA(Principal Components Analysis, 主成分分析)，也是一种降维方法，但是该方法比较直接，只需计算特征向量就可以进行降维了。本篇对应的视频是公开课的第14个视频，该视频的前半部分为因子分析模型的EM求解，已写入笔记13，本篇只是后半部分的笔记，所以内容较少。...
分类：
其他好文 时间：
2014-07-09 12:45:57
阅读次数：
196
一、主成分分析原理 主成分分析试图在力保数据信息丢失最少的原则下，对多个变量进行最佳综合简化，即对高维变量空间进行降维处理。 假设原来有p个变量（或称指标），通常的做法是将原来p个变量（指标）作线性组合，以此新的综合变量（指标）代替原来p个指标进行统计分析。如果将选取的第一个线性组合，即第一...
分类：
其他好文 时间：
2014-06-28 18:05:32
阅读次数：
285
spark1.0.0下使用scala实现机器学习算法，包括分类、回归、聚类、协同过滤以及降维等。
分类：
其他好文 时间：
2014-06-18 15:25:15
阅读次数：
346
仅仅是本人个人理解，可以转载，不供参考。。。————————————————————————
Hinton大神在Science上发的文章《Reducing the Dimensionality ofData with Neural
Networks》已经明确说明了——深度学习的本质是一种降维！ 可以...
分类：
其他好文 时间：
2014-06-09 13:03:42
阅读次数：
503
1.矩阵分解假设一个矩阵Data是m行n列，SVD(奇异值分解)将Data分解为U,E,VT
三个矩阵：Datam*n=Um*kEk*kVTk*nE是一个对角矩阵，对角元素为奇异值，对应Data的奇异值，即Data*DataT特征值的平方2.选取特征下面确定选取哪几维特征实现降维，去除噪声和冗余信息...
分类：
其他好文 时间：
2014-05-31 18:45:57
阅读次数：
327
