码迷,mamicode.com
首页 > 其他好文 > 详细

主成分分析(PCA)与线性判别分析(LDA)

时间:2019-11-24 15:58:56      阅读:102      评论:0      收藏:0      [点我收藏+]

标签:出发点   无法   应用   mit   优点   rac   区分   识别   isp   

主成分分析

  • 线性、非监督、全局的降维算法

PCA最大方差理论

  • 出发点:在信号处理领域,信号具有较大方差,噪声具有较小方差

  • 目标:最大化投影方差,让数据在主投影方向上方差最大

  • PCA的求解方法:

    • 对样本数据进行中心化处理

    • 求样本协方差矩阵

    • 对协方差矩阵进行特征分解,将特征值从大到小排列

    • 取特征值前d大对应的特征向量\(w_1, w_2, \cdots, w_d\),通过以下变换将n维样本映射到d维

      \[x^{'}_i = \begin{bmatrix} w_1^{T}x_i \\ w_2^Tx_i \\ \cdots \\ w_d^Tx_i \end{bmatrix}\]

      新的\(x^{'}_i\) 的第d维就是\(x_i\)在第d个主成分\(w_d\)方向上的投影

  • 局限性:

    • 线性降维
    • 通过核映射对PCA进行扩展得到核主成分分析(KPCA)

PCA最小平方误差理论

  • 出发目标:找到一个d维超平面,使得数据点到这个超平面的距离平方和最小

  • 优化目标:

    \[\begin{aligned} \mathop{\arg\min}_{w_1, \dots, w_d} \sum \limits_{k=1}^{n}||x_k - \tilde{x}_k||_2 \\ s.t. \quad w_i^Tw_j = \begin{cases} 1, i = j \\ 0, i \neq j \end{cases} \end{aligned}\]

    \(\tilde{x}_k\)是投影向量

线性判别分析

二分类

  • 监督降维方法(LDA)

  • PCA算法没有考虑到数据标签,可能会导致映射后无法进行分类

  • 中心思想:最大化类间距离和最小化类内距离

  • 对于二分类

    • 类间散度矩阵:\(S_B = (\mu_1 - \mu_2)(\mu_1 - \mu_2)^T\)

    • 类内散度矩阵:\(S_w = \sum \limits_{x \in C_i}(x - \mu_i)(x - \mu_i)^T\)

    • 优化目标:

      \[J(w) = \frac{w^T S_B w}{w^T S_w w} = \lambda\]

    • \(S_w^{-1}S_Bw = \lambda w\) \(J(w)\)对应了矩阵\(S_w^{-1}S_B\)最大的特征值,而投影方向就是这个特征值对应的特征向量

  • 对数据分布做了强假设:每个类数据都是高斯分布、各个类的协方差相等

  • 优点:线性模型对噪声的鲁棒性比较好

  • 缺点:模型简单也有假设,可以通过引入核函数处理分布较复杂的数据

具有多个类别标签的高维数据LDA方法

  • 计算数据集每个类别的均值\(\mu_j\) 和总体均值\(\mu\)

  • 计算类内散度矩阵\(S_w\) ,全局散度矩阵\(S_t\) ,并得到类间散度矩阵\(S_B = S_t - S_w\)

  • \(S_w^{-1}S_B\)矩阵进行特征值分解,将特征值从大到小排列

  • 取特征值前d大对应的特征向量\(w_1, w_2, \cdots, w_d\),通过以下变换将n维样本映射到d维

    \[x^{'}_i = \begin{bmatrix} w_1^{T}x_i \\ w_2^Tx_i \\ \cdots \\ w_d^Tx_i \end{bmatrix}\]

    新的\(x^{'}_i\) 的第d维就是\(x_i\)在第d个主成分\(w_d\)方向上的投影

PCA和LDA的区别与联系

  • 联系:求解过程很类似

  • 区别:

    • 数学原理
    • 优化目标
    • 应用场景:对无监督任务使用PCA降维,对有监督则使用LDA。
      • 从音频中提取语音信号,用PCA过滤掉噪声
      • 声纹识别,用LDA使每个人的声音信号具有区分性

主成分分析(PCA)与线性判别分析(LDA)

标签:出发点   无法   应用   mit   优点   rac   区分   识别   isp   

原文地址:https://www.cnblogs.com/weilonghu/p/11922361.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!