Coursera公开课机器学习：Linear Algebra Review（选修）

时间：2014-06-27 18:45:29 阅读：161 评论：0 收藏：0 [点我收藏+]

这节主要是回顾了下线性代数的一些简单知识。

矩阵与向量

矩阵

由$m\times n$个数$a _{ij}(i=1,2,...,m;j=1,2,...,n)$排成的$m$行$n$列的数表，称为$m$行$n$列的矩阵，简称$m\times n$矩阵，记作：

$$ \matrix{A}= \begin{bmatrix} a _{11} & a _{12} & \cdots & a _{1n} \cr a _{21} & a _{22} & \cdots & a _{2n} \cr \vdots & \vdots & & \vdots \cr a _{m1} & a _{m2} & \cdots & a _{mn} \cr \end{bmatrix} $$

简记为：$\matrix{A}=\matrix{A} _{m \times n}=(a _{ij}) _{m \times n}$

$\matrix{A} _{ij}=$"$i,j$ entry" in the $i ^{th}$ row,$j ^{th}$ column.

向量

所谓$n$维向量，就是$n \times 1$的矩阵：

$$ \matrix{x}= \begin{bmatrix} x _1 \cr x _2 \cr \vdots \cr x _n \cr \end{bmatrix} $$

向量两种起始方式：

$$ \matrix{y}= \begin{bmatrix} y _1 \cr y _2 \cr \vdots \cr y _n \cr \end{bmatrix} \matrix{y}= \begin{bmatrix} y _0 \cr y _1 \cr \vdots \cr y _{n-1} \cr \end{bmatrix} $$

搞数学的可能更喜欢第一类表述，程序员可能更喜欢第二类表述。

矩阵基本运算

加减

$$ \matrix{A \pm B}= \begin{bmatrix} a _{11} \pm b _{11} & a _{12} \pm b _{12} & \cdots & a _{1n} \pm b _{1n} \cr a _{21} \pm b _{21} & a _{22} \pm b _{22} & \cdots & a _{2n} \pm b _{2n} \cr \vdots & \vdots & & \vdots \cr a _{m1} \pm b _{m1} & a _{m2} \pm b _{m2} & \cdots & a _{mn} \pm b _{mn} \cr \end{bmatrix} $$

数与矩阵相乘

$$ \lambda \times \matrix{A}=\matrix{A} \times \lambda= \begin{bmatrix} \lambda \times a _{11} & \lambda \times a _{12} & \cdots & \lambda \times a _{1n} \cr \lambda \times a _{21} & \lambda \times a _{22} & \cdots & \lambda \times a _{2n} \cr \vdots & \vdots & & \vdots \cr \lambda \times a _{m1} & \lambda \times a _{m2} & \cdots & \lambda \times a _{mn} \cr \end{bmatrix} $$

除法的话，无非就是乘以$\frac{1}{\lambda}$，都是一样的。

矩阵向量乘法

$$ \begin{bmatrix} a _{11} & a _{12} & \cdots & a _{1n} \cr a _{21} & a _{22} & \cdots & a _{2n} \cr \vdots & \vdots & & \vdots \cr a _{m1} & a _{m2} & \cdots & a _{mn} \cr \end{bmatrix} \times \begin{bmatrix} x _1 \cr x _2 \cr \vdots \cr x _n \cr \end{bmatrix} = \begin{bmatrix} a _{11} \times x _1 + a _{12} \times x _2 + \cdots + a _{1n} \times x _n \cr a _{21} \times x _1 + a _{22} \times x _2 + \cdots + a _{2n} \times x _n \cr \vdots \cr a _{m1} \times x _1 + a _{m2} \times x _2 + \cdots + a _{mn} \times x _n \cr \end{bmatrix} $$

简记为：$\matrix{A} \times \matrix{x} = \matrix{y}$

其实仔细看，就是方程组的另一种表达方式罢了：

$$ \begin{cases} a _{11} \times x _1 + a _{12} \times x _2 + \cdots + a _{1n} \times x _n = y _1 \cr a _{21} \times x _1 + a _{22} \times x _2 + \cdots + a _{2n} \times x _n = y _2 \cr \vdots \cr a _{m1} \times x _1 + a _{m2} \times x _2 + \cdots + a _{mn} \times x _n = y _m \cr \end{cases} $$

矩阵相乘

$\matrix{A} \times \matrix{B}$

$\matrix{B}$其实可以看作是： $$ \begin{bmatrix} \begin{bmatrix} x _{11} \cr x _{21} \cr \vdots \cr x _{n1} \cr \end{bmatrix} & \begin{bmatrix} x _{12} \cr x _{22} \cr \vdots \cr x _{n2} \cr \end{bmatrix} & \cdots & \begin{bmatrix} x _{1k} \cr x _{2k} \cr \vdots \cr x _{nk} \cr \end{bmatrix} \end{bmatrix} = \begin{bmatrix} \matrix{x _1} & \matrix{x _2} & \cdots & \matrix{x _k} \end{bmatrix} $$

$$ \matrix{A} \times \matrix{B} = \begin{bmatrix} A \times \matrix{x _1} & A \times \matrix{x _2} & \cdots & A \times \matrix{x _k} \end{bmatrix} $$

$\matrix{A _{m \times n}} \times \matrix{B _{n \times k}} = \matrix{C _{m \times k}}$

主要关注点是下标，不匹配的话不能相乘。

矩阵乘法运算规律

$(\matrix{A} \times \matrix{B}) \times \matrix{C} = \matrix{A} \times (\matrix{B} \times \matrix{C})$

$\matrix{A} \times (\matrix{B} + \matrix{C}) = \matrix{A} \times \matrix{B} + \matrix{A} \times \matrix{C}$

$(\matrix{B} + \matrix{C}) \times \matrix{A} = \matrix{B} \times \matrix{A} + \matrix{C} \times \matrix{A}$

一般情况下，乘法不满足交换律：

$\matrix{A} \times \matrix{B} \not = \matrix{B} \times \matrix{A}$

特殊矩阵

$$ \matrix{I}=\matrix{I _{n \times n}}= \begin{bmatrix} 1 & 0 & \cdots & 0 & 0 \cr 0 & 1 & \cdots & 0 & 0 \cr \vdots & \vdots & & \vdots & \vdots \cr 0 & 0 & \cdots & 1 & 0 \cr 0 & 0 & \cdots & 0 & 1 \cr \end{bmatrix} $$

对任何矩阵$\matrix{A}$：

$\matrix{A} \times \matrix{I}=\matrix{I} \times \matrix{A}=\matrix{A}$