奇异值分解初探

奇异值分解是现代线性代数的核心?

知识回顾

矩阵的四个基本空间, 不了解下吗? 中, 介绍了实矩阵的四个基本空间的正交关系

$$ \begin{cases} C(A^{\mathsf T}) = N(A)^{\perp} \\[3pt] C(A) = N(A^{\mathsf T})^{\perp} \end{cases} $$

  • 行空间是零空间的正交补;
  • 列空间是左零空间的正交补.
正交关系 ◎ 正交关系

在四个基本空间中, 通过 初等行变换 得到了它们的普通基底, 这一次首先讨论其正交基底.


正交基底

假设有 $m\times n$ 阶实矩阵 $A$

$$ {\rm rank}(A) = r \leq \max\{m, n \} $$

考虑列向量 Gram 矩阵 $A^{\mathsf T}A$, 由于其是对称矩阵, 所以可以正交单位对角化

$$ A^{\mathsf T}A = V^{\mathsf T}\begin{bmatrix} \sigma_1^2 & 0 & \cdots & 0 \\
0 & \sigma_2^2 & \cdots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \vdots & \sigma_n^2 \end{bmatrix}V $$

不妨设 $\sigma_i \geq 0$, $V=[v_1, v_2, \cdots, v_n]$

$$ \begin{equation} A^{\mathsf T}A v_i = \sigma_i^2 v_i \quad i = 1, 2, \cdots, n \label{eq:eq1} \end{equation} $$

其中, $\sigma_i^2$ 是列向量 Gram 矩阵 $A^{\mathsf T}A$ 的特征值, $v_i$ 是 $A^{\mathsf T}A$ 对应于 $\sigma_i^2$ 的单位特征向量, 即 $V$ 的列向量是 $\mathbb{R}^n$ 的一组标准正交基, 因此

$$ \lVert Av_i \rVert = v_i^{\mathsf T} A^{\mathsf T} A v_i = \sigma_i^2 v_i^{\mathsf T} v_i = \sigma_i^2 $$


又因为 ${\rm rank}(A^{\mathsf T}A) = {\rm rank}(A) = r$, 不妨设

$$\sigma_1 \geq \sigma_2 \geq \cdots \sigma_r > 0$$

并且,

$$\sigma_{r+1} = \cdots = \sigma_n = 0 $$

所以,

$$ \lVert Av_i \rVert = \sigma_i^2 = 0 \quad i = r+1, \cdots , n $$

即 $Av_i = 0, i = r+1, \cdots , n$

$$\{ v_{r+1}, \cdots, v_n \} \subset N(A) = N(A^{\mathsf T}A)$$

又因为 $\dim N(A) = n-r$, 所以 $\{ v_{r+1}, \cdots, v_n \}$ 是 $N(A)$ 的一组标准正交基,

又因为$C(A^{\mathsf T}) = N(A)^{\perp}$, 所以 $\{ v_{1}, \cdots, v_r \}$ 是 $C(A^{\mathsf T})$ 的一组标准正交基.


对式(\ref{eq:eq1})左右同乘 $A$

$$ AA^{\mathsf T}A v_i = \sigma_i^2 Av_i \quad i = 1, 2, \cdots, n $$

其中, $\sigma_i^2, i=1, \cdots, r$ 是行向量Gram 矩阵 $AA^{\mathsf T}$ 的非零特征值, $Av_i$ 是 $AA^{\mathsf T}$ 相应于 $\sigma_i$ 的特征向量.

令 $u_i = \frac{Av_i}{\sigma_i}, i = 1, \cdots, r$, 则

$$ \begin{aligned} u_i^{\mathsf T}u_j & = \left(\frac{Av_i}{\sigma_i} \right)^{\mathsf T} \frac{Av_j}{\sigma_j} = \frac{ v_i^{\mathsf T} A^{\mathsf T} A v_j }{\sigma_i \sigma_j} \\[3pt] & = \frac{ \sigma_i \sigma_j v_i^{\mathsf T} v_j }{\sigma_i \sigma_j} = \begin{cases} 1 \quad i=j \\[3pt] 0 \quad i \neq j \end{cases} \end{aligned} $$

所以, $\{ u_1, \cdots u_r \}$ 是单位正交向量组, 继而是 $C(A)$ 的一组标准正交基.

接下来, 扩充单位正交向量 $\{ u_{r+1}, \cdots u_m \}$, 使得 $\{ u_1, \cdots u_r, u_{r+1}, \cdots, u_m \}$ 成为 $\mathbb{R}^m$ 的标准正交基. 因为 $C(A) = N(A^{\mathsf T})^{\perp}$, 所以, $\{ u_{r+1}, \cdots u_m \}$ 是 $N(A^{\mathsf T})$ 的一组标准正交基.


综上, 理论上得到了实矩阵 $A$ 的四个基本空间各自的正交基.

  • $\{ v_{1}, \cdots, v_r \}$ 是行空间 $C(A^{\mathsf T})$ 的正交基底;
  • $\{ v_{r+1}, \cdots, v_n \}$ 是零空间 $N(A)$ 的正交基底;
  • $\{ u_1, \cdots u_r \}$ 是列空间 $C(A)$ 的正交基底;
  • $\{ u_{r+1}, \cdots u_m \}$ 是左零空间 $N(A^{\mathsf T})$ 的正交基底.
正交基底 ◎ 正交基底

以上运用了一些前几次证明过的结论:

  • 秩 $$ \begin{aligned} r &= \hbox{rank}A=\hbox{rank}A^{\mathsf T} \\[3pt] &=\hbox{rank}(A^{\mathsf T}A)=\hbox{rank}(AA^{\mathsf T}) \end{aligned} $$

  • 列空间 $$ \begin{cases} C(A^{\mathsf T})=C(A^{\mathsf T}A) \\[3pt] C(A)=C(AA^{\mathsf T}) \end{cases} $$

  • 零空间 $$ \begin{cases} N(A)=N(A^{\mathsf T}A) \\[3pt] N(A^{\mathsf T})=N(AA^{\mathsf T}) \end{cases} $$

以及一些结论:

  • $A^{\mathsf T}A$ 的特征值为 $\sigma_1^2,\cdots,\sigma_n^2$, 对应单位正交的特征向量 $v_1, \cdots, v_n$
  • $AA^{\mathsf T}$ 的特征值为 $\sigma_1^2,\cdots,\sigma_m^2$,对应单位正交的特征向量 $u_1, \cdots, u_m$
  • $Av_i=\sigma_iu_i, \sigma_i>0, i=1, \cdots, r$, 且 $Av_i=0, i=r+1, \cdots, n$
  • $A^{\mathsf T}u_j=\sigma_jv_j, \sigma_j>0, j=1, \cdots, r$, 且 $A^{\mathsf T}u_j=0, j=r+1, \cdots, m$

特征值分解简介

经过以上过程, 可以将任意 $m\times n$ 阶矩阵 $A$ 分解为 $\{ u_i\}, \{ v_i\}, \{\sigma_i\}$ 构成的三个矩阵的乘积

$$ A = U\Sigma V^{\mathsf T} $$

这就是奇异值分解(singular value decomposition), 简称 SVD.


更多奇异值分解的内容可以戳 这里

updatedupdated2020-04-042020-04-04
加载评论