SVD

奇异值分解

奇异值分解，（singular value decomposition, SVD），将矩阵分解为奇异向量和奇异值。

$$A = UDV^T$$

$A$：$m \times n$，是任意矩阵，可以不是方阵 $U$：$m \times m$，矩阵中的列向量称为左奇异向量，也是$AA^T$的特征向量 $V$：$n \times n$，矩阵中的列向量称为右奇异向量，也是$A^TA$的特征向量 $D$：$m \times n$，由$\lambda$组成的对角矩阵，$\lambda$是A的奇异值，是$\sqrt {AA^T\text{的特征值}}$，是$\sqrt {A^TA\text{的特征值}}$

奇异值分解的应用 ： 非方阵求逆

Moore-Penrose伪逆 矩阵A的逆：

$$A^+ = VD^+U^T$$

V、D、U是A奇异分解后得到的矩阵。 $D^+$是D中的非零元素取倒数后再转置得到。

非方阵求逆的应用

求解Ax=y， 解得$x = A^Ty$ 如果方程有多个解，x是多个解中$||x||_2$最小的 如果方程没有解，x使得$||Ax-y||_2$最小