1. QR分解(UR分解):
这是最基础的分解.
定理1: 设满秩方程A∈R(n x n), 则存在正交矩阵Q及正线(主对角线上元为正)上三角阵R,满足 A = QR, 且分解唯一.
构造性证明: 将A的n个列向量正交化(斯密特正交化)为y1,y2…yn, 然后标准化为z1,z2…zn, 则Q即为{z1,z2…zn}, R为: rii = ||yi|| , rij = (xj, zi) (i≥j).
有效性代入计算即可证明. 唯一性证明思路: 设A=Q1R1 = Q2R2, 右乘R1的逆, 然后利用Q1为正交矩阵证明R1=R2从而Q1=Q2.
-当A为酉空间,有相似定理,将Q换成酉矩阵U.
-当A为列满秩的高阵,也有类似定理. (行满秩的矮阵应该也有,计算标准正交Q的时候用行向量计算,相应的R也要换.)
-QR分解可用于方程Ax=b求解.当A是满秩方阵,则解唯一; 当Ax=b不相容,则由Rx=Q^T b得到的解是最小二乘解. 证明可直接写出最小二乘定义得到.
2. 正规矩阵及Schur分解:
对任意方阵A都存在可逆矩阵P,使P^-1 A P 为一个上三角矩阵. (由归纳法证)
将P作QR分解,则可以得到Schur分解: 任意方阵A存在正交矩阵Q(U)使 Q^T A Q 为一上三角阵,且对角元为A的特征值. (相应酉空间为 U阵和U^H. ^H即共轭转置). (证明要点是这里的Q就是P分解中的Q, Q^T A Q = Q^T PKP^-1 Q,再分解.)
正规矩阵: 设A∈C(n x n), 若A满足 A^H A = A A^H,则称A为正规矩阵(规范阵). 实对称阵,实反对称阵,Hermite阵,反Hermite阵,正交阵,酉阵都是正规矩阵. 正规阵是单纯矩阵.
正规阵 等价于 A酉相似于一个对角阵 等价于 A有n个特征向量构成一组n维标准正交基.
推论1: A为实对称阵 等价于 A的特征值全为实数且存在正交阵Q使得Q^T A Q=diag{λ1,λ2,..λn} 其中λi为A的特征值.
推论2: A为正交矩阵 等价于 A的每个特征值的模为1,且存在酉阵U使得 U^H A U=diag{λ1,λ2,..λn} 其中λi为A的特征值.
求解Q(U)的过程也就是求解特征值和特征向量的过程,然后标准正交化即得到. 注意特征值和特征向量的顺序.
3. 满秩分解:
设A∈C, 是mxn的矩阵,秩为r(r>0), 则存在列满秩矩阵F(mxr)和行满秩矩阵G(rxn)使得A=FG.满秩分解不唯一.
求法很简单:把A化成前r行非零,后m-r行为零的矩阵,且前r行中i行(i=1,2,..r)第一个元素为1,第一个元素之前的0元素比i-1行多,则这个矩阵前r行构成G; 然后配出F即可.
4. 奇异值分解(SVD)
奇异值分解很重要.
引理: 任意A∈C, A^H A和A A^H都是半正定的厄米特(Hermite)矩阵,且具有相同的非零特征值,且秩和A相同. 秩相同的证明可以用亏加秩定理,也可以用方程组同解证, 也可以写成行列内积证. 半正定的证明可任取x∈C, 根据内积定义可证 ( x^H A^H A x = (Ax)^H (Ax) = (Ax, Ax)≥0 ).
奇异值:A^H A的n个特征值λ1,λ2,..λn 其中前r个大于零. 则A的奇异值σ1,σ2,..σr, σr+1,..σn 为σ1² = λ1, σ2² =λ2, …σr² = λr .且σi>0(i=1,2…r) 剩下的σi=0 (i=r+1,r+2,..n).
那么存在酉矩阵V和U,使得A = V S U^H. 其中S = diag{σ1, σ2,…σn}. 记Sr = diag{σ1, σ2,…σr}.
构造性证明过程要利用前面的知识. A^H A是半正定的厄米特阵,所以可以进行Schur分解: U^H A^H A U=diag{λ1,λ2,..λn} = S², S中的Sr可逆,剩下的都是零,所以我们把U也拆成前r个列向量组成的U1和剩下的组成的U2, 则U1^H A^H A U1 = Sr². 把Sr的逆分别左乘右乘,则等式右边变成I, 左边为: Sr^-1 U1^H A^H A U1 Sr^-1 . 记V1 = A U1 Sr^-1, 则有V1^H V1= I. 所以V1是酉阵. 用N(A^H)的一组标准正交基把V1补全成标准正交阵V, 则有 V S U^-1= A, 也就是A = V S U^H.
求奇异值分解跟上面证明过程一样:
求A^H A的特征值, 并求其n个标准正交特征向量得到U, 顺带求出A的奇异值和S.
由正特征值的r个特征向量得到U1.
根据V1 = A U1 Sr^-1求得V1, 将其补充成适当的标准正交阵V(可以直接补,补出来就是N(A^H)的基,不过要标准正交). 大功告成. 要记住最后 A = V S U^H.
-由SVD可得极分解,即对方阵A存在半正定的厄米特阵G和酉阵U使A = GU, 当A满秩G为正定厄米特阵.
5. 单纯矩阵(可对角化矩阵)的谱分解
幂等阵即方阵A 满足A²=A. (幂等阵与投影变换是一一对应的)
对方阵A: 设A有k个相异的特征值,则A为单纯矩阵 等价于 存在k个幂等阵G1,G2,..Gk使得:
- GiGj=0(i≠j);
- Σ(i=1,k) Gi = I;
- A = Σ(i=1,k) λiGi .
谱分解唯一. 唯一性证明:先利用λ证明GiFj=0(i≠j) (要点:利用AGiFj = GiAFj),然后就能证明Gi=Fi了.
构造性证明:
- 求出A的相异特征值λ1,λ2,..λk;
- 求出相应的特征向量组成基向量阵 X1,X2,..Xk;
- 令X = (X1,X2,..Xk), 令 Y = X^-1, 对Y按照X行分块得到(Y1,Y2,..Yk)^T
- 则Gi = XiYi.
推论: 若f(λ)为任意多项式,则f(A) = f(λ1)G1 + f(λ2)G2 + … + f(λk)Gk. 特别地:A^m = (ΣλG)^m .
