正定値実対称行列の諸性質

　機械学習やより一般の情報科学の文脈で頻出する正定値実対称行列の性質についてまとめる。（分散共分散行列とかで出てくるンゴ。）より広くエルミート行列とか半正定値行列とかの性質について考えるのが見通しが良くていいのだが、実際使う上で正定値実対称に絞って覚えて（？）しまった方が楽。

定義

$A\in \mathbb{R}^{n\times n}$ とする。この時、（実）対称性及び正定値性は次のように定義される。

\begin{aligned} A\text{が対称行列} \;\; & \overset{\mathrm{def}}{\Longleftrightarrow} \; &&A^T = A \\ A\succ 0\quad & \overset{\mathrm{def}}{\Longleftrightarrow} &&\forall_{\bm{x}\neq 0},\; \bm{x}^T A \bm{x}>0 \end{aligned}

ただし $A\succ 0$ で $A$ の正定値性を表す。

性質

この時、実対称行列 $A$ に対して次の同値条件が成立する。

\begin{aligned} & A\text{が正定値} \\ & \\ & \qquad \Longleftrightarrow A\text{の固有値はすべて正}\\ & \qquad\qquad \qquad \; \left(^{^\exists U,\; U^T U = I}\; A = UDU^T ,\; D=\text{diag}(\lambda_1,\lambda_2,\ldots),\;\lambda_i > 0\right)\\ & \qquad \Longleftrightarrow A\text{はグラム行列}\\ & \qquad\qquad \qquad \;\left(^{^\exists B;\;\text{正則}}\; A=B^{T}B\right)\\ & \qquad \Longleftrightarrow A\text{のコレスキー分解が存在する}\\ & \qquad\qquad \qquad \;\left(^{^\exists L;\;\text{下三角、対角成分が正}}\; A=LL^T\right) \end{aligned}

また、よく使うのは次。

実対称 $A$ の固有値がすべて正 $\Longrightarrow$ $A$ は正定値
$A$ $A$ が実対称正定値 $\Longrightarrow$ $⟹$ $A$ $A$ は正則
- （ $A=U^T D U$ に対し $A^{-1} = U^T D^{-1} U$ ）
$A$ $A$ が実対称正定値の時 $f(\bm{x}) = \dfrac{1}{2}\bm{x}^T A \bm{x} - \bm{b}^T\bm{x}$ $f (x) = \frac{1}{2} x^{T} A x - b^{T} x$ の最小値は一意に存在し、 $A\bm{x}_\text{min}=\bm{b}$ $A x_{min} = b$
- ( $A$ が実対称正定値の時、 $Ax=b$ は共役勾配法で解ける)
$A$ $A$ が正定値実対称の時 $^\exists B:\text{正定値実対称};\; A=B^2$ $^{\exists} B : 正定値実対称; A = B^{2}$
- （正定値平方根 $A^{1/2}$ が存在する。）
正則行列の極分解は直交行列＋正定値実対称行列で、一意
- （ $F=SU=VT\; , \; U^T U = V^T V = I \;,\; S,T;\text{実対称正定値}$ ）

証明

実対称正定値 <-> 固有値はすべて正

$A$ が実対称行列とすると、 $A$ は直交行列によって対角化可能である。

UAU^{-1} = D = \text{diag}\left(\lambda_1,\lambda_2,\ldots\right)\leadsto A = U^{T}D U

よって、

\begin{aligned} \bm{x}^TAx &= \bm{x}^TU^{T}D U\bm{x}\\ & = \left(U\bm{x}\right)^T D \left(U\bm{x}\right)\\ & = \sum_i \lambda_i \left(U\bm{x}\right)_i^2 \end{aligned}

となるので、固有値 $\lambda_i$ が正なら $\bm{x}^T A \bm{x}>0$ となる。また、 $\forall \bm{x}\neq 0$ を $\bm{x}$ が動く時 $U\bm{x}$ も $\mathbb{R}^n\backslash \bm{0}$ を動くので、 $\forall {\bm{x}\neq 0} ; \bm{x}^T A \bm{x}>0 \Longrightarrow \forall i ; \lambda_i >0$ である。

グラム行列・正定値平方根

$A$ の対角行列 $D = \text{diag}(\lambda_1,\lambda_2,\ldots)$ に対して、 $\lambda_i>0$ より次のように定義することが可能。

\begin{aligned} D^{-1} = \;\text{diag}\left(\lambda_1^{-1},\lambda_2^{-1}\ldots\right)\\[5pt] \sqrt{D} = \; \text{diag}\left(\sqrt{\lambda_1},\sqrt{\lambda_2}\ldots\right) \end{aligned}

よって、 $A$ は次のように分解できる。

\begin{aligned} A &= U^T D U = U^T \sqrt{D}\sqrt{D} U = U^T \sqrt{D}^T Q Q^T\sqrt{D} U \\ &= \left(Q^T\sqrt{D}U\right)^T \left(Q^T\sqrt{D}U\right)\\ &= \left(U^T \sqrt{D}U\right)\left(U^T \sqrt{D}U\right) \end{aligned}

ただし $Q$ は任意の直交行列である。この時、 $B=Q^T\sqrt{D}U$ が $A$ をグラム行列として見た時の分解 $A = B^T B$ を与え、 $Q = U$ ととる時 $B^T = B$ となり $A^{1/2} = U^T \sqrt{D}U$ が $A$ の正定値平方根 $A = A^{1/2}A^{1/2}$ を与える。