특이값 분해(SVD)의 증명

어떤 $m\times n$ 실수 행렬(real matrix) $A$와 그 전치 행렬 $A^T$의 행렬곱 $A{A}^T$와 $A^{T}A$는 대칭행렬이며 준정정 행렬(positive semi-definite matrix)이다. 먼저 대칭행렬인지 확인해 보자. 행렬곱을 전치한 다음에 원래 행렬과 같은 지 확인하면 된다.

 

$$(A{A}^T{)}^T=A{A}^T,(A^{T}A{)}^T=A^{T}A$$

 

그렇다면 $A{A}^T$이 준정정 행렬인지 확인해 보자. 어떤 벡터 $\mathbf{x}$에 대해서 다음 부등식을 만족하는지 확인하면 된다.

 

$$\begin{array}{rl}{\mathbf{x}}^T(A{A}^T)\mathbf{x}& =(A^T\mathbf{x}{)}^T(A^T\mathbf{x})\\ \\ & \ge 0\end{array}$$

 

이번에는 $A^{T}A$이 준정정 행렬인지 확인해 보자. 어떤 벡터 $\mathbf{y}$에 대해서 다음 부등식을 만족하는지 확인하면 된다.

 

$$\begin{array}{rl}{\mathbf{y}}^T(A^{T}A)\mathbf{y}& =(A\mathbf{y}{)}^T(A\mathbf{y})\\ \\ & \ge 0\end{array}$$

 

따라서 $A{A}^T$와 $A^{T}A$는 대칭행렬이며 준정정 행렬이다.

 

 

실수 대칭행렬의 고유값과 고유벡터는 모두 실수값이이며 고유벡터는 서로 직각이다. 따라서 $A{A}^T$와 $A^{T}A$의 고유값과 고유벡터는 모두 실수값이이며 고유벡터는 서로 직각이다.

 

2020/07/18 - [선형대수] - 실수 대칭행렬의 고유값과 고유벡터

정정(positive-definite) 행렬의 고유값은 모두 0보다 크다. 그렇다면 준정정(semi-positive definite) 행렬의 고유값은 어떨까. 정정과 준정정 행렬의 경계는 0을 포함하느냐 포함하지 않느냐에 있다. 준정정 행렬의 고유값은 0을 포함한다. 그렇다면 준정정 행렬에는 몇 개의 0인 고유값이 있을까.

$p\times p$ 인 준정정 행렬 $M$이 있다고 하자. 고유값 0에 대응하는 고유벡터가 $\mathbf{v}$라고 할 때 다음 식이 성립한다.

 

$$M\mathbf{v}=0\mathbf{v}=0$$

 

따라서 고유값 0에 대응하는 고유벡터는 행렬 $M$의 영공간(null space)에 있는 벡터다. 영공간의 차원은 $p$와 행렬 $M$의 랭크(rank)의 차이이므로 고유값 0에 대응하는 서로 독립인 고유벡터는 $(p-rank(M))$개다. 또한 0이 아닌 고유값에 대응하는 고유벡터의 개수는 $rank(M)$이다.

준정정 행렬의 고유값은 모두 0보다 크거나 같다. 따라서 $A{A}^T$와 $A^{T}A$의 고유값은 모두 0보다 크거나 같다. 그리고 0이 아닌 고유값에 대응하는 고유벡터 개수는 $rank(A)$다.

그러면 $m\times n$ 실수 행렬(real matrix) $A$의 랭크가 $r$일 때, 행렬곱 $A^{T}A$의 0이 아닌 고유값과 고유벡터는 다음과 같이 쓸 수 있다.

 

$$\begin{array}{}\text{(1)}& A^{T}A{\mathbf{v}}_i={\sigma }_i^2{\mathbf{v}}_i,i=1,\cdots ,r\end{array}$$

 

여기서 ${\sigma }_i^2$은 0이 아닌 고유값이며(따라서 0보다 큰 실수값), ${\mathbf{v}}_i$는 그에 대응하는 고유벡터다. 고유벡터는 크기가 1이며 서로 직각인 단위 직각 벡터다.

 

$${\mathbf{v}}_i^T{\mathbf{v}}_j=\{\begin{array}{ll}1,& i=j\\ 0,& i\ne j\end{array}$$

 

따라서 식 (1)의 양변에 ${\mathbf{v}}_i^T$를 곱하면,

 

$$\begin{array}{rl}{\mathbf{v}}_i^T{A}^{T}A{\mathbf{v}}_i& ={\sigma }_i^2{\mathbf{v}}_i^T{\mathbf{v}}_i\\ \\ \to (A{\mathbf{v}}_i{)}^{T}A{\mathbf{v}}_i& ={\sigma }_i^2\end{array}$$

 

가 되어서 벡터 $A{\mathbf{v}}_i$의 크기는 ${\sigma }_i$가 된다.

이제 새로운 단위 벡터 ${\mathbf{u}}_i$를 다음과 같이 정의한다.

 

$$\begin{array}{}\text{(2)}& {\mathbf{u}}_i=\frac{A{\mathbf{v}}_i}{{\sigma }_i}\end{array}$$

 

그리고 식 (1)의 양변에 $A$를 곱하면,

 

$$\begin{array}{rl}A{A}^{T}A{\mathbf{v}}_i& ={\sigma }_i^{2}A{\mathbf{v}}_i\\ \\ \text{(3)}& \to A{A}^T{\mathbf{u}}_i& ={\sigma }_i^2{\mathbf{u}}_i\end{array}$$

 

가 된다. 식 (3)에 의하면 단위 벡터 ${\mathbf{u}}_i$는 행렬 $A{A}^T$의 고유값 ${\sigma }_i^2$에 대응하는 고유벡터가 되는 것을 알 수 있다.

그럼 벡터 ${\mathbf{u}}_i$는 서로 직각일까. 계산해 보자.

 

$$\begin{array}{rl}{\mathbf{u}}_i^T{\mathbf{u}}_j& =\frac{{\mathbf{v}}_i^T{A}^{T}A{\mathbf{v}}_j}{{\sigma }_i{\sigma }_j}\\ \\ & =\frac{{\mathbf{v}}_i^T{\sigma }_j^2{\mathbf{v}}_j}{{\sigma }_i{\sigma }_j}\\ \\ & =\{\begin{array}{ll}1,& i=j\\ 0,& i\ne j\end{array}\end{array}$$

 

따라서 고유벡터 ${\mathbf{u}}_i$는 단위 직각 벡터다.

식 (2)를 $r$개의 벡터에 대해서 쓰면 다음과 같다.

 

$$\begin{array}{}\text{(4)}& A{V}_r=U_r{\mathrm{\Sigma }}_r\end{array}$$

 

여기서

 

$$\begin{array}{}\text{(5)}& \begin{array}{rl}{V}_r& =\left[\begin{array}{cccc}{\mathbf{v}}_1& {\mathbf{v}}_2& \cdots & {\mathbf{v}}_r\end{array}\right]\\ \\ U_r& =\left[\begin{array}{cccc}{\mathbf{u}}_1& {\mathbf{u}}_2& \cdots & {\mathbf{u}}_r\end{array}\right]\\ \\ {\mathrm{\Sigma }}_r& =\left[\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & {\sigma }_r\end{array}\right]\end{array}\end{array}$$

 

이다. $V_r$은 $n\times r$ 행렬이고 $U_r$은 $m\times r$ 행렬이며 ${\mathrm{\Sigma }}_r$은 대각 성분이 행렬 $A$의 특이값인 $r\times r$ 대각 행렬이다. 특이값은 큰 수에서 작은 수의 순서로 정렬되어 있다.

 

$${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$$

 

이제 행렬 $V_r$에 고유벡터 ${\mathbf{v}}_i$뿐 만 아니라 서로 간에도 직각인 $n\times 1$ 단위 벡터 $(n-r)$개를 행렬 $A$의 영공간에서 선정하여 추가한다.

 

$$\begin{array}{}\text{(6)}& V=\left[\begin{array}{c}{V}_r{V}_{n-r}\end{array}\right]\end{array}$$

 

여기서 $V_{n-r}=\left[\begin{array}{cccc}{\mathbf{v}}_{r+1}& {\mathbf{v}}_{r+2}& \cdots & {\mathbf{v}}_n\end{array}\right]$인 행렬이며 $V$ 는 $n\times n$ 인 단위 직교행렬이다. 즉, $V^{-1}=V^T$이다.

행렬 $U_r$에도 같은 과정을 거쳐서 $m\times m$ 인 단위 직교행렬 U를 만든다.

 

$$\begin{array}{}\text{(7)}& U=\left[\begin{array}{c}{U}_r{U}_{m-r}\end{array}\right]\end{array}$$

 

여기서 $U_{m-r}=\left[\begin{array}{cccc}{\mathbf{u}}_{r+1}& {\mathbf{u}}_{r+2}& \cdots & {\mathbf{u}}_m\end{array}\right]$이며 $U^{-1}=U^T$이다.

행렬 ${\mathrm{\Sigma }}_r$에도 0 행렬을 추가하여 $m\times n$ 행렬 $\mathrm{\Sigma }$를 만든다.

 

$$\begin{array}{}\text{(8)}& \mathrm{\Sigma }=\left[\begin{array}{cc}{\mathrm{\Sigma }}_r& 0\\ 0& 0\end{array}\right]\end{array}$$

 

그러면 식 (4)를 다음과 같이 쓸 수 있다.

 

$$\begin{array}{}\text{(9)}& AV=U\mathrm{\Sigma }\end{array}$$

또는

$$\begin{array}{}\text{(10)}& A=U\mathrm{\Sigma }{V}^T\end{array}$$

 

식 (10)은 어떤 $m\times n$ 실수 행렬 $A$를 3개의 행렬의 곱으로 분해한 것으로 특이값 분해(svd)라고 한다.

 

특이값 분해

 

특이값의 특징을 정리하면 다음과 같다.
${\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_r^2$은 행렬 $A{A}^T$와 $A^{T}A$의 0이 아닌 고유값이다.
행렬 $U_r$과 $V_r$을 구성하는 열벡터는 행렬 $A{A}^T$와 $A^{T}A$의 고유값에 대응하는 고유벡터다.