특이값 분해(SVD)의 응용: 이미지 압축

특이값 분해는 다음과 같이 어떤 $m\times n$ 실수 행렬(real matrix) $A$를 3개의 행렬의 곱으로 분해한 것이다.

 

$$\begin{array}{}\text{(1)}& A=U\mathrm{\Sigma }{V}^T\end{array}$$

 

이 식을 풀어 쓰면 다음과 같다.

 

$$\begin{array}{}\text{(2)}& A={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T+{\sigma }_2{\mathbf{u}}_2{\mathbf{v}}_2^T+\cdots +{\sigma }_r{\mathbf{u}}_r{\mathbf{v}}_r^T\end{array}$$

 

여기서 ${\sigma }_i$는 특이값으로서 그 숫자는 행렬 $A$의 랭크(rank)와 같다. 특이값은 큰 값에서 작은 값의 순서로 정렬시킨 것이다.

 

$$\begin{array}{}\text{(3)}& {\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0\end{array}$$

 

${\mathbf{u}}_i$와 ${\mathbf{v}}_i$는 각각 행렬 $U$와 $V$를 구성하는 열(column) 벡터로서 특이값 ${\sigma }_i$에 대응하는 단위 직교 벡터이다. ${\mathbf{u}}_i$는 $m\times 1$ 벡터며 ${\mathbf{v}}_i$는 $n\times 1$ 벡터다.

 

 

특이값 분해(svd)는 선형 대수학에서는 매우 중요한 개념이며 응용 범위가 상당히 넓다.
그런데 특이값 분해(svd)로 어떻게 이미지를 압축시킬 수 있다는 걸까. 힌트는 식 (2)에 있다.

식 (2)의 오른쪽 항은 $r$개의 행렬 ${\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^T$의 합으로 되어 있다. 각각의 행렬은 특이값과 두 개 열벡터의 곱으로 이루어져 있으므로 각 행렬은 랭크가 1인 행렬이다. 따라서 식 (2)에 의하면 랭크가 $r$인 임의의 행렬 $A$는 랭크가 1인 $r$개의 행렬의 합으로 표현할 수 있다.

그렇다면 행렬 $A$를 랭크가 1인 행렬로 근사화하고 싶다면 어떻게 하면 좋을까. 특이값은 큰 수부터 작은 수로 정렬되어 있으므로 가장 큰 특이값을 갖는 다음 행렬로 근사하면 될 것이다.

 

$$\begin{array}{}\text{(4)}& A\approx {\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T\end{array}$$

 

그렇다면 랭크가 5인 행렬로 근사하고 싶다면? 다음과 같이 특이값 5개를 사용하면 될 것이다.

 

$$\begin{array}{}\text{(5)}& A\approx {\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T+\cdots +{\sigma }_5{\mathbf{u}}_5{\mathbf{v}}_5^T\end{array}$$

 

행렬로 표현할 수 있는 데이터 중에서 가장 대표적인 것이 디지털 이미지다. 디지털 이미지는 픽셀의 강도(intensity)를 성분 값으로 하는 행렬이다. 다음 이미지를 보자. 유명한 레나의 흑백 사진이다.

 

 

레나 이미지는 $512\times 512$ 행렬로 되어 있고, 행렬의 성분을 보면 다음과 같이 0부터 1사이의 숫자로 되어 있다.

 

 

즉, 레나 이미지를 표현하기 위해서는 $512\times 512=262,144$개의 픽셀 값이 필요하다. 물론 데이터의 용량이 크다고는 할 수 없지만 이런 이미지가 수 만개라면 또는 1초에 30 프레임의 동영상이라면 이야기가 달라진다. 레나 이미지 행렬을 특이값을 계산해 보면 .

 

$$254.0067,41.6316,32.1130,25.4434,23.1194,\cdots ,0.0001,0.0001$$

 

등 $512$개의 값이 나온다. 레나 이미지 행렬의 랭크는 $512$라는 이야기이다. 특이값을 그래프로 보면 다음과 같다.

 

 

너무 복잡하므로 앞에서 20개 정도만 그려보면 다음과 같다.

 

 

첫번째 특이값만 크고 그 다음부터는 고만고만 한 것 같다. 그렇다면 레나 이미지 행렬을 랭크 1인 행렬로 근사화해 보자. 이미지 질만 확보된다면 엄청난 이미지 압축률을 보일 것이다. 왜냐하면 $512+512=1,024$개의 행렬 성분 값만 있으면 되기 때문에 $1,024/262,144=0.0039$, 즉 원래 데이터 수의 0.39% 만 가지고 이미지를 표시할 수 있다. 해보자.

 

 

뭐가 뭔지 모르게 나왔다. 조금 더 써보자. 이번에는 레나 이미지 행렬을 랭크 20인 행렬로 근사화해 보자. 이 정도 해도 $(1,024\times 20)/262,144=0.0781$, 즉 원래 데이터 수의 7.81% 만 가지고 이미지를 표시할 수 있다.

 

 

이제 누구인지 구별은 할 수 있으나 이미지 질이 좋지 않다. 다시 레나 이미지 행렬을 랭크 100인 행렬로 근사화해 보자. 그러면 $(1,024\times 100)/262,144=0.3906$, 즉 원래 데이터 수의 39.06% 만 가지고 이미지를 표시할 수 있다.

 

 

원본과 비교해보면 차이를 못 느낄 정도가 됐다. 이 이미지는 원본 데이터 수의 39.06 % 만 가지고 표시한 것이다.

특이값 분해(svd)를 이용하면 이미지 뿐만 아니라 행렬로 표현할 수 있는 많은 종류의 데이터를 압축할 수 있다.