Frobenius Norm 최소화 문제

행렬 $A\in {\mathbb{R}}^{n_1\times n_2}$, $B\in {\mathbb{R}}^{n_3\times n_4}$, $Y\in {\mathbb{R}}^{n_1\times n_4}$ 가 주어졌을 때, 다음과 같은 프로베니우스 놈(Frobenius norm)을 최소화하는 행렬 $X\in {\mathbb{R}}^{n_2\times n_3}$ 를 구하는 문제를 프로베니우스 놈 최소화 문제라고 한다.

 

$$\begin{array}{}\text{(1)}& X_{opt}=\arg \underset{X}{min}\Vert AXB-Y{\Vert }_F\end{array}$$

 

 

 

참고로 어떤 행렬 $M$ 의 프로베니우스 놈 $\Vert M{\Vert }_F$ 는 다음과 같이 정의된다.

 

$$\begin{array}{}\text{(2)}& \Vert M{\Vert }_F=\sqrt{tr(M^{T}M)}\end{array}$$

 

여기서 $tr$ 은 $trace$ 를 의미한다.

 

 

프로베니우스 놈 최소화 문제는 모델식별 문제나 모델축소 문제에서 자주 등장한다. 식 (1)의 일반해는 다음과 같이 주어진다.

 

$$\begin{array}{}\text{(3)}& X_{opt}=A^{+}Y{B}^{+}+Z-A^{+}AZB{B}^{+}\end{array}$$

 

여기서 $Z\in {\mathbb{R}}^{n_2\times n_3}$ 는 임의의 행렬이고 $A^{+}$ 는 무어-펜로즈(Moore-Penrose ) 유사 역행렬이다.

식 (3)이 식 (1)의 해가 되는 것을 증명하기 위해서 다음과 같은 함수 $f(X)$ 를 정의하고 이 함수가 항상 $f(X)\ge 0$ 이 됨을 보이도록 한다.

 

$$\begin{array}{}\text{(4)}& f(X)=\Vert AXB-Y{\Vert }_F^2-\Vert A{X}_{opt}B-Y{\Vert }_F^2\end{array}$$

 

그러면 $\Vert AXB-Y{\Vert }_F^2\ge \Vert A{X}_{opt}B-Y{\Vert }_F^2$ 이므로 $X_{opt}$ 가 식 (1)의 해가 되는 것이 증명된다.

프로베니우스 놈의 정의에 따라 식 (4)를 전개하면 다음과 같이 된다.

 

$$\begin{array}{r}\text{(5)}& f(X)& =tr((AXB-Y{)}^T(AXB-Y))\\ & -tr((A{X}_{opt}B-Y{)}^T(A{X}_{opt}B-Y))\\ \\ & =2tr(A(X-X_{opt})B(A{X}_{opt}B-Y{)}^T)+\Vert A(X-X_{opt})B{\Vert }_F^2\end{array}$$

 

여기서 위 식의 첫번째 항을 더 전개하면,

 

$$\begin{array}{r}\text{(6)}& & tr(A(X-X_{opt})B(A{X}_{opt}B-Y{)}^T)\\ & =tr((X-X_{opt})B(A{X}_{opt}B-Y{)}^{T}A)\\ \\ & =tr((X-X_{opt})B((A{X}_{opt}B{)}^T-Y^T)A)\end{array}$$

 

위 식에 식 (3)을 대입하면 다음과 같이 된다.

 

$$\begin{array}{r}\text{(7)}& & tr(A(X-X_{opt})B((A(A^{+}Y{B}^{+}+Z-A^{+}AZB{B}^{+})B{)}^T-Y{)}^{T}A)\\ & =tr((X-X_{opt})B((A{A}^{+}Y{B}^{+}B+AZB-A{A}^{+}AZB{B}^{+}B{)}^T-Y^T)A)\\ \\ & =tr((X-X_{opt})B((A{A}^{+}Y{B}^{+}B{)}^T-Y^T)A)\\ \\ & =tr((X-X_{opt})(B{B}^{+}B{Y}^{T}A{A}^{+}-B{Y}^{T}A))\\ \\ & =0\end{array}$$

 

따라서 식 (5)는 다음과 같이 된다.

 

$$\begin{array}{}\text{(8)}& f(X)=\Vert A(X-X_{opt})B{\Vert }_F^2\ge 0\end{array}$$

 

따라서 식 (3)이 식 (1)의 해가 되는 것이 증명되었다.