Frobenius Norm 최소화 문제

행렬 \(A \in \mathbb{R}^{n_1 \times n_2} \), \(B \in \mathbb{R}^{n_3 \times n_4}\), \(Y \in \mathbb{R}^{n_1 \times n_4}\) 가 주어졌을 때, 다음과 같은 프로베니우스 놈(Frobenius norm)을 최소화하는 행렬 \(X \in \mathbb{R}^{n_2 \times n_3}\) 를 구하는 문제를 프로베니우스 놈 최소화 문제라고 한다.

 

\[ X_{opt}= \arg \min_{X} \lVert AXB-Y \rVert_F \tag{1} \]

 

 

 

참고로 어떤 행렬 \(M\) 의 프로베니우스 놈 \( \lVert M \rVert _F\) 는 다음과 같이 정의된다.

 

\[ \lVert M \rVert _F= \sqrt{ tr(M^T M) } \tag{2} \]

 

여기서 \(tr\) 은 \(trace\) 를 의미한다.

 

 

프로베니우스 놈 최소화 문제는 모델식별 문제나 모델축소 문제에서 자주 등장한다. 식 (1)의 일반해는 다음과 같이 주어진다.

 

\[ X_{opt}=A^+ YB^+ +Z-A^+ AZBB^+ \tag{3} \]

 

여기서 \(Z \in \mathbb{R}^{n_2 \times n_3}\) 는 임의의 행렬이고 \(A^+\) 는 무어-펜로즈(Moore-Penrose ) 유사 역행렬이다.

식 (3)이 식 (1)의 해가 되는 것을 증명하기 위해서 다음과 같은 함수 \(f(X)\) 를 정의하고 이 함수가 항상 \(f(X) \ge 0\) 이 됨을 보이도록 한다.

 

\[ f(X)= \lVert AXB-Y \rVert _F^2- \lVert AX_{opt} B-Y \rVert_F^2 \tag{4} \]

 

그러면 \(\lVert AXB-Y \rVert_F^2 \ge \lVert AX_{opt} B-Y \rVert_F^2\) 이므로 \(X_{opt}\) 가 식 (1)의 해가 되는 것이 증명된다.

프로베니우스 놈의 정의에 따라 식 (4)를 전개하면 다음과 같이 된다.

 

\[ \begin{align} f(X) &= tr \left( (AXB-Y)^T (AXB-Y) \right) \tag{5} \\ \\ & \ \ \ \ \ \ \ \ \ - tr \left( (AX_{opt} B-Y)^T (AX_{opt} B-Y) \right) \\ \\ &= 2 tr \left( A(X-X_{opt} )B(AX_{opt} B-Y)^T \right) + \lVert A(X-X_{opt} )B \rVert_F^2 \end{align} \]

 

여기서 위 식의 첫번째 항을 더 전개하면,

 

\[ \begin{align} & tr \left( A(X-X_{opt} ) \ B \ (AX_{opt} B-Y)^T \right) \tag{6} \\ \\ & \ \ \ \ \ = tr \left( (X-X_{opt} ) \ B \ (AX_{opt} B-Y)^T A \right) \\ \\ & \ \ \ \ \ = tr \left( (X-X_{opt} ) \ B \ ( (AX_{opt} B)^T-Y^T)A \right) \end{align} \]

 

위 식에 식 (3)을 대입하면 다음과 같이 된다.

 

\[ \begin{align} & tr \left( A(X-X_{opt} ) \ B \ (( A (A^+ YB^++Z-A^+ AZBB^+ ) B)^T -Y)^T A \right) \tag{7} \\ \\ & \ \ \ \ \ = tr \left( (X-X_{opt} ) \ B \ (( AA^+ YB^+ B+AZB-AA^+ AZBB^+ B)^T- Y^T ) A \right) \\ \\ & \ \ \ \ \ = tr \left( (X-X_{opt} ) \ B \ (( AA^+ Y B^+ B)^T-Y^T ) A \right) \\ \\ & \ \ \ \ \ = tr \left( (X-X_{opt} ) \ ( BB^+BY^T AA^+ -BY^TA ) \right) \\ \\ & \ \ \ \ \ = 0 \end{align} \]

 

따라서 식 (5)는 다음과 같이 된다.

 

\[ f(X)= \lVert A (X-X_{opt} )B \rVert_F^2 \ge 0 \tag{8} \]

 

따라서 식 (3)이 식 (1)의 해가 되는 것이 증명되었다.