크로넥커 곱 (Kronecker Product)

두 행렬 $A\in {\mathbb{R}}^{n\times m},B\in {\mathbb{R}}^{p\times q}$ 의 크로넥커 곱(Kronecker product) $A\otimes B$ 는 다음과 같이 정의된다.

 

$$\begin{array}{r}A\otimes B=\left[\begin{array}{ccc}{a}_{11}B& \cdots & a_{1m}B\\ ⋮& \ddots & ⋮\\ a_{n1}B& \cdots & a_{nm}B\end{array}\right]\in {\mathbb{R}}^{np\times mq}\end{array}$$

 

예를 들어서 행렬 A와 B가 각각 다음과 같을 때,

 

$$\begin{array}{r}A=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right],B=\left[\begin{array}{ccc}10& 20& 30\\ 40& 50& 60\end{array}\right]\end{array}$$

 

크로넥커 곱 $A\otimes B$ 는 다음과 같다.

 

$$\begin{array}{r}A\otimes B=\left[\begin{array}{cccccc}10& 20& 30& 20& 40& 60\\ 40& 50& 60& 80& 100& 120\\ 30& 60& 90& 40& 80& 120\\ 120& 150& 180& 160& 200& 240\end{array}\right]\end{array}$$

 

크로넥커 곱의 몇 가지 특성을 나열하면 다음과 같다.

 

$$\begin{array}{rl}& (A+B)\otimes C=A\otimes C+B\otimes C\\ \\ & A\otimes (B+C)=A\otimes B+A\otimes C\\ \\ & (A\otimes B)\otimes C=A\otimes (B\otimes C)\\ \\ & A\otimes B\ne B\otimes A\\ \\ & (A\otimes B{)}^T=A^T\otimes B^T\\ \\ & (A\otimes B{)}^{-1}=A^{-1}\otimes B^{-1}\end{array}$$

 

즉 크로넥커 곱에서 분배법칙과 결합법칙은 성립하지만 교환법칙은 성립하지 않는다. 또한 크로넥커 곱의 전치(transpose)와 역행렬은 각각의 전치와 역행렬의 크로넥커 곱과 같다.

 

 

크로넥커 곱의 다양한 적용을 위해서는 벡터화(vectorization) 연산자가 필요하다. 어떤 행렬 $A\in {\mathbb{R}}^{n\times m}$ 에 대한 벡터화 연산자 또는 스택(stack) 연산자 $\text{vec}(A)$ 는 다음과 같이 행렬을 벡터로 변환하는 선형 변환으로 정의된다.

 

$$\begin{array}{r}\text{vec}(A)=\left[\begin{array}{c}{a}_{11}\\ a_{21}\\ ⋮\\ a_{12}\\ a_{22}\\ ⋮\\ a_{nm}\end{array}\right]\in {\mathbb{R}}^{nm\times 1}\end{array}$$

 

즉 $\text{vec}(A)$ 는 행렬 $A$ 의 열(column)을 순서대로 쌓아서 만든 벡터이다. 예를 들어서 행렬 $A$ 가 다음과 같을 때,

 

$$\begin{array}{r}A=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]\end{array}$$

 

$\text{vec}(A)$ 는 다음과 같다.

 

$$\begin{array}{r}\text{vec}(A)=\left[\begin{array}{c}1\\ 3\\ 2\\ 4\end{array}\right]\end{array}$$

 

정의에 의하면 행렬의 합 $A+B$ 의 벡터화는 각각 행렬의 벡터화 합과 같다. 즉,

 

$$\begin{array}{r}\text{vec}(A+B)=\text{vec}(A)+\text{vec}(B)\end{array}$$

 

 

 

크로넥커 곱은 벡터화 연산자와 함께 미지수가 행렬인 선형 방정식을 푸는데 사용되는데, 예로서 실베스터 방정식 $AX+XB=C$, 리야프노프 방정식 $A^{T}X+XA=-Q$ 등을 들 수 있다. 여기서 $X$ 가 미지수인 행렬이다. 이 방정식을 푸는데 사용되는 관계식은 다음과 같이 두 식이 서로 동치라는 것이다.

 

$$\begin{array}{r}AXB=C\leftrightarrow (B^T\otimes A)\text{vec}(X)=\text{vec}(C)\end{array}$$

 

이를 이용하면 실베스터 방정식 $AX+XB=C$ 를 다음과 같이 변환할 수 있다.

 

$$\begin{array}{rl}& \text{vec}(AX+XB)=\text{vec}(C)\\ \\ \to & \text{vec}(AXI)+\text{vec}(IXB)=\text{vec}(C)\\ \\ \to & [(I\otimes A)+(B^T\otimes I)]\text{vec}(X)=\text{vec}(C)\\ \\ \to & (A\otimes B^T)\text{vec}(X)=\text{vec}(C)\end{array}$$

 

위 식은 맨 마지막 줄은 다음과 같은 크로넥커 합(sum)의 관계식에 의한 것이다.

 

$$\begin{array}{r}A\otimes B=I\otimes A+B\otimes I\end{array}$$

 

리야프노프 방정식 $A^{T}X+XA=-Q$ 는 다음과 같이 변환할 수 있다.

 

$$\begin{array}{rl}& \text{vec}(A^{T}X+XA)=-\text{vec}(Q)\\ \\ \to & \text{vec}(A^{T}XI)+\text{vec}(IXA)=-\text{vec}(Q)\\ \\ \to & [(I\otimes A^T)+(A^T\otimes I)]\text{vec}(X)=-\text{vec}(Q)\\ \\ \to & (A\otimes A{)}^T\text{vec}(X)=-\text{vec}(Q)\end{array}$$