놈 (norm)

norm을 한글로 표기할 때 ‘놈’이라고 하기도 하고 ‘노름’이라고 하기도 하는데, 둘 다 좋은 뜻은 아니지만 ‘놈’이 조금 나은 것 같다. 사람에게도 이놈, 저놈, 그놈이 있듯이 norm에도 여러 놈이 있다. 😊

 

 

벡터 $\mathbf{x}\in R^n$ 의 놈은 다음 4가지 성질을 만족하면서 벡터에서 실수 값을 연결하는 함수로 정의하고, $\Vert \mathbf{x}\Vert$로 표기한다.

           1. $\Vert \mathbf{x}\Vert$은 음수가 아닌 실수값이다. 즉, $\Vert \mathbf{x}\Vert \ge 0$
           2. $\mathbf{x}=0$ 일 때만 $\Vert \mathbf{x}\Vert =0$ 이다.
           3. 스칼라 $\alpha$에 대해서 $\Vert \alpha \mathbf{x}\Vert =|\alpha |\Vert \mathbf{x}\Vert$ 가 성립한다.
           4. $\Vert \mathbf{x}+\mathbf{y}\Vert \le \Vert \mathbf{x}\Vert +\Vert \mathbf{y}\Vert$ 이 성립한다. 여기서 $\mathbf{y}\in R^n$.

위 4가지 성질을 만족하기만 하면 놈이라고 할 수 있는데, 많이 사용되는 놈은 다음 세 가지이다. 놈을 구별하기 위하여 아래 첨자를 사용하고, $\Vert \mathbf{x}{\Vert }_1$을 1-놈, $\Vert \mathbf{x}{\Vert }_2$를 2-놈, $\Vert \mathbf{x}{\Vert }_{\mathrm{\infty }}$를 $\mathrm{\infty }$-놈이라고 한다.

 

$$\begin{array}{rl}& \Vert \mathbf{x}{\Vert }_1=|x_1|+|x_2|+\cdots +|x_n|\\ \\ & \Vert \mathbf{x}{\Vert }_2=\sqrt{x_1^2+x_2^2+\cdots +x_n^2}=\sqrt{{\mathbf{x}}^T\mathbf{x}}\\ \\ & \Vert \mathbf{x}{\Vert }_{\mathrm{\infty }}=\underset{1\le j\le n}{max}|x_j|\end{array}$$

 

1-놈은 벡터 x의 성분의 절대값을 모두 더한 것으로, 2-놈은 벡터의 기하학적 길이로, $\mathrm{\infty }$-놈은 벡터 성분 중에서 크기가 제일 큰 값으로 정의한다.

놈의 예를 들면, $\mathbf{x}={\left[\begin{array}{cccc}1& 3& -5& 0\end{array}\right]}^T$일 때, $\Vert \mathbf{x}{\Vert }_1=9$, $\Vert \mathbf{x}{\Vert }_2=\sqrt{35}$, $\Vert \mathbf{x}{\Vert }_{\mathrm{\infty }}=5$이다.

 

 

그러면 행렬의 놈은 어떻게 정의할까. 행렬 $A\in R^{m\times n}$는 벡터 $\mathbf{x}\in R^n$을 벡터 $A\mathbf{x}\in R^m$으로 변환시킬 수 있다. $A\mathbf{x}$도 벡터이므로 놈 $\Vert A\mathbf{x}\Vert$을 정의할 수 있다. 그렇다면 $\Vert A\mathbf{x}\Vert$와 $\Vert \mathbf{x}\Vert$ 값 사이에는 어떤 관계가 있을까.

놈 $\Vert \mathbf{x}\Vert$이 벡터 $\mathbf{x}$에 따라 그 값이 달라지듯이 놈 $\Vert A\mathbf{x}\Vert$도 행렬 $A$와 벡터 $\mathbf{x}$에 따라 달라질 것이다. 이렇게 본다면 행렬 $A$의 놈을 놈 $\Vert A\mathbf{x}\Vert$와 놈 $\Vert \mathbf{x}\Vert$의 최대 비율로 정의할 수 있을 것이다. 행렬의 놈 $\Vert A\Vert$의 정의는 다음과 같다.

 

$$\Vert A\Vert =max\frac{\Vert A\mathbf{x}\Vert }{\Vert \mathbf{x}\Vert },forall\mathbf{x}\ne \mathbf{0}$$

 

이와 같이 정의된 행렬의 놈은 벡터의 놈에서 유도된 것이므로 유도 놈(induced norm)이라고도 한다.

행렬 놈의 정의에 의하면 어떤 벡터 놈을 사용하느냐에 따라 달라진다. 벡터 놈으로 1-놈, 2-놈, $\mathrm{\infty }$-놈을 사용할 경우, 이에 대응하는 행렬 놈도 각각 1-놈, 2-놈, $\mathrm{\infty }$-놈이라고 한다. 행렬 $A\in R^{m\times n}$의 성분을 $a_{ij}$라고 하면 각각의 놈은 다음과 같다.

 

$$\begin{array}{rl}& \Vert A{\Vert }_1=max\frac{\Vert A\mathbf{x}{\Vert }_1}{\Vert \mathbf{x}{\Vert }_1}=\underset{1\le j\le n}{max}\sum _{i=1}^m|a_{ij}|\\ \\ & \Vert A{\Vert }_2=max\frac{\Vert A\mathbf{x}{\Vert }_2}{\Vert \mathbf{x}{\Vert }_2}=\sqrt{{\lambda }_{max}(A^{T}A)}\\ \\ & \Vert A{\Vert }_{\mathrm{\infty }}=max\frac{\Vert A\mathbf{x}{\Vert }_{\mathrm{\infty }}}{\Vert \mathbf{x}{\Vert }_{\mathrm{\infty }}}=\underset{1\le i\le m}{max}\sum _{j=1}^n|a_{ij}|\\ \end{array}$$

 

여기서 ${\lambda }_{max}(\cdot )$은 최대 고유값(eigenvalue)을 나타낸다. 1-놈은 행렬의 열(column) 합 중에서 제일 큰 값, 2-놈은 행렬의 행렬 $A^{T}A$의 최대 고유값의 제곱근(또는 행렬 $A$의 최대 특이값), $\mathrm{\infty }$-놈은 행렬의 행(row) 합 중에서 제일 큰 값이 된다.

증명해 보자. 먼저 벡터 $A\mathbf{x}$를 계산한다.

 

$$A\mathbf{x}=\left[\begin{array}{c}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n\\ ⋮\\ a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n\end{array}\right]$$

 

이 된다. 벡터 $A\mathbf{x}$의 1-놈의 정의에 의하면,

 

$$\begin{array}{rl}\Vert A\mathbf{x}{\Vert }_1& =|a_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n|+\cdots \\ \\ & +|a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n|\\ \\ & \le (|a_{11}|+\cdots +|a_{m1}|)|x_1|+\cdots +(|a_{1n}|+\cdots +|a_{mn}|)|x_n|\\ \\ & \le \left\{\underset{1\le j\le n}{max}(|a_{1j}|+\cdots +|a_{mj}|)\right\}(|x_1|+\cdots +|x_n|)\end{array}$$

 

이 된다. 따라서

 

$$\frac{\Vert A\mathbf{x}{\Vert }_1}{\Vert \mathbf{x}{\Vert }_1}\le \underset{1\le j\le n}{max}(|a_{1j}|+\cdots +|a_{mj}|)$$

 

이 되므로 $\Vert A{\Vert }_1$이 증명된다.

다음으로 1-놈과 결이 비슷한 $\mathrm{\infty }$-놈을 증명한다. $\mathrm{\infty }$-놈의 정의에 의하면,

 

$$\begin{array}{rl}\Vert A\mathbf{x}{\Vert }_{\mathrm{\infty }}& =\underset{1\le i\le m}{max}|a_{i1}{x}_1+a_{i2}{x}_2+\cdots +a_{in}{x}_n|\\ \\ & \le \underset{1\le i\le m}{max}(|a_{i1}||x_1|+\cdots +|a_{in}||x_n|)\\ \\ & \le \left\{\underset{1\le i\le m}{max}(|a_{i1}|+\cdots +|a_{in}|)\right\}\left(\underset{1\le j\le n}{max}|x_j|\right)\end{array}$$

 

이 된다. 따라서

 

$$\frac{\Vert A\mathbf{x}{\Vert }_{\mathrm{\infty }}}{\Vert \mathbf{x}{\Vert }_{\mathrm{\infty }}}\le \underset{1\le i\le m}{max}(|a_{i1}|+\cdots +|a_{in}|)$$

 

이 되므로 $\Vert A{\Vert }_{\mathrm{\infty }}$이 증명된다.

한편, 벡터 $A\mathbf{x}$의 2-놈의 정의에 의하면,

 

$$\Vert A\mathbf{x}{\Vert }_2^2={\mathbf{x}}^T{A}^{T}A\mathbf{x}$$

 

이 된다. 행렬 $A^{T}A$는 대칭 행렬이므로 고유값과 고유벡터는 모두 실수값이다. 또한 서로 다른 고유값에 해당하는 고유벡터는 서로 직각이다. $n\times n$ 행렬 $A^{T}A$의 고유값과 고유벡터를 각각 ${\lambda }_j$와 ${\mathbf{v}}_j$라고 하면, 임의의 벡터 $\mathbf{x}$는 고유벡터의 선형 조합으로 표현할 수 있고,

 

$$\mathbf{x}=c_1{\mathbf{v}}_1+c_2{\mathbf{v}}_2+\cdots +c_n{\mathbf{v}}_n$$

 

${\mathbf{v}}_i^T{\mathbf{v}}_j=0$ 이므로 다음 식을 얻을 수 있다.

 

$$\begin{array}{rl}\frac{{\mathbf{x}}^T{A}^{T}A\mathbf{x}}{{\mathbf{x}}^T\mathbf{x}}& =\frac{(c_1{\mathbf{v}}_1+\cdots +c_n{\mathbf{v}}_n{)}^T(c_1{\lambda }_1{\mathbf{v}}_1+\cdots +c_n{\lambda }_n{\mathbf{v}}_n)}{(c_1{\mathbf{v}}_1+\cdots +c_n{\mathbf{v}}_n{)}^T(c_1{\mathbf{v}}_1+\cdots +c_n{\mathbf{v}}_n)}\\ \\ & =\frac{c_1^2{\lambda }_1+\cdots +c_n^2{\lambda }_n}{c_1^2+\cdots +c_n^2}\\ \\ & \le \frac{(c_1^2+\cdots +c_n^2){\lambda }_{max}}{c_1^2+\cdots +c_n^2}\\ \\ & ={\lambda }_{max}\end{array}$$

 

따라서 $\Vert A{\Vert }_2$가 증명된다.

1-놈, 2-놈, $\mathrm{\infty }$-놈과 결은 다르지만 프로베니우스(Frobenius) 놈도 자주 사용된다. 프로베니우스 놈 $\Vert A{\Vert }_F$는 다음과 같이 정의된다.

 

$$\Vert A{\Vert }_F=\sqrt{trace(A^{T}A)}$$

 

 

행렬 놈의 예를 들면,

 

$$A=\left[\begin{array}{ccc}1& 2& 0\\ 0& 0& 1\end{array}\right]$$

 

일 때, $\Vert A{\Vert }_1=2$, $\Vert A{\Vert }_2=\sqrt{5}$, $\Vert A{\Vert }_{\mathrm{\infty }}=3$, $\Vert A{\Vert }_F=\sqrt{6}$ 이다.