역전파 (Backpropagation) 계산

선형 레이어(또는 fully-connected layer, 완전 연결 레이어)는 레이어의 모든 뉴런이 이전 레이어의 모든 뉴런과 연결된 레이어이다.

 

 

 

선형 레이어는 다음과 같이 선형 방정식으로 표현할 수 있다.

 

$${\mathbf{z}}^{(l+1)}=W^{(l)}{\mathbf{a}}^{(l)}+{\mathbf{b}}^{(l)}$$

 

여기서 위첨자 $l$은 $l$번째 은닉(hidden) 레이어를 뜻하고 $W^{(l)}$은 가중치(weights), ${\mathbf{b}}^{(l)}$는 바이어스를 나타낸다. 레이어의 출력 ${\mathbf{z}}^{(l+1)}$은 활성함수(activation function) ${\sigma }^{(l+1)}$를 통과하여 ${\mathbf{a}}^{(l+1)}$이 된다.

 

$${\mathbf{a}}^{(l+1)}={\sigma }^{(l+1)}({\mathbf{z}}^{(l+1)})$$

 

${\mathbf{a}}^{(l+1)}$은 다시 $l+1$ 번째 은닉(hidden) 레이어의 입력이 된다. 그림에서 $\mathbf{x}$는 입력, $\hat{\mathbf{y}}$는 출력, $L$은 손실함수(loss function)다. 입력 $\mathbf{x}$는 보통 ${\mathbf{a}}^{(0)}$로 두어서 표기의 일관성을 유지하기도 한다.

 

 

전통적으로 신경망은 위 그림과 같이 뉴런과 연결층으로 표시하지만 활성함수를 분명히 표시하고 수식관계를 간편하게 알아보도록 다음과 같은 그림으로 표시하기도 한다.

 

 

신경망을 학습한다는 것은 손실함수 $L$이 최소가 되도록 가중치 $W^{(l)}$와 바이어스 ${\mathbf{b}}^{(l)}$를 반복적으로 계산한다는 뜻이다. 그러기 위해서는 손실함수에 대한 가중치와 바이어스의 미분이 필요하다.

신경망은 입력 $\mathbf{x}$로 부터 각 레이어의 출력 ${\mathbf{a}}^{(l)}$을 거쳐 최종 출력 $\hat{\mathbf{y}}$가 산출되는 복합함수(composite)이다. 따라서 손실함수에 대한 가중치와 바이어스의 미분은 연쇄법칙(chain rule)로 구할 수 있다.

 

$$\begin{array}{rl}\frac{dL}{d{W}^{(l)}}& =\frac{d{\mathbf{z}}^{(l)}}{d{W}^{(l)}}\frac{d{\mathbf{a}}^{(l)}}{d{\mathbf{z}}^{(l)}}\frac{d{\mathbf{z}}^{(l+1)}}{d{\mathbf{a}}^{(l)}}\cdots \frac{d\hat{\mathbf{y}}}{d{\mathbf{z}}^{(last)}}\frac{dL}{d\hat{\mathbf{y}}}\\ \\ \frac{dL}{d{\mathbf{b}}^{(l)}}& =\frac{d{\mathbf{z}}^{(l)}}{d{\mathbf{b}}^{(l)}}\frac{d{\mathbf{a}}^{(l)}}{d{\mathbf{z}}^{(l)}}\frac{d{\mathbf{z}}^{(l+1)}}{d{\mathbf{a}}^{(l)}}\cdots \frac{d\hat{\mathbf{y}}}{d{\mathbf{z}}^{(last)}}\frac{dL}{d\hat{\mathbf{y}}}\end{array}$$

 

비용함수는 항상 스칼라 함수로 주어지므로 위 식에서 $\frac{dL}{d{W}^{(l)}}$ 는 행렬, $\frac{dL}{d{\mathbf{b}}^{(l)}}$ 와 $\frac{dL}{d\hat{\mathbf{y}}}$는 벡터이고, $\frac{d{\mathbf{z}}^{(l)}}{d{W}^{(l)}}$ 의 결과는 3차원 텐서로 나오며, 나머지는 자코비안 행렬이다.

 

 

 

연쇄법칙으로 위 식을 이용하여 미분을 구할 때는 수식의 맨 오른쪽부터 왼쪽으로 이동하며 계산하는 역전파(backpropagation)가 유리하다. 왜냐하면 비용함수가 스칼라이므로 맨 오른쪽 미분의 결과는 벡터이기 때문이다. 왼쪽으로 이동하며 계산하게 되면 항상 행렬과 벡터의 곱인 $\frac{d\mathbf{z}}{d\mathbf{a}}\delta$, $\frac{d\mathbf{a}}{d\mathbf{z}}\delta$ 의 형태로 미분을 계산할 수 있다.

 

 

선형 레이어는 $\mathbf{z}=W\mathbf{a}+\mathbf{b}$의 형태이므로 연쇄법칙 수식에 나오는 구성 성분을 차례로 계산해보자.

먼저 자코비안 항이다.

 

$$\begin{array}{rl}\frac{d\mathbf{z}}{d\mathbf{a}}& =W^T\\ \\ \frac{d\mathbf{z}}{d\mathbf{b}}& =I\end{array}$$

 

$\mathbf{a}=\sigma (\mathbf{z})$는 활성함수에 따라 계산이 달라지는데, 만약 활성함수로 ReLU를 사용한다면 다음과 같이 된다.

 

$$\frac{d\mathbf{a}}{d\mathbf{z}}=\left[\begin{array}{ccc}\frac{d{\sigma }_1}{d{z}_1}& & 0\\ & \ddots & \\ 0& & \frac{d{\sigma }_k}{d{z}_k}\end{array}\right],\frac{d{\sigma }_i}{d{z}_i}=\{\begin{array}{ll}1,& z_i>0\\ 0,& \text{else }\end{array}$$

 

만약 sigmoid를 사용한다면 다음과 같이 된다.

 

$$\frac{d\mathbf{a}}{d\mathbf{z}}=\left[\begin{array}{ccc}\frac{d{\sigma }_1}{d{z}_1}& & 0\\ & \ddots & \\ 0& & \frac{d{\sigma }_k}{d{z}_k}\end{array}\right],\frac{d{\sigma }_i}{d{z}_i}=-\frac{\exp (-z_i)}{1+\exp (-z_i)}{\sigma }_i$$

 

$\frac{d\mathbf{z}}{dW}$는 벡터를 행렬로 미분하는 것으로서 정의에 의해서 $k$번째 깊이(depth)축의 행렬은 다음과 같이 계산하면 된다.

 

$$\begin{array}{rl}\frac{d{z}_k}{dW}& =\frac{d}{dW}(w_{k1}{a}_1+w_{w2}{a}_2+\cdots +w_{kn}{a}_n)\\ \\ & =\left[\begin{array}{c}\leftarrow 0\to \\ ⋮\\ {\mathbf{a}}^T\\ ⋮\\ \leftarrow 0\to \end{array}\right]\end{array}$$

 

여기서 $w_{ij}$는 행렬 $W$의 성분이고 $z_k$는 벡터 $\mathbf{z}$의 $k$번째 성분이다. 계산 결과 $k$번째 깊이(depth)축의 행렬은 $k$번째 행을 제외하고는 모두 $0$의 값을 갖는다. 따라서 $\frac{d\mathbf{z}}{dW}$와 벡터 $\delta$의 곱은 결과가 행렬로 나오며 다음과 같이 계산된다.

 

$$\frac{d\mathbf{z}}{dW}\delta =\left[\begin{array}{c}{\delta }_1{\mathbf{a}}^T\\ ⋮\\ {\delta }_k{\mathbf{a}}^T\\ ⋮\\ {\delta }_m{\mathbf{a}}^T\end{array}\right]=\delta {\mathbf{a}}^T$$

 

여기서 $\delta =[{\delta }_1\cdots {\delta }_m{]}^T$이다.

3차 텐서와 행렬의 곱이 좀 복잡하게 느껴지겠지만 다음과 같이 생각하면 쉽다.

먼저 벡터와 벡터의 곱은 다음과 같다. 각 벡터의 성분과 성분을 곱한 후 더한다.

 

행렬과 벡터의 곱은 다음과 같다. 행렬의 성분인 열벡터와 벡터의 성분을 곱한 후 더한다.

 

3차 텐서와 벡터의 곱은 다음과 같다. 텐서의 성분인 행렬과 벡터의 성분을 곱한 후 더한다.