AI 수학/최적화
다변수 함수의 연쇄법칙 (Chain Rule)
깊은대학
2021. 3. 23. 09:00
연쇄법칙(chain rule)은 합성함수(composite function)의 도함수를 구할 때 유용하게 사용되는 법칙이다. 합성함수란 두개 이상의 함수를 연결하여 하나의 함수로 만드는 연산을 말한다. 연쇄법칙은 신경망을 학습시킬 때 사용되는 역전파(backpropagation) 알고리즘의 근간을 이룬다.
벡터
한편
식 (2)를 식 (1)에 대입하면 다음과 같다.
한편
식 (1)과 (3)은 같아야 하므로 다음 관계가 성립한다.
이 식을 벡터와 행렬 형식으로 표현하면 다음과 같다.
또는
여기서
식 (7)은 임의의 차원의 벡터일 때도 적용된다. 예를 들어
식 (7)을 다변수 합성함수의 연쇄법칙(chain rule)이라고 한다. 연쇄법칙은 복합함수를 구성하는 개별함수의 도함수를 이용해서 복합함수의 도함수를 계산해주는 법칙이다.

연쇄법칙은 복합함수의 구성함수가 2개 이상일 때도 작용할 수 있다. 그림과 같이 연쇄적으로자코비안을 계산해주면 된다.
