스칼라 함수를 벡터로 두번 미분하기 : 헤시안

스칼라 함수의 그래디언트는 벡터다. 그러면 그래디언트를 벡터에 대해 한번 더 미분한다면 행렬이 될 것이다. 이 행렬은 스칼라 함수를 벡터로 두 번 미분하여 얻어진 것으로 헤시안(Hessian)이라고 한다. 수식으로 알아보자.

벡터 $\mathbf{x}={\left[\begin{array}{cccc}{x}_1& x_2& ...& x_n\end{array}\right]}^T$의 구성요소를 변수로 하는 다변수 스칼라 함수 $f(\mathbf{x})$를 벡터 $\mathbf{x}$에 대해 미분하면 다음과 같이 된다.

 

$$\frac{df}{d\mathbf{x}}=\left[\begin{array}{c}\frac{\partial f}{\partial x_1}\\ \frac{\partial f}{\partial x_2}\\ ⋮\\ \frac{\partial f}{\partial x_n}\end{array}\right]$$

 

벡터 함수의 벡터 미분 표기에 의하면, 벡터 함수 $\frac{df}{d\mathbf{x}}$를 벡터 $\mathbf{x}$에 대해 미분한다는 표기는 $\frac{d}{d\mathbf{x}}\left(\frac{df}{d\mathbf{x}}\right)$가 된다. 그리고 벡터 함수의 미분 정의에 의하면 헤시안 $\frac{d}{d\mathbf{x}}\left(\frac{df}{d\mathbf{x}}\right)$는 다음과 같이 계산된다.

 

$$\frac{d}{d\mathbf{x}}\left(\frac{df}{d\mathbf{x}}\right)=\frac{d^{2}f}{d{\mathbf{x}}^2}=\left[\begin{array}{cccc}\frac{\partial }{\partial x_1}\left(\frac{\partial f}{\partial x_1}\right)& \frac{\partial }{\partial x_1}\left(\frac{\partial f}{\partial x_2}\right)& \cdots & \frac{\partial }{\partial x_1}\left(\frac{\partial f}{\partial x_n}\right)\\ \frac{\partial }{\partial x_2}\left(\frac{\partial f}{\partial x_1}\right)& \frac{\partial }{\partial x_2}\left(\frac{\partial f}{\partial x_2}\right)& \cdots & \frac{\partial }{\partial x_2}\left(\frac{\partial f}{\partial x_n}\right)\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial }{\partial x_n}\left(\frac{\partial f}{\partial x_1}\right)& \frac{\partial }{\partial x_n}\left(\frac{\partial f}{\partial x_2}\right)& \cdots & \frac{\partial }{\partial x_n}\left(\frac{\partial f}{\partial x_n}\right)\end{array}\right]$$

 

정의에 의하면 헤시안은 행과 열의 개수가 $n$인 정방 행렬(square matrix)이다. $n$은 벡터의 구성 성분의 개수다. 스칼라 함수가 연속이고 미분 가능하면 미분의 순서는 상관없으므로 헤시안은 다음과 같이 대칭 행렬(symmetric matrix)이 된다.

 

$$\frac{d}{d\mathbf{x}}\left(\frac{df}{d\mathbf{x}}\right)=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \frac{{\partial }^{2}f}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_1\partial x_n}& \frac{{\partial }^{2}f}{\partial x_2\partial x_n}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$$

 

예를 들어 보자. 다음과 같은 스칼라 함수가 있을 때,

 

$$f(r,\theta )=r\cos \theta$$

 

헤시안 $\frac{d}{d\mathbf{x}}\left(\frac{df}{d\mathbf{x}}\right)$는 다음과 같이 계산된다. 여기서 $\mathbf{x}=\left[\begin{array}{c}r\\ \theta \end{array}\right]$이다.

 

$$\frac{d}{d\mathbf{x}}\left(\frac{df}{d\mathbf{x}}\right)=\left[\begin{array}{cc}\frac{{\partial }^{2}f}{\partial r^2}& \frac{{\partial }^{2}f}{\partial r\partial \theta }\\ \frac{{\partial }^{2}f}{\partial r\partial \theta }& \frac{{\partial }^{2}f}{\partial {\theta }^2}\end{array}\right]=\left[\begin{array}{cc}0& -\sin \theta \\ -\sin \theta & -r\cos \theta \end{array}\right]$$