[Continuous-Time] 최적제어 문제

최적제어(optimal control)문제는 여러 가지 물리적인 제약조건을 만족하면서 어떤 성능지표(performance index) 또는 목적함수(objective function)를 최적화하도록 동적 시스템(dynamic system)의 제어변수(control variable)을 결정하는 문제이다.

 

 

제약조건(constraints)은 동적 시스템의 동역학과 함께 시스템 제어변수 및 상태변수의 경로 제약조건(path constraints), 상태변수의 초기값(initial value) 및 최종값(final value)에 관한 제약조건(constraint on the initial and final states)을 모두 포함한다. 목적함수는 설계자가 의도한대로 시스템을 움직이면서 의도한 성능을 발휘할 수 있도록, 상태변수와 제어변수에 관한 비용함수(cost function)로 주어지는 것이 일반적이다. 비용함수를 최소화하는 것이 목적함수를 최적화하는 것이다. 최적제어 문제를 수학식으로 표현하면 다음과 같다. 우선 시스템의 동역학은 다음과 같이 미분방정식으로 표현된다.

 

\[ \dot{\mathbf{x}}(t)= \mathbf{f}(\mathbf{x}(t), \mathbf{u}(t), t) \tag{1} \]

 

여기서 \(\mathbf{x}(t) \in \mathbb{R}^n\) 는 상태변수 벡터, \(\mathbf{u}(t) \in \mathbb{R}^p\) 는 제어변수 벡터이고 \(t\) 는 연속시간(continuous-time)을 의미한다. 제어변수가 최소화해야 할 목적함수는 다음과 같이 주어진다.

 

\[ J= \phi(\mathbf{x}(t_0 ), \mathbf{x}(t_f ), t_0, t_f ) + \int_{t_0}^{t_f} g(\mathbf{x}(t), \mathbf{u}(t), t) \ dt \tag{2} \]

 

여기서 \(t_0\) 는 초기시간(initial time), \(t_f\) 는 최종시간(final time)이며, \(g(\mathbf{x}(t), \mathbf{u}(t), t)\) 는 운행비용(running cost), \(\phi(\mathbf{x}(t_0 ), \mathbf{x}(t_f ), t_0, t_f )\) 는 초기시간과 최종시간에서의 비용이다. 목적함수는 제어 설계자가 의도한 대로 시스템이 반응하도록 정해진다. 초기 및 최종 상태변수 제약조건은 상태변수의 초기값과 최종값의 함수로서 다음과 같이 부등식으로 주어진다.

 

\[ \psi_{min} \le \psi (\mathbf{x}(t_0 ), \mathbf{x}(t_f ), t_0, t_f ) \le \psi_{max} \tag{3} \]

 

여기서 \(\psi \in \mathbb{R}^m\) 로서 구성 성분이 \(m\) 개인 벡터이며 부등식은 벡터를 구성하는 각 성분의 부등식으로 해석한다. 경로 제약조건(path constraint)은 상태변수와 제어변수의 함수로서 시스템의 경로에 가해지는 제약조건을 다음과 같이 부등식으로 나타낸다.

 

\[ \mathbf{c}_{min} \le \mathbf{c}( \mathbf{x}(t), \mathbf{u}(t), t) \le \mathbf{c}_{max} \tag{4} \]

 

최적제어 문제는 동역학, 상태변수 제약조건, 경로 제약조건을 만족하면서 목적함수를 최소화시키는 제어변수 \(\mathbf{u}(t), \ t \in [t_0, t_f]\) 를 구하는 것이다.

일반 최적제어 문제는 해석적으로 접근하기가 곤란하므로, 문제를 조금 단순화시켜 보도록 한다. 일반 최적제어 문제에서 경로 제약조건을 없애고, 초기상태 및 최종 상태변수 제약조건을 등식 방정식으로 바꾼다. 그러면 최적제어 문제는 다음과 같이 단순화된다. 물론 단순화됐다고 해서 문제를 해석적으로 쉽게 풀 수 있다는 것은 아니다.

 

\[ \begin{align} & \min J = \phi(\mathbf{x}(t_0 ), \mathbf{x}(t_f ), t_0, t_f ) + \int_{t_0}^{t_f} g(\mathbf{x}(t), \mathbf{u}(t), t) \ dt \tag{5} \\ \\ & \mbox{subject to: } \ \dot{\mathbf{x}}(t)= \mathbf{f}(\mathbf{x}(t), \mathbf{u}(t), t) \\ \\ & \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \psi(\mathbf{x}(t_0 ), \mathbf{x}(t_f ), t_0, t_f ) = 0 \end{align} \]

 

식 (5)에 상태변수의 초기값과 최종값에 대한 함수가 \(\phi\) 와 \(\psi \) 등 두 개가 있는데, \(\phi\) 는 스칼라 함수로서 목적함수의 일부이므로 그 값을 작게 만드는 게 목적이 되는 것이고,\(\psi\) 는 벡터함수로서 제약조건이므로 반드시 \(0\) 으로 만들어야 한다는 점에서 차이가 있다.

최적제어 문제를 풀기 위하여 라그랑지 곱수(Lagrange multiplier)를 도입하여 동역학식과 제약조건을 목적함수에 포함시킨다. 라그랑지 곱수 \(\lambda (t) \in \mathbb{R}^n\) 는 동역학 식에, \(\nu \in \mathbb{R}^m\) 는 제약조건에 연결시키면, 목적함수를 다음과 같이 비제약(unconstrained) 목적함수로 바꿀 수 있다.

 

\[ \begin{align} \tilde{J} &= \phi(\mathbf{x}(t_0 ), \mathbf{x}(t_f ), t_0, t_f ) + \nu^T \psi(\mathbf{x}(t_0 ), \mathbf{x}(t_f ), t_0, t_f ) \tag{6} \\ \\ & \ \ + \int_{t_0}^{t_f} \left[ g(\mathbf{x}(t), \mathbf{u}(t), t) +\lambda^T (t)\{ \mathbf{f}( \mathbf{x}(t), \mathbf{u}(t), t)- \dot{\mathbf{x}} \} \right] \ dt \end{align} \]

 

해밀토니안(Hamiltonian) 함수를 다음과 같이 정의하면,

 

\[ H(\mathbf{x}, \mathbf{u}, \lambda, t)= g(\mathbf{x}, \mathbf{u}, t) + \lambda^T \mathbf{f}( \mathbf{x}, \mathbf{u}, t) \tag{7} \]

 

목적함수 \(\tilde{J}\) 는 다음과 같이 된다.

 

\[ \begin{align} \tilde{J} &= \phi(\mathbf{x}(t_0 ), \mathbf{x}(t_f ), t_0, t_f ) + \nu^T \psi(\mathbf{x}(t_0 ), \mathbf{x}(t_f ), t_0, t_f ) \tag{8} \\ \\ & \ \ + \int_{t_0}^{t_f} \left[ H( \mathbf{x}, \mathbf{u}, \lambda, t) -\lambda^T \dot{\mathbf{x}} \right] \ dt \end{align} \]

 

 

 

먼저, 비제약 목적함수 \(\tilde{J}\) 를 구성하는 모든 변수 \(\mathbf{x}, \mathbf{u}, \lambda, \nu, \dot{\mathbf{x}}, t\) 의 증분(increment)에 따른 목적함수의 일차(first-order) 증분 \(d\tilde{J}\) 를 구해보도록 한다.

 

\[ \begin{align} d\tilde{J} &= \left( \frac{\partial \phi }{ \partial \mathbf{x}} + \left( \frac{\partial \psi }{ \partial \mathbf{x}} \right) ^T \nu \right) _{t_0}^T d \mathbf{x}(t_0 )+ \left( \frac{\partial \phi }{ \partial t} + \left( \frac{\partial \psi }{ \partial t} \right) ^T \nu \right) _{t_0}^T d t_0 \tag{9} \\ \\ & \ \ \ + \left( \frac{\partial \phi }{ \partial \mathbf{x}} + \left( \frac{\partial \psi }{ \partial \mathbf{x}} \right) ^T \nu \right) _{t_f}^T d \mathbf{x}(t_f )+ \left( \frac{\partial \phi }{ \partial t} + \left( \frac{\partial \psi }{ \partial t} \right) ^T \nu \right) _{t_f}^T d t_f \\ \\ & \ \ \ + \psi^T d \nu +(H- \lambda^T \dot{\mathbf{x}} )_{t_f } dt_f-(H-\lambda ^T \dot{\mathbf{x}})_{t_0 } dt_0 \\ \\ & \ \ \ + \int_{t_0}^{t_f} \left[ \left( \frac{\partial H}{\partial \mathbf{x}} \right)^T \delta \mathbf{x} +\left( \frac{\partial H}{\partial \mathbf{u}} \right)^T \delta \mathbf{u} - \lambda^T \delta \dot{\mathbf{x}}+\left( \frac{\partial H}{\partial \lambda}-\dot{\mathbf{x}} \right)^T \delta \lambda \right] \ dt \end{align} \]

 

위 식에서 \(\delta \dot{\mathbf{x}}\) 을 부분적분법을 이용하여 다음과 같이 바꾼다.

 

\[ \begin{align} -\int_{t_0}^{t_f} \lambda^T \delta \dot{\mathbf{x}} \ dt &= - \lambda^T (t_f ) \delta \mathbf{x}(t_f ) + \lambda^T (t_0 ) \delta \mathbf{x}(t_0 ) \tag{10} \\ \\ & \ \ \ \ \ +\int_{t_0}^{t_f} \dot{\lambda}^T \delta \mathbf{x} \ dt \end{align} \]

 

여기서 변분(variation) \(\delta \mathbf{x}(t_f )\) 와 미분(differential) \(d \mathbf{x}(t_f )\), 그리고 \(\delta \mathbf{x}(t_0 )\) 와 \(d\mathbf{x}(t_0 )\) 는 서로 다르며 다음과 같은 관계식을 갖는다는 점에 주의해야 한다.

 

\[ \begin{align} & d \mathbf{x}(t_0 ) = \delta \mathbf{x}(t_0 )+ \dot{\mathbf{x}}(t_0 )dt_0 \tag{11} \\ \\ & d \mathbf{x}(t_f ) = \delta \mathbf{x}(t_f )+ \dot{\mathbf{x}}(t_f )dt_f \end{align} \]

 

 

식 (10)을 (9)에 대입하면 다음과 같다.

 

\[ \begin{align} d\tilde{J} &= \left( \frac{\partial \phi }{ \partial \mathbf{x}} + \left( \frac{\partial \psi }{ \partial \mathbf{x}} \right) ^T \nu +\lambda \right) _{t_0}^T d \mathbf{x}(t_0 ) + \left( \frac{\partial \phi }{ \partial t} + \left( \frac{\partial \psi }{ \partial t} \right) ^T \nu - \lambda^T \dot{\mathbf{x}} \right) _{t_0}^T d t_0 \tag{12} \\ \\ & \ \ \ + \left( \frac{\partial \phi }{ \partial \mathbf{x}} + \left( \frac{\partial \psi }{ \partial \mathbf{x}} \right) ^T \nu -\lambda \right) _{t_f}^T d \mathbf{x}(t_f )+ \left( \frac{\partial \phi }{ \partial t} + \left( \frac{\partial \psi }{ \partial t} \right) ^T \nu + \lambda^T \dot{\mathbf{x}} \right) _{t_f}^T d t_f \\ \\ & \ \ \ + \psi^T d \nu +(H-\lambda ^T \dot{\mathbf{x}} )_{t_f} dt_f -(H-\lambda^T \dot{\mathbf{x}} )_{t_0} dt_0 \\ \\ & \ \ \ + \int_{t_0}^{t_f} \left[ \left( \frac{\partial H}{\partial \mathbf{x}} +\dot{\lambda} \right)^T \delta \mathbf{x} +\left( \frac{\partial H}{\partial \mathbf{u}} \right)^T \delta \mathbf{u} +\left( \frac{\partial H}{\partial \lambda}-\dot{\mathbf{x}} \right)^T \delta \lambda \right] \ dt \end{align} \]

 

정리하면 위 식은 다음과 같이 된다.

 

\[ \begin{align} d\tilde{J} &= \left( \frac{\partial \phi }{ \partial \mathbf{x}} + \left( \frac{\partial \psi }{ \partial \mathbf{x}} \right) ^T \nu +\lambda \right) _{t_0}^T d \mathbf{x}(t_0 ) + \left( \frac{\partial \phi }{ \partial t} + \left( \frac{\partial \psi }{ \partial t} \right) ^T \nu -H \right) _{t_0}^T d t_0 \tag{13} \\ \\ & \ \ \ + \left( \frac{\partial \phi }{ \partial \mathbf{x}} + \left( \frac{\partial \psi }{ \partial \mathbf{x}} \right) ^T \nu -\lambda \right) _{t_f}^T d \mathbf{x}(t_f )+ \left( \frac{\partial \phi }{ \partial t} + \left( \frac{\partial \psi }{ \partial t} \right) ^T \nu +H \right) _{t_f}^T d t_f \\ \\ & \ \ \ + \psi^T d \nu \\ \\ & \ \ \ + \int_{t_0}^{t_f} \left[ \left( \frac{\partial H}{\partial \mathbf{x}} +\dot{\lambda} \right)^T \delta \mathbf{x} +\left( \frac{\partial H}{\partial \mathbf{u}} \right)^T \delta \mathbf{u} +\left( \frac{\partial H}{\partial \lambda}-\dot{\mathbf{x}} \right)^T \delta \lambda \right] \ dt \end{align} \]

 

라그랑지(Lagrange) 이론에 의하면 비제약 목적함수 \(\tilde{J}\) 가 최소일 때, 본래 목적함수 \(J\) 가 최소가 된다. 따라서 본래 목적함수 \(J\) 가 최소가 되기 위한 필요조건은 \(d\tilde{j}=0\) 이므로, 위 식에서 각 변수 증분의 계수를 \(0\) 으로 놓으면 최적제어의 필요조건(necessary condition)을 얻을 수 있다. 위 식의 적분항에서 최적 조건을 구하면,

 

\[ \begin{align} \dot{\mathbf{x}} &= \frac{\partial H}{\partial \lambda} = \mathbf{f}(\mathbf{x}, \mathbf{u}, t) \tag{14} \\ \\ -\dot{\lambda} &= \frac{\partial H}{\partial \mathbf{x}} = \left( \frac{\partial \mathbf{f}}{\partial \mathbf{x}} \right) ^T \lambda + \frac{\partial g}{\partial \mathbf{x}} \tag{15} \\ \\ 0 &= \frac{\partial H}{\partial \mathbf{u}} = \left( \frac{\partial \mathbf{f}}{\partial \mathbf{u}} \right) ^T \lambda + \frac{\partial g}{\partial \mathbf{u}} \tag{16} \end{align} \]

 

이 된다. 식(14)는 시스템의 동역학인 상태변수 미분방정식이고, 식(15)는 라그랑지 곱수의 미분방정식으로서 코스테이트(costate) 방정식이라고 한다. 식(16)은 정정조건(stationary condition)이라고 한다. 이 식으로부터 최적 제어변수를 계산할 수 있다.

 

 

초기 및 최종 상태변수 제약조건은 식 (13)의 다섯 번째 항으로부터 구할 수 있다.

 

\[ \psi(\mathbf{x}(t_0 ), \mathbf{x}(t_f ), t_0, t_f )=0 \tag{17} \]

 

초기시간과 최종시간에서 경계조건(boundary condition)은 식 (13)의 첫 번째에서 네 번째 항까지로 부터 구할 수 있다.

 

\[ \begin{align} & \left( \frac{\partial \phi }{ \partial \mathbf{x}} + \left( \frac{\partial \psi }{ \partial \mathbf{x}} \right) ^T \nu +\lambda \right) _{t_0}^T d \mathbf{x}(t_0 ) + \left( \frac{\partial \phi }{ \partial t} + \left( \frac{\partial \psi }{ \partial t} \right) ^T \nu -H \right) _{t_0}^T d t_0 = 0 \tag{18} \\ \\ & \left( \frac{\partial \phi }{ \partial \mathbf{x}} + \left( \frac{\partial \psi }{ \partial \mathbf{x}} \right) ^T \nu -\lambda \right) _{t_f}^T d \mathbf{x}(t_f )+ \left( \frac{\partial \phi }{ \partial t} + \left( \frac{\partial \psi }{ \partial t} \right) ^T \nu +H \right) _{t_f}^T d t_f =0 \tag{19} \end{align} \]

 

경계조건은 초기시간과 최종시간이 설정된(fixed) 값으로 주어지는지 아닌지, 그리고 초기 및 최종 상태변수가 설정된 값으로 주어지는지 아닌지에 따라 다양하게 적용할 수 있다. 만약 최종시간이 미리 설정된 값으로 주어진다면 위 식에서 \(dt_f=0\) 이 된다. 만약 상태변수의 최종값이 설정된 값이 아니고 계산해야 되는 값(free state)이라면 \(d \mathbf{x}(t_f )\ne 0\) 으로 놓는다.

해밀토니안(Hamiltonian)의 미분은 다음과 같이 된다.

 

\[ \frac{dH(\mathbf{x}, \mathbf{u}, \lambda ,t)}{dt} = \frac{\partial H}{\partial t}+ \left( \frac{\partial H}{\partial \mathbf{x}} \right)^T \dot{\mathbf{x}}+ \left( \frac{\partial H}{\partial \mathbf{u}} \right)^T \dot{\mathbf{u}}+\left( \frac{\partial H}{\partial \lambda} \right)^T \dot{\lambda} \tag{20} \]

 

식 (14), (15), (16)에 의하면 위 식은

 

\[ \begin{align} \frac{dH(\mathbf{x}, \mathbf{u}, \lambda ,t)}{dt} &= \frac{\partial H}{\partial t}+ \left( \frac{\partial H}{\partial \mathbf{x}} \right)^T \mathbf{f}+ \mathbf{f}^T \dot{\lambda} \tag{21} \\ \\ &= \frac{\partial H}{\partial t}+ \left( \frac{\partial H}{\partial \mathbf{x}} +\dot{\lambda} \right)^T \mathbf{f} \\ \\ &=\frac{\partial H}{\partial t} \end{align} \]

 

이 된다. 만약 식 (5)에서 \(\mathbf{f}\) 와 \(g\) 가 명시적으로 시간의 함수가 아니라면, 즉

 

\[ \begin{align} & \mathbf{f}(\mathbf{x}, \mathbf{u},t) = \mathbf{f}(\mathbf{x}, \mathbf{u}) \\ \\ & g(\mathbf{x}, \mathbf{u},t)=g(\mathbf{x}, \mathbf{u}) \end{align} \]

 

이라면 해밀토니안도 명시적으로 시간의 함수가 아니므로 식 (20)은 다음과 같이 된다.

 

\[ \frac{dH}{dt} = \frac{\partial H}{\partial t} = 0 \tag{22} \]

 

따라서 해밀토니안을 최적 궤적 \( ( \mathbf{x}^* (t), \mathbf{u}^* (t))\) 상에서 계산하면 상수(constant)가 됨을 알 수 있다.

지금까지 목적함수가 최소가 되기 위한 필요조건을 구했는데, 목적함수가 최소가 되기 위해서는 목적함수의 이차(second-order) 증분이 \(0\) 보다 커야 한다는, 즉, \(d^2 J \gt 0\) 이라는 충분조건(sufficient condition)이 더 필요하다. 이차 증분을 계산하는 과정이 좀 복잡한데, 결론적으로 충분조건은 다음과 같이 해밀토니안의 헤시안(Hessian)이 정정행렬(positive definite matrix)이 되어야 한다는 것으로 귀결된다. 즉,

 

\[ \frac{\partial }{\partial \mathbf{u}} \left( \frac{\partial H}{\partial \mathbf{u}} \right) \gt 0 \tag{23} \]

 

이다. 만약 제어변수가 어떤 허용된 제어변수 집합에 속해있다는 제약조건이 있다면, 즉 \(\mathbf{u} \in \mathcal{U}\) 라면, 최적 제어변수를 정정조건 \(\partial H/\partial \mathbf{u}=0\) 으로 구할 수가 없다. 폰트리아진(Pontryagin)은 이런 경우에 정정조건만 아래와 같이 보다 일반적인 조건으로 바꾸면 된다는 것을 증명하였다.

 

\[ \mathbf{u}^* (t)=\arg \min_{\mathbf{u} \in \mathcal{U}} H(\mathbf{x}^* (t), \mathbf{u}, \lambda^* (t), t) \tag{24} \]

 

여기서 위첨자 \(^*\) 는 최적값을 의미하고 \(\mathcal{U}\) 는 허용된 제어변수의 집합이다. 위 식을 폰트리아진의 최소원리(Pontryagin's minimum principle)라고 한다.

폰트리아진의 최소원리에 의하면, 최적 제어변수는 상태변수와 코스테이트의 최적값에 대해서 해밀토니안을 최소화시키는 제어변수 집합중의 한 원소가 된다. 폰트리아진의 최소원리는 다음과 같이 표현할 수도 있다.

 

\[ H(\mathbf{x}^*, \mathbf{u}^*, \lambda^*, t) \le H(\mathbf{x}^*, \mathbf{u}, \lambda^*, t) , \ \ \ \mathbf{u}\in \mathcal{U} \tag{25} \]

 

여기서 위 식은 \( H(\mathbf{x}^*, \mathbf{u}^*, \lambda^*, t) \le H(\mathbf{x}, \mathbf{u}, \lambda, t) \) 를 의미하는 것이 아니라는 점에 주의해야 한다. 폰트리아진의 최소원리는 정정조건(stationary condition) 보다 더 일반적인 조건이기 때문에 제어변수에 제약이 없는 경우에도 물론 적용할 수 있다. 허용된 제어변수의 집합을 무한대로 확장시키면 되기 때문이다. 또한 폰트리아진의 최소원리는 해밀토니안을 최소값으로 만드는 제어변수를 구하는 것이기 때문에, 해밀토니안의 헤시안(Hessian)이 정정행렬(positive-definite matrix)이 되어야 한다는 충분조건도 포함하고 있다.

일반적으로 간단한 문제의 경우에도 최적제어 해는 계산하기가 매우 어려우며 오픈-루프 제어(open-loop control) 형태로 산출된다.