이노베이션 (Innovation)의 확률적 특성

칼만필터(Kalman filter)의 이노베이션(innovation) 또는 측정 잔차는 측정값(measurement)과 측정 예측값(measurement prediction)의 차이로서 칼만필터가 작동 중에 유일하게 실제값과 비교하여 알 수 있는 값이다. 따라서 이 값과 이 값의 확률적 특성을 이용하면 칼만필터가 설계대로 잘 작동하고 있는지 여부를 판단할 수 있을 뿐만 아니라 칼만필터 설계값들을 튜닝할 수 있는 근거가 된다.

먼저 칼만필터 알고리즘을 간략히 살펴본 후 이노베이션의 확률적 특성에 대해서 알아보자. 다음과 같이 선형 시스템이 있다.

 

$$\begin{array}{r}\text{(1)}& {\mathbf{x}}_{t+1}& =F_t{\mathbf{x}}_t+G_t{\mathbf{u}}_t+{\mathrm{\Gamma }}_t{\mathbf{w}}_t\\ {\mathbf{z}}_t& =H_t{\mathbf{x}}_t+{\mathbf{v}}_t\end{array}$$

 

여기서 ${\mathbf{x}}_t\in {\mathbb{R}}^{n_x}$, ${\mathbf{u}}_t\in {\mathbb{R}}^{n_u}$, ${\mathbf{z}}_t\in {\mathbb{R}}^{n_z}$, ${\mathbf{w}}_t\in {\mathbb{R}}^{n_w}$, ${\mathbf{v}}_t\in {\mathbb{R}}^{n_z}$ 이며 하첨자 $t$ 는 시간스텝(time step)을 의미한다.

프로세스 노이즈 ${\mathbf{w}}_t$ 와 센서 노이즈 ${\mathbf{v}}_t$ 는 평균이 $0$ 인 가우시안 화이트 노이즈(white noise)로서 그 값은 다음과 같이 주어진다.

 

$$\begin{array}{r}\text{(2)}& & \mathbb{E}[{\mathbf{w}}_t]=0,\mathbb{E}[{\mathbf{w}}_t{\mathbf{w}}_l^T]=Q_t{\delta }_{tl},Q_t>0\\ & \mathbb{E}[{\mathbf{v}}_t]=0,\mathbb{E}[{\mathbf{v}}_t{\mathbf{v}}_l^T]=R_t{\delta }_{tl},R_t>0\\ \\ & \mathbb{E}[{\mathbf{w}}_t{\mathbf{v}}_l^T]=0,\mathbb{E}[{\mathbf{x}}_0{\mathbf{w}}_t^T]=0,\mathbb{E}[{\mathbf{x}}_0{\mathbf{v}}_t^T]=0\end{array}$$

 

여기서 ${\delta }_{tl}$ 는 크로넥커 델타(Kronecker delta) 함수로서 $t=l$ 이면 ${\delta }_{tl}=1$ 이고 $t\ne l$ 이면 ${\delta }_{tl}=0$ 이다. 노이즈 공분산 $Q_t$ 와 $R_t$ 는 정정행렬(positive-definite matrix)이다. 식 (1)에서 ${\mathrm{\Gamma }}_t{\mathbf{w}}_t={\tilde{\mathbf{w}}}_t$ 로 단순하게 표기하는 경우도 많은데 이 경우 공분산은 ${\mathrm{\Gamma }}_t{Q}_t{\mathrm{\Gamma }}_t^T\ge 0$ 으로서 반정정행렬(positive semi-definite matrix)이 될 수도 있다.

 

수학으로 풀어보는 칼만필터 알고리즘 | 박성수 - 교보문고

 

식 (1)과 (2)에 대해서 칼만필터 알고리즘은 다음과 같다.

 

$$\begin{array}{r}\text{(3)}& & {\hat{\mathbf{x}}}_{t+1|t}=F_t{\hat{\mathbf{x}}}_{t|t}+G_t{\mathbf{u}}_t\\ & P_{t+1|t}=F_t{P}_{t|t}{F}_t^T+{\mathrm{\Gamma }}_t{Q}_t{\mathrm{\Gamma }}_t^T\\ \\ & {\nu }_t={\mathbf{z}}_t-H_t{\hat{\mathbf{x}}}_{t|t-1}\\ \\ & S_t=H_t{P}_{t|t-1}{H}_t^T+R_t\\ \\ & K_t=P_{t|t-1}{H}_t^T{S}_t^{-1}\\ \\ & {\hat{\mathbf{x}}}_{t|t}={\hat{\mathbf{x}}}_{t|t-1}+K_t{\nu }_t\\ \\ & P_{t|t}=P_{t|t-1}-K_t{S}_t{K}_t^T=(I-K_t{H}_t)P_{t|t-1}(I-K_t{H}_t{)}^T+K_t{R}_t{K}_t^T\end{array}$$

 

여기서 ${\nu }_t$ 를 이노베이션(innovation)이라고 한다. 특성은 다음과 같이 정리할 수 있다.

 

$$\begin{array}{r}\text{(4)}& & {\nu }_t\sim \mathcal{N}(0,S_t)\\ & \mathbb{E}[{\nu }_t{\nu }_l^T]=S_t{\delta }_{tl}\end{array}$$

 

즉, 이노베이션은 평균이 0이고 공분산이 S_t인 가우시안 화이트 노이즈(Gaussian white noise)다.

이제 이를 증명한다. 먼저 평균이 0이라는 것은 최소평균제곱오차(MMSE, minimum mean-square error) 추정기가 바이어스(bias)가 없는 추정라는 점을 이용하면 증명할 수 있다.

 

$$\begin{array}{r}\text{(5)}& \mathbb{E}[{\nu }_t|{\mathbf{z}}_{0:t-1}]& =\mathbb{E}[{\mathbf{z}}_t-{\hat{\mathbf{z}}}_{t|t-1}|{\mathbf{z}}_{0:t-1}]\\ & =\mathbb{E}[{\mathbf{z}}_t|{\mathbf{z}}_{0:t-1}]-{\hat{\mathbf{z}}}_{t|t-1}\\ \\ & ={\hat{\mathbf{z}}}_{t|t-1}-{\hat{\mathbf{z}}}_{t|t-1}=0\end{array}$$

 

이번에는 이노베이션이 화이트 노이즈라는 것을 증명한다. 이노베이션을 전개해 보면,

 

$$\begin{array}{r}\text{(6)}& {\nu }_t& ={\mathbf{z}}_t-H_t{\hat{\mathbf{x}}}_{t|t-1}\\ & =H_t{\mathbf{x}}_t+{\mathbf{v}}_t-H_t{\hat{\mathbf{x}}}_{t|t-1}\\ \\ & =H_t{\tilde{\mathbf{x}}}_{t|t-1}+{\mathbf{v}}_t\end{array}$$

 

이다. 여기서 ${\tilde{\mathbf{x}}}_{t|t-1}={\mathbf{x}}_t-{\hat{\mathbf{x}}}_{t|t-1}$ 은 사전(a priori) 추정 오차다. 사전 추정 오차를 다음 시간스텝으로 전개하면 다음과 같다.

 

$$\begin{array}{r}\text{(7)}& {\tilde{\mathbf{x}}}_{t+1|t}& ={\mathbf{x}}_{t+1}-{\hat{\mathbf{x}}}_{t+1|t}\\ & =F_t{\mathbf{x}}_t+G_t{\mathbf{u}}_t+{\mathrm{\Gamma }}_t{\mathbf{w}}_t-(F_t{\hat{\mathbf{x}}}_{t|t}+G_t{\mathbf{u}}_t)\\ \\ & =F_t{\mathbf{x}}_t+{\mathrm{\Gamma }}_t{\mathbf{w}}_t-F_t({\hat{\mathbf{x}}}_{t|t-1}+K_t(H_t{\mathbf{x}}_t+{\mathbf{v}}_t-H_t{\hat{\mathbf{x}}}_{t|t-1}))\\ \\ & =(F_t-F_t{K}_t{H}_t){\mathbf{x}}_t-(F_t-F_t{K}_t{H}_t){\hat{\mathbf{x}}}_{t|t-1}+{\mathrm{\Gamma }}_t{\mathbf{w}}_t-F_t{K}_t{\mathbf{v}}_t\\ \\ & ={\overline{F}}_t{\tilde{\mathbf{x}}}_{t|t-1}+{\overline{\mathbf{w}}}_t\end{array}$$

 

여기서

 

$$\begin{array}{r}\overline{F}=(F_t-F_t{K}_t{H}_t),{\overline{\mathbf{w}}}_t={\mathrm{\Gamma }}_t{\mathbf{w}}_t-F_t{K}_t{\mathbf{v}}_t\end{array}$$

 

이다. 식 (7)은 ${\tilde{\mathbf{x}}}_{t|t-1}$ 에 대한 선형 이산시간(discrete-time) 방정식이므로 해를 다음과 같이 구할 수 있다.

 

$$\begin{array}{}\text{(8)}& {\tilde{\mathbf{x}}}_{t|t-1}={\mathrm{\Phi }}_{t,i}{\tilde{\mathbf{x}}}_{i|i-1}+\sum _{j=i}^{t-1}{\mathrm{\Phi }}_{t,j+1}{\overline{\mathbf{w}}}_j\end{array}$$

 

여기서 ${\mathrm{\Phi }}_{t,i}$ 는 상태천이행렬(state transition matrix)로서 다음과 같다.

 

$$\begin{array}{}\text{(9)}& {\mathrm{\Phi }}_{t,i}=\{\begin{array}{ll}{\overline{F}}_{t-1}{\overline{F}}_{t-2}\cdots {\overline{F}}_i,& t>i\\ I,& t=i\end{array}\end{array}$$

 

그러면 사전 추정 오차의 자기공분산(autocovariance)는 다음과 같이 구할 수 있다.

 

$$\begin{array}{}\text{(10)}& \mathbb{E}[{\tilde{\mathbf{x}}}_{t|t-1}{\tilde{\mathbf{x}}}_{i|i-1}^T]=\mathbb{E}\left[({\mathrm{\Phi }}_{t,i}{\tilde{\mathbf{x}}}_{i|i-1}+\sum _{j=i}^{t-1}{\mathrm{\Phi }}_{t,j+1}{\overline{\mathbf{w}}}_j){\tilde{\mathbf{x}}}_{i|i-1}^T\right]\end{array}$$

 

그런데 위 식에서

 

$$\begin{array}{rl}\mathbb{E}[{\overline{\mathbf{w}}}_j{\tilde{\mathbf{x}}}_{i|i-1}^T]& =\mathbb{E}[({\mathrm{\Gamma }}_j{\mathbf{w}}_j-F_j{K}_j{\mathbf{v}}_j){\tilde{\mathbf{x}}}_{i|i-1}^T]\\ \\ & ={\mathrm{\Gamma }}_j\mathbb{E}[{\mathbf{w}}_j{\tilde{\mathbf{x}}}_{i|i-1}^T]-F_j{K}_j\mathbb{E}[{\mathbf{v}}_j{\tilde{\mathbf{x}}}_{i|i-1}^T]\end{array}$$

 

인데, 여기서 ${\tilde{\mathbf{x}}}_{i|i-1}$ 은 시간스텝 $i-1$ 이전의 시간스텝에서의 ${\mathbf{w}}_{i-1}$ 와 ${\mathbf{v}}_{i-1}$ 에만 영향을 받을 뿐 ${\mathbf{w}}_j$ 와 ${\mathbf{v}}_j,j\ge i$ 과는 무관하기 때문에 다음 식이 성립한다.

 

$$\begin{array}{}\text{(11)}& \mathbb{E}[{\overline{\mathbf{w}}}_j{\tilde{\mathbf{x}}}_{i|i-1}^T]=0,j\ge i\end{array}$$

 

식 (11)을 (10)애 대입하면 다음과 같이 자기공분산 식이 간단해진다.

 

$$\begin{array}{r}\text{(12)}& \mathbb{E}[{\tilde{\mathbf{x}}}_{t|t-1}{\tilde{\mathbf{x}}}_{i|i-1}^T]& ={\mathrm{\Phi }}_{t,i}\mathbb{E}[{\tilde{\mathbf{x}}}_{i|i-1}{\tilde{\mathbf{x}}}_{i|i-1}^T]\\ & ={\mathrm{\Phi }}_{t,i}{P}_{i|i-1}\end{array}$$

 

이번에는 사전 추정 오차와 측정 노이즈의 상호공분산(cross-covariance)을 구해보자.

 

$$\begin{array}{}\text{(13)}& \mathbb{E}[{\tilde{\mathbf{x}}}_{t|t-1}{\mathbf{v}}_i^T]=\mathbb{E}\left[({\mathrm{\Phi }}_{t,i}{\tilde{\mathbf{x}}}_{i|i-1}+\sum _{j=i}^{t-1}{\mathrm{\Phi }}_{t,j+1}{\overline{\mathbf{w}}}_j){\mathbf{v}}_i^T\right]\end{array}$$

 

위 식에서 같은 이유로 $\mathbb{E}[{\tilde{\mathbf{x}}}_{i|i-1}{\mathbf{v}}_i^T]=0$ 이고,

 

$$\begin{array}{r}\text{(14)}& \mathbb{E}[{\overline{\mathbf{w}}}_j{\mathbf{v}}_i^T]& =\mathbb{E}[({\mathrm{\Gamma }}_j{\mathbf{w}}_j-F_j{K}_j{\mathbf{v}}_j){\mathbf{v}}_i^T]\\ & ={\mathrm{\Gamma }}_j\mathbb{E}[{\mathbf{w}}_j{\mathbf{v}}_i^T]-F_j{K}_j\mathbb{E}[{\mathbf{v}}_j{\mathbf{v}}_i^T]\\ \\ & =\{\begin{array}{ll}0,& j>i\\ -F_i{K}_i{R}_i,& j=i\end{array}\end{array}$$

 

이다. 따라서 식 (13)은 다음과 같이 된다.

 

$$\begin{array}{}\text{(15)}& \mathbb{E}[{\tilde{\mathbf{x}}}_{t|t-1}{\mathbf{v}}_i^T]=-{\mathrm{\Phi }}_{t,i+1}{F}_i{K}_i{R}_i\end{array}$$

 

 

 

이제 $t\ge i$ 에서 이노베이션의 자기공분산을 구해보자.

 

$$\begin{array}{}\text{(16)}& \mathbb{E}[{\nu }_t{\nu }_i^T]=\mathbb{E}[(H_t{\tilde{\mathbf{x}}}_{t|t-1}+{\mathbf{v}}_t)(H_t{\tilde{\mathbf{x}}}_{i|i-1}+{\mathbf{v}}_i{)}^T]\end{array}$$

 

만약 $t=i$ 이라면, 식 (16)은 다음과 같이 된다.

 

$$\begin{array}{r}\text{(17)}& \mathbb{E}[{\nu }_t{\nu }_t^T]& =H_t\mathbb{E}[{\tilde{\mathbf{x}}}_{t|t-1}{\tilde{\mathbf{x}}}_{i|i-1}^T]H_t^T+\mathbb{E}[{\mathbf{v}}_t{\mathbf{v}}_t^T]\\ & =H_t{P}_{t|t-1}{H}_t^T+R_t\\ \\ & =S_t\end{array}$$

 

$t>i$ 에서는 식 (16)은 다음과 같이 된다.

 

$$\begin{array}{r}\text{(18)}& \mathbb{E}[{\nu }_t{\nu }_i^T]& =\mathbb{E}[(H_t{\tilde{\mathbf{x}}}_{t|t-1}+{\mathbf{v}}_t)(H_t{\tilde{\mathbf{x}}}_{i|i-1}+{\mathbf{v}}_i{)}^T]\\ & =H_t\mathbb{E}[{\tilde{\mathbf{x}}}_{t|t-1}{\tilde{\mathbf{x}}}_{i|i-1}^T]H_i^T+H_t\mathbb{E}[{\tilde{\mathbf{x}}}_{t|t-1}{\mathbf{v}}_i^T]+\mathbb{E}[{\mathbf{v}}_t{\tilde{\mathbf{x}}}_{i|i-1}^T]H_i^T\end{array}$$

 

여기서 $t>i$ 이기 때문에 ${\tilde{\mathbf{x}}}_{i|i-1}$ 는 ${\mathbf{v}}_t$ 와는 무관하다. 따라서 $\mathbb{E}[{\mathbf{v}}_t{\tilde{\mathbf{x}}}_{i|i-1}^T]=0$ 이다. 식 (12)와 (15)를 식 (18)에 대입하면 다음과 같이 된다.

 

$$\begin{array}{r}\text{(19)}& \mathbb{E}[{\nu }_t{\nu }_i^T]& =H_t{\mathrm{\Phi }}_{t,i}{P}_{i|i-1}{H}_i^T-H_t{\mathrm{\Phi }}_{t,i+1}{F}_i{K}_i{R}_i\\ & =H_t{\mathrm{\Phi }}_{t,i+1}({\overline{F}}_i{P}_{i|i-1}{H}_i^T-F_i{K}_i{R}_i)\end{array}$$

 

${\overline{F}}_i=(F_i-F_i{K}_i{H}_i)$ 이므로 식 (19)에 대입하면,

 

$$\begin{array}{r}\text{(20)}& \mathbb{E}[{\nu }_t{\nu }_i^T]& =H_t{\mathrm{\Phi }}_{t,i+1}((F_i-F_i{K}_i{H}_i)P_{i|i-1}{H}_i^T-F_i{K}_i{R}_i)\\ & =H_t{\mathrm{\Phi }}_{t,i+1}(F_i{P}_{i|i-1}{H}_i^T-F_i{K}_i{H}_i{P}_{i|i-1}{H}_i^T-F_i{K}_i{R}_i)\\ \\ & =H_t{\mathrm{\Phi }}_{t,i+1}(F_i{P}_{i|i-1}{H}_i^T-F_i{K}_i(H_i{P}_{i|i-1}{H}_i^T+R_i))\end{array}$$

 

이 되고 식 (3)에 의하면

 

$$\begin{array}{r}{K}_i=P_{i|i-1}{H}_i^T(H_i{P}_{i|i-1}{H}_i^T+R_i)\end{array}$$

 

이므로 위 식을 식 (20)에 대입하면,

 

$$\begin{array}{r}\text{(21)}& \mathbb{E}[{\nu }_t{\nu }_i^T]& =H_t{\mathrm{\Phi }}_{t,i+1}(F_i{P}_{i|i-1}{H}_i^T-F_i{P}_{i|i-1}{H}_i^T)\\ & =0,t>i\end{array}$$

 

이 된다. 따라서 이노베이션은 화이트 노이즈다.

 

 

또한 모든 확률 함수가 가우시안이고 시스템이 선형이므로 이노베이션도 가우시안이다. 이로써 이노베이션이 평균이 0인 가우시안 화이트 노이즈임을 증명하였다.