반복적인 기댓값 계산

랜덤변수(random variable) \( X \)와 \( Y \)의 함수인 \( g(X,Y) \)의 기댓값 \( \mathbb{E}[g(X,Y)] \)는 다음과 같이 조건부 기댓값을 두 번 반복하여 계산해서 구할 수 있다.

 

\[ \mathbb{E}[ g(X,Y)]=\mathbb{E}_Y \left[ \ \mathbb{E}_X [ g(X,Y)|Y ] \ \right] \]

 

여기서 \( \mathbb{E}_X [ \cdot ] \)는 기댓값을 확률밀도함수 \( p_{X|Y} (x|y) \)를 이용하여 계산한 것이고 \( \mathbb{E}_Y [ \cdot ] \)는 기댓값을 \( p_Y (y) \)를 이용하여 계산한 것이다.

 

 

위 관계식을 증명해 보자.

 

\[ \begin{align} \mathbb{E}_Y \left[ \ \mathbb{E}_X [ g(X,Y)|Y ] \ \right] &= \int_{-\infty}^{\infty} \mathbb{E}_X [ g(X,Y)|Y=y] \ p_Y (y) dy \\ \\ &= \int_{-\infty}^{\infty} \left(\int_{-\infty}^{\infty} g(x,y) \ p_{X|Y} (x|y) dx \right) \ p_Y (y) dy \\ \\ &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} g(x,y) \ p_{X|Y} (x|y) \ p_Y (y) dx dy \\ \\ &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} g(x,y) \ p_{XY} (x,y) dx dy \\ \\ &= \mathbb{E} [ g(X,Y) ] \end{align} \]

 

위 결과는 기댓값을 계산할 때 매우 유용하게 쓰인다.

 

예를 들면 \( \mathbb{E} [ X|Y ]=Y^2 \)이고 \( Y \)의 확률밀도함수가 다음과 같이 주어졌을 때,

 

\[ p_Y (y)=\begin{cases} 1, & 0 \le y \le 1 \\ 0, & otherwise \end{cases} \]

 

\( X \)의 기댓값 \( \mathbb{E} [ X ] \)를 계산해 보자. \( \mathbb{E} [ X ] \)를 계산하기 위해서는 확률밀도함수 \( p_X (x) \)가 필요한데 \( p_{X|Y} (x|y) \)가 주어지지 않았으므로 \( p_X (x) \)는 알 수 없다. 하지만 다음과 같이 반복적인 기댓값 계산 방법으로 \( \mathbb{E} [ X ] \)를 계산할 수 있다.

 

\[ \begin{align} \mathbb{E} [X] &= \mathbb{E}_Y \left[ \mathbb{E}_X [X|Y] \right] \\ \\ &= \int_{-\infty}^{\infty} y^2 \ p_Y (y) dy = \int_{0}^{1} y^2 \ p_Y (y) dy \\ \\ &= \frac{1}{3} \end{align} \]

 

이번에는 조건부 분산(conditional variance) 예를 들어 보자.

 

 

랜덤변수 \(Y\) 가 \(y\)로 주어졌을 때 \(X\)의 조건부 분산 \( Var(X|Y=y) \)는 확률밀도함수 \(p_{X|Y} (x|y) \)를 이용한 \(X \)의 분산으로 정의하며 다음과 같이 주어진다.

 

\[ \begin{align} Var(X|Y=y) &= \mathbb{E} \left[ \left( X-{\color{blue}\mathbb{E} [X|Y=y]} \right) ^2|Y=y \right] \\ \\ &= \mathbb{E} \left[ X^2-2X {\color{blue}\mathbb{E} [X|Y=y]} + \left( {\color{blue}\mathbb{E} [X|Y=y]} \right) ^2|Y=y \right] \\ \\ &= \mathbb{E} [ X^2|Y=y]-2 \mathbb{E} \left[ X \ {\color{blue}\mathbb{E} [X|Y=y]} \right] + \mathbb{E} \left[ \left( {\color{blue}\mathbb{E} [X|Y=y]} \right) ^2|Y=y \right] \end{align} \]

 

여기서 두번째 항은.

 

\[ \begin{align} \mathbb{E} \left[ X \ {\color{blue}\mathbb{E} [X|Y=y]} | Y=y \right] &= \int_{-\infty}^{\infty} x \ {\color{blue}\mathbb{E} [X|Y=y]} \ p_{X|Y} (x|y) dx \\ \\ &= \int_{-\infty}^{\infty} x \ \left( \int_{-\infty}^{\infty} x^{\prime} p_{X|Y} (x^{\prime}|y) dx^{\prime} \right) p_{X|Y} (x|y) dx \\ \\ &= \left( \int_{-\infty}^{\infty} x^\prime p_{X|Y} (x^\prime |y) dx^\prime \right) \int_{-\infty}^{\infty} x \ p_{X|Y} (x|y) dx \\ \\ &= \left( \mathbb{E} [X|Y=y ] \right) ^2 \end{align} \]

 

이므로 분산은 다음과 같이 된다.

 

\[ Var (X|Y=y)= \mathbb{E} [X^2 | Y=y] - \left( \mathbb{E} [X|Y=y ] \right) ^2 \]

 

 

랜덤변수 \( Var(X|Y) \)는 랜덤변수 \( Y \)의 함수로서 \(Y\)가 \(y\)값을 취하면 조건부 분산 \(Var(X|Y=y) \)가 된다. 따라서 랜덤변수 \(Var(X|Y) \)의 기댓값은 다음과 같이 계산된다.

 

\[ \begin{align} \mathbb{E}_Y [ Var(X|Y) ] &= \mathbb{E}_Y \left[ \mathbb{E} [ X^2|Y]- \left( \mathbb{E} [X|Y] \right) ^2 \right] \\ \\ &= \mathbb{E} [ X^2 ] - \mathbb{E}_Y \left[ \left( \mathbb{E} [X|Y] \right) ^2 \right] \end{align} \]

 

위 식의 첫번째 항에 반복적인 기댓값 계산 방법을 적용하였다.

한편, 랜덤변수 \( \mathbb{E} [X|Y] \)도 랜덤변수 \(Y\)의 함수로서 \(Y\)가 \(y\)값을 취하면 조건부 기댓값은 \( \mathbb{E} [X|Y=y] \)가 된다. 따라서 랜덤변수 \( \mathbb{E} [X|Y] \)의 분산은 다음과 같이 계산할 수 있다.

 

\[ \begin{align} Var( \mathbb{E} [X|Y] ) &= \mathbb{E}_Y \left[ \left( \mathbb{E} [X|Y] - \mathbb{E}_Y \left[ \mathbb{E} [X|Y] \right] \right) ^2 \right] \\ \\ &= \mathbb{E}_Y \left[ \left( \mathbb{E} [X|Y] \right) ^2 - 2 \mathbb{E} [X|Y] \ \mathbb{E}_Y \left[ \mathbb{E} [X|Y] \right] + \left( \mathbb{E}_Y \left[ \mathbb{E} [X|Y] \right] \right) ^2 \right] \\ \\ &= \mathbb{E}_Y \left[ \left( \mathbb{E} [X|Y] \right) ^2 \right] - \left( \mathbb{E}_Y [ \mathbb{E} [X|Y] ] \right) ^2 \\ \\ &= \mathbb{E}_Y \left[ \left( \mathbb{E} [X|Y] \right) ^2 \right]- \left( \mathbb{E} [X] \right) ^2 \end{align} \]

 

마찬가지로 위 식의 두번째 항에 반복적인 기댓값 계산 방법을 적용하였다.

랜덤변수 \( Var(X|Y) \)의 기댓값과 랜덤변수 \( \mathbb{E} [X|Y] \)의 분산을 더하면 다음과 같이 된다.

 

\[ \begin{align} \mathbb{E}_Y [ Var(X|Y) ] + Var( \mathbb{E} [X|Y] ) & = \mathbb{E} [X^2 ]- \left( \mathbb{E} [X] \right) ^2 \\ \\ &= Var(X) \end{align} \]

 

위 식을 조건부 분산의 법칙이라고 한다.