반복적인 기댓값 계산

랜덤변수(random variable) $X$와 $Y$의 함수인 $g(X,Y)$의 기댓값 $\mathbb{E}[g(X,Y)]$는 다음과 같이 조건부 기댓값을 두 번 반복하여 계산해서 구할 수 있다.

 

$$\mathbb{E}[g(X,Y)]={\mathbb{E}}_Y[{\mathbb{E}}_X[g(X,Y)|Y]]$$

 

여기서 ${\mathbb{E}}_X[\cdot ]$는 기댓값을 확률밀도함수 $p_{X|Y}(x|y)$를 이용하여 계산한 것이고 ${\mathbb{E}}_Y[\cdot ]$는 기댓값을 $p_Y(y)$를 이용하여 계산한 것이다.

 

 

위 관계식을 증명해 보자.

 

$$\begin{array}{rl}{\mathbb{E}}_Y[{\mathbb{E}}_X[g(X,Y)|Y]]& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\mathbb{E}}_X[g(X,Y)|Y=y]p_Y(y)dy\\ \\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}({\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(x,y)p_{X|Y}(x|y)dx)p_Y(y)dy\\ \\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(x,y)p_{X|Y}(x|y)p_Y(y)dxdy\\ \\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(x,y)p_{XY}(x,y)dxdy\\ \\ & =\mathbb{E}[g(X,Y)]\end{array}$$

 

위 결과는 기댓값을 계산할 때 매우 유용하게 쓰인다.

 

예를 들면 $\mathbb{E}[X|Y]=Y^2$이고 $Y$의 확률밀도함수가 다음과 같이 주어졌을 때,

 

$$p_Y(y)=\{\begin{array}{ll}1,& 0\le y\le 1\\ 0,& otherwise\end{array}$$

 

$X$의 기댓값 $\mathbb{E}[X]$를 계산해 보자. $\mathbb{E}[X]$를 계산하기 위해서는 확률밀도함수 $p_X(x)$가 필요한데 $p_{X|Y}(x|y)$가 주어지지 않았으므로 $p_X(x)$는 알 수 없다. 하지만 다음과 같이 반복적인 기댓값 계산 방법으로 $\mathbb{E}[X]$를 계산할 수 있다.

 

$$\begin{array}{rl}\mathbb{E}[X]& ={\mathbb{E}}_Y[{\mathbb{E}}_X[X|Y]]\\ \\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{y}^2{p}_Y(y)dy={\int }_0^1{y}^2{p}_Y(y)dy\\ \\ & =\frac{1}{3}\end{array}$$

 

이번에는 조건부 분산(conditional variance) 예를 들어 보자.

 

 

랜덤변수 $Y$ 가 $y$로 주어졌을 때 $X$의 조건부 분산 $Var(X|Y=y)$는 확률밀도함수 $p_{X|Y}(x|y)$를 이용한 $X$의 분산으로 정의하며 다음과 같이 주어진다.

 

$$\begin{array}{rl}Var(X|Y=y)& =\mathbb{E}[{(X-\mathbb{E}[X|Y=y])}^2|Y=y]\\ \\ & =\mathbb{E}[X^2-2X\mathbb{E}[X|Y=y]+{\left(\mathbb{E}[X|Y=y]\right)}^2|Y=y]\\ \\ & =\mathbb{E}[X^2|Y=y]-2\mathbb{E}\left[X\mathbb{E}[X|Y=y]\right]+\mathbb{E}[{\left(\mathbb{E}[X|Y=y]\right)}^2|Y=y]\end{array}$$

 

여기서 두번째 항은.

 

$$\begin{array}{rl}\mathbb{E}[X\mathbb{E}[X|Y=y]|Y=y]& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}x\mathbb{E}[X|Y=y]p_{X|Y}(x|y)dx\\ \\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}x({\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{x}^{\prime }{p}_{X|Y}(x^{\prime }|y)d{x}^{\prime })p_{X|Y}(x|y)dx\\ \\ & =({\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{x}^{\prime }{p}_{X|Y}(x^{\prime }|y)d{x}^{\prime }){\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}x{p}_{X|Y}(x|y)dx\\ \\ & ={(\mathbb{E}[X|Y=y])}^2\end{array}$$

 

이므로 분산은 다음과 같이 된다.

 

$$Var(X|Y=y)=\mathbb{E}[X^2|Y=y]-{(\mathbb{E}[X|Y=y])}^2$$

 

 

랜덤변수 $Var(X|Y)$는 랜덤변수 $Y$의 함수로서 $Y$가 $y$값을 취하면 조건부 분산 $Var(X|Y=y)$가 된다. 따라서 랜덤변수 $Var(X|Y)$의 기댓값은 다음과 같이 계산된다.

 

$$\begin{array}{rl}{\mathbb{E}}_Y[Var(X|Y)]& ={\mathbb{E}}_Y[\mathbb{E}[X^2|Y]-{(\mathbb{E}[X|Y])}^2]\\ \\ & =\mathbb{E}[X^2]-{\mathbb{E}}_Y\left[{(\mathbb{E}[X|Y])}^2\right]\end{array}$$

 

위 식의 첫번째 항에 반복적인 기댓값 계산 방법을 적용하였다.

한편, 랜덤변수 $\mathbb{E}[X|Y]$도 랜덤변수 $Y$의 함수로서 $Y$가 $y$값을 취하면 조건부 기댓값은 $\mathbb{E}[X|Y=y]$가 된다. 따라서 랜덤변수 $\mathbb{E}[X|Y]$의 분산은 다음과 같이 계산할 수 있다.

 

$$\begin{array}{rl}Var(\mathbb{E}[X|Y])& ={\mathbb{E}}_Y\left[{(\mathbb{E}[X|Y]-{\mathbb{E}}_Y[\mathbb{E}[X|Y]])}^2\right]\\ \\ & ={\mathbb{E}}_Y[{(\mathbb{E}[X|Y])}^2-2\mathbb{E}[X|Y]{\mathbb{E}}_Y[\mathbb{E}[X|Y]]+{\left({\mathbb{E}}_Y[\mathbb{E}[X|Y]]\right)}^2]\\ \\ & ={\mathbb{E}}_Y\left[{(\mathbb{E}[X|Y])}^2\right]-{({\mathbb{E}}_Y[\mathbb{E}[X|Y]])}^2\\ \\ & ={\mathbb{E}}_Y\left[{(\mathbb{E}[X|Y])}^2\right]-{(\mathbb{E}[X])}^2\end{array}$$

 

마찬가지로 위 식의 두번째 항에 반복적인 기댓값 계산 방법을 적용하였다.

랜덤변수 $Var(X|Y)$의 기댓값과 랜덤변수 $\mathbb{E}[X|Y]$의 분산을 더하면 다음과 같이 된다.

 

$$\begin{array}{rl}{\mathbb{E}}_Y[Var(X|Y)]+Var(\mathbb{E}[X|Y])& =\mathbb{E}[X^2]-{(\mathbb{E}[X])}^2\\ \\ & =Var(X)\end{array}$$

 

위 식을 조건부 분산의 법칙이라고 한다.