혼합 랜덤변수 (Mixed Random Variables)

이산(discrete) 랜덤변수에서는 확률밀도함수(pdf, probability density function) 대신에 확률질량함수(pmf, probability mass function)를 사용한다. 이산 랜덤변수 $\mathrm{\Theta }$의 확률질량함수 ${\omega }_{\mathrm{\Theta }}(\theta )$는 다음과 같이 정의한다.

 

$${\omega }_{\mathrm{\Theta }}({\theta }_i)=P\{\mathrm{\Theta }={\theta }_i\}$$

 

여기서 ${\theta }_i,i=1,...,n$은 표본 공간의 모든 원소다. 정의에 의하면 확률질량함수는 곧 확률임을 알 수 있다.

 

 

디랙 델타(Dirac delta)함수 $\delta (\theta )$를 이용하면 확률질량함수를 확률밀도함수의 형태로 표시할 수 있다.

 

$$p_{\mathrm{\Theta }}(\theta )=\sum _{i=1}^n{\omega }_{\mathrm{\Theta }}({\theta }_i)\delta (\theta -{\theta }_i)$$

 

확률질량함수와 구별하기 위하여 확률밀도함수는 $p_{\mathrm{\Theta }}(\theta )$로 표기한다.

 

연속 랜덤변수와 이산 랜덤변수가 함께 사용되면 혼합(mixed) 랜덤변수 문제라고 한다.

$X$를 연속(continuous) 랜덤변수라고 할 때 $X=x$로 주어진 $\mathrm{\Theta }$의 조건부 확률질량함수 ${\omega }_{\mathrm{\Theta }|X}(\theta |x)$는 다음과 같이 정의한다.

 

$$\begin{array}{rl}{\omega }_{\mathrm{\Theta }|X}(\theta |x)& =\underset{\mathrm{\Delta }x\to 0}{lim}\frac{P\{\mathrm{\Theta }=\theta ,x<X\le x+\mathrm{\Delta }x\}}{P\{x<X\le x+\mathrm{\Delta }x\}}\\ \\ & =\underset{\mathrm{\Delta }x\to 0}{lim}\frac{{\omega }_{\mathrm{\Theta }}(\theta )p_{X|\mathrm{\Theta }}(x|\theta )\mathrm{\Delta }x}{p_X(x)\mathrm{\Delta }x}\\ \\ & =\frac{p_{X|\mathrm{\Theta }}(x|\theta ){\omega }_{\mathrm{\Theta }}(\theta )}{p_X(x)}\end{array}$$

 

위 식에 전확률(total probability) 정리를 대입하면, 혼합 랜덤변수 문제에서의 베이즈(Bayes) 정리를 다음과 같이 표현할 수 있다.

 

$${\omega }_{\mathrm{\Theta }|X}(\theta |x)=\frac{p_{X|\mathrm{\Theta }}(x|\theta ){\omega }_{\mathrm{\Theta }}(\theta )}{\sum _{{\theta }^{\prime }}{p}_{X|\mathrm{\Theta }}(x|{\theta }^{\prime }){\omega }_{\mathrm{\Theta }}({\theta }^{\prime })}$$

 

 

 

혼합 랜덤변수 문제의 예를 들어보자.
다음과 같이 단순한 통신 채널이 있다.

 

 

전달하고자 하는 신호는 이진(binary) 랜덤변수 $\mathrm{\Theta }$로 표현할 수 있으며, 취할 수 있는 값과 확률은 다음과 같다.

 

$$\mathrm{\Theta }=\{\begin{array}{ll}+1,& \text{with probability}p\\ -1,& \text{with probability}1-p\end{array}$$

 

수신한 신호 $X$는 노이즈 $Z$가 섞여 있는 $X=\mathrm{\Theta }+Z$로 표현된다. 여기서 $\mathrm{\Theta }$와 $Z$는 서로 독립이며, 노이즈 $Z$는 평균이 0이고 분산이 ${\sigma }^2$인 가우시안 확률분포를 갖는다고 가정한다. 즉, $Z\sim \mathcal{N}(0,{\sigma }^2)$.

그렇다면 수신된 신호가 $X=x$로 측정되었을 때, $\mathrm{\Theta }$의 조건부 확률밀도함수 ${\omega }_{\mathrm{\Theta }|X}(\theta |x)$를 어떻게 계산할 수 있을까.

먼저 문제에서 ${\omega }_{\mathrm{\Theta }}(+1)=p$, ${\omega }_{\mathrm{\Theta }}(-1)=1-p$가 주어졌고, $p_{X|\mathrm{\Theta }}(x|\theta )=p_Z(x-\theta )$이므로,

 

$$\begin{array}{rl}X|\{\mathrm{\Theta }=+1\}& \sim \mathcal{N}(+1,{\sigma }^2)\\ \\ X|\{\mathrm{\Theta }=-1\}& \sim \mathcal{N}(-1,{\sigma }^2)\end{array}$$

 

이 된다. 따라서 베이즈 정리에 의하면,

 

$$\begin{array}{rl}{\omega }_{\mathrm{\Theta }|X}(+1|x)& =\frac{p_{X|\mathrm{\Theta }}(x|+1){\omega }_{\mathrm{\Theta }}(+1)}{p_{X|\mathrm{\Theta }}(x|+1){\omega }_{\mathrm{\Theta }}(+1)+p_{X|\mathrm{\Theta }}(x|-1){\omega }_{\mathrm{\Theta }}(-1)}\\ \\ & =\frac{\mathcal{N}(+1,{\sigma }^2)p}{\mathcal{N}(+1,{\sigma }^2)p+\mathcal{N}(-1,{\sigma }^2)(1-p)}\\ \\ & =\frac{\frac{p}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{(x-1{)}^2}{2{\sigma }^2})}{\frac{p}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{(x-1{)}^2}{2{\sigma }^2})+\frac{1-p}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{(x+1{)}^2}{2{\sigma }^2})}\\ \\ & =\frac{p\exp \left(\frac{x}{{\sigma }^2}\right)}{p\exp \left(\frac{x}{{\sigma }^2}\right)+(1-p)\exp (-\frac{x}{{\sigma }^2})}\end{array}$$

 

이 된다.