정책 그래디언트 기반 강화학습의 원리

강화학습에서 에이전트(agent)가 최대화해야 할 누적 보상의 기댓값 또는 목적함수(또는 성능지수)는 다음과 같다.

 

$$J={\mathbb{E}}_{\tau \sim p(\tau )}[\sum _{t=0}^T{\gamma }^t{r}_t({\mathbf{x}}_t,{\mathbf{u}}_t)]$$

 

여기서 ${\mathbf{x}}_t\in {\mathbb{R}}^n$은 환경의 상태변수, ${\mathbf{u}}_t\in {\mathbb{R}}^m$은 에이전트의 행동(action), $\gamma \in [0,1]$는 감가율이다.

 

 

$r_t$는 시간스텝 $t$일 때 에이전트가 받는 순간 보상을 나타내는 보상함수다. $\tau$는 에이전트의 정책(policy)으로 생성되는 궤적 $\tau =({\mathbf{x}}_0,{\mathbf{u}}_0,{\mathbf{x}}_1,{\mathbf{u}}_1,...,{\mathbf{x}}_T,{\mathbf{u}}_T)$을 나타낸다. 궤적은 환경과 에이전트의 정책이 모두 확률적이므로 랜덤 시퀀스다.

 

 

$p(\tau )$는 궤적의 확률밀도함수를 나타내며 기댓값 $\mathbb{E}$의 아래 첨자 $\tau \sim p(\tau )$는 기댓값을 계산할 때 확률밀도함수 $p(\tau )$를 사용한다는 뜻이다.

 

$${\mathbb{E}}_{\tau \sim p(\tau )}[\sum _{t=0}^T{\gamma }^t{r}_t({\mathbf{x}}_t,{\mathbf{u}}_t)]={\int }_{\tau }[\sum _{t=0}^T{\gamma }^t{r}_t({\mathbf{x}}_t,{\mathbf{u}}_t)]p(\tau )d\tau$$

 

보통 강화학습 논문이나 책에서는 상태변수를 ${\mathbf{s}}_t$로, 행동을 ${\mathbf{a}}_t$로 표기하지만, 제어공학에서 주로 다루는 물리 세계는 대개 상태변수와 행동이 연속공간에 있으므로, 전통적인 강화학습에서 다루는 이산공간에서의 상태변수와 행동과 구별하고자 제어공학에서 표기하는 방법대로 상태변수를 ${\mathbf{x}}_t$로, 행동을 ${\mathbf{u}}_t$로 표기하고자 한다.

심층강화학습(deep reinforcement learning)에서는 정책을 신경망으로 구현한다. 신경망의 파라미터, 즉 신경망의 모든 가중치(weight)와 바이어스(bias)를 파라미터 $\theta$로 표기하면, 정책이 $\theta$로 파라미터화 됐다고 하고, 그 정책을 ${\pi }_{\theta }({\mathbf{u}}_t\mid {\mathbf{x}}_t)$로 표기한다.

그러면 목적함수도 $\theta$의 함수가 되므로 목적함수를 최대로 만드는 정책 파라미터 $\theta$를 계산하는 것이 강화학습의 목표라고 할 수 있다.

 

$${\theta }^{\star }=\arg maxJ(\theta )={\mathbb{E}}_{\tau \sim p_{\theta }(\tau )}[\sum _{t=0}^T{\gamma }^t{r}_t({\mathbf{x}}_t,{\mathbf{u}}_t)]$$

 

여기서 $p_{\theta }(\tau )$는 정책 ${\pi }_{\theta }({\mathbf{u}}_t\mid {\mathbf{x}}_t)$로 생성되는 궤적의 확률밀도함수이다. $\theta$가 바뀌면 정책도 바뀌고 그에 따라 궤적도 바뀌므로 궤적의 확률밀도함수도 $\theta$의 함수가 된다.

 

 

보통 신경망의 출력은 손실함수(loss function)로 연결된다. 신경망을 학습한다는 것은 이 손실함수 $L$이 최소가 되도록 신경망의 가중치와 바이어스, 또는 파라미터 $\theta$를 반복적으로 계산한다는 뜻이다. 손실함수는 스칼라 함수로서 신경망의 학습 목적에 부합하도록 설계자가 정해야 한다.

 

 

강화학습의 정책을 신경망으로 구성할 때는 몇 지 고려할 것이 있다.

우선 정책 신경망의 입력은 환경의 상태(${\mathbf{x}}_t$)가 된다. 출력은 행동이 이산공간 값인지 연속공간 값인지에 따라 다르다. 이산공간 값이라면 출력 레이어의 뉴런 개수는 행동의 개수와 같으며 출력 값은 각 행동의 확률이 된다.

반면 행동이 연속공간 값이라면 출력은 확률밀도함수가 되야 한다. 출력이 '함수'라면 이를 표현하기 위한 출력 레이어의 뉴런 개수는 무한대가 되어야 한다. 이는 불가능하므로 보통 이 경우에는 확률밀도함수를 가우시안 분포로 가정하고 가우시안 분포의 평균과 공분산을 신경망의 출력으로 정한다. 그러면 출력 레이어의 뉴런 개수는 평균과 공분산의 개수와 같다.

 

 

손실함수는 정책이 최적의 파라미터 $\theta$를 갖도록 학습 목적에 부합하도록 정해져야 한다. 물론 학습 목적은 목적함수를 최대화하는 것이다.

 

 

그렇다면 손실함수를 어떻게 정의해야 목적함수를 최대화할 수 있을까. 이에 대한 다양한 대답이 다양한 정책 그래디언트(policy gradient) 기반 강화학습의 알고리즘을 만들었다.