Soft Actor Critic (SAC) 알고리즘 - 1

행동가치 함수에 대한 소프트 벨만 방정식은 다음과 같다.

 

$$\begin{array}{rl}\text{(1)}& Q_{soft}^{\pi }({\mathbf{x}}_t,{\mathbf{u}}_t)& \leftarrow r_t+\gamma {\mathbb{E}}_{{\mathbf{x}}_{t+1}\sim p({\mathbf{x}}_{t+1}|{\mathbf{x}}_t,{\mathbf{u}}_t),{\mathbf{u}}_{t+1}\sim \pi ({\mathbf{u}}_{t+1}|{\mathbf{x}}_{t+1})}& [Q_{soft}^{\pi }({\mathbf{x}}_{t+1},{\mathbf{u}}_{t+1})-\alpha \log \pi ({\mathbf{u}}_{t+1}|{\mathbf{x}}_{t+1})]\end{array}$$

 

식 (1)은 현재 정책 $\pi$ 에 관한 행동가치 함수이므로 $\pi$ 가 주어졌을 때 업데이트를 반복하면 풀 수 있다.

 

 

정책 개선을 위한 식은 다음과 같다.

 

$$\begin{array}{r}\text{(2)}& \pi ({\mathbf{u}}_t|{\mathbf{x}}_t)& \leftarrow \arg \underset{\pi }{max}{\mathbb{E}}_{{\mathbf{u}}_t\sim \pi ({\mathbf{u}}_t|{\mathbf{x}}_t)}[Q_{soft}^{\pi }({\mathbf{x}}_t,{\mathbf{u}}_t)-\alpha \log \pi ({\mathbf{u}}_t|{\mathbf{x}}_t)]\\ & =\arg \underset{\pi }{min}{D}_{KL}(\pi ({\mathbf{u}}_t|{\mathbf{x}}_t)\parallel \frac{\exp (\frac{1}{\alpha }{Q}_{soft}^{\pi }({\mathbf{x}}_t,{\mathbf{u}}_t))}{Z({\mathbf{x}}_t)})\end{array}$$

 

식 (1)로 $Q_{soft}^{\pi }({\mathbf{x}}_t,{\mathbf{u}}_t)$ 가 수렴할 때까지 반복 계산하고, 수렴한 후에 식 (2)로 정책을 업데이트 하는 과정을 정책 이터레이션이라고 한다.

정책 이터레이션을 수행하려면 환경 모델이 필요하다. 하지만 모델프리(model-free) 강화학습에서는 환경 모델을 이용하여 행동가지 함수를 계산하는 것이 아니라, 에이전트가 환경에 행동을 가해서 생성한 데이터를 기반으로 하여 추정한다.

이제 소프트 행동가치 함수와 정책을 추정하기 위해서 신경망을 이용하기로 하자. 행동가치 함수를 추정하기 위한 신경망을 Q 신경망 또는 크리틱(critic) 신경망이라 하고 파라미터를 $\varphi$ 로, 정책을 추정하기 위한 신경망을 액터 신경망이라 하고 파라미터를 $\theta$ 로 표기한다. 그리고 추정된 행동가치를 $Q_{\varphi }({\mathbf{x}}_t,{\mathbf{u}}_t)$ 로, 정책을 ${\pi }_{\theta }({\mathbf{u}}_t|{\mathbf{x}}_t)$ 로 표기하자.

이와 같이 신경망을 이용하여 엔트로피 최대화 문제의 해를 찾는 알고리즘을 SAC(Soft Actor Critic) 알고리즘이라고 한다. SAC알고리즘에서는 소프트 행동가치가 수렴할 때까지 기다리지 않고 정책 평가와 정책 개선을 번갈아 가며 한 번씩 업데이트하는 방법을 사용한다.

Q 신경망의 손실함수는 소프트 행동가치 함수를 정확히 추정할 수 있는 파라미터 $\varphi$ 를 갖도록 정해져야 한다. 따라서 손실함수는 소프트 행동가치 추정값 $Q_{\varphi }({\mathbf{x}}_t,{\mathbf{u}}_t)$ 와 소프트 행동가치의 참값 $Q_{soft}({\mathbf{x}}_t,{\mathbf{u}}_t)$ 의 차이가 최소가 되도록 정하면 되므로 다음과 같이 Q 신경망의 손실함수를 설정한다.

 

$$\begin{array}{}\text{(3)}& L_Q(\varphi )={\mathbb{E}}_{({\mathbf{x}}_i,{\mathbf{u}}_i)\sim \mathcal{D}}\left[\frac{1}{2}{(Q_{\varphi }({\mathbf{x}}_i,{\mathbf{u}}_i)-Q_{soft}({\mathbf{x}}_i,{\mathbf{u}}_i)|{\mathbf{x}}_i,{\mathbf{u}}_i)}^2\right]\end{array}$$

 

그런데 여기서 소프트 행동가치의 참값 $Q_{soft}({\mathbf{x}}_i,{\mathbf{u}}_i)$ 를 알지 못하므로, 식 (1)을 이용하여 다음과 같은 타깃을 설정한다.

 

$$\begin{array}{r}\text{(4)}& & Q_{soft}({\mathbf{x}}_i,{\mathbf{u}}_i)\approx q_i\\ & =r({\mathbf{x}}_i,{\mathbf{u}}_i)+\gamma {\mathbb{E}}_{({\mathbf{x}}_i,{\mathbf{u}}_i,{\mathbf{x}}_{i+1})\sim \mathcal{D}}[\left(\begin{array}{c}{Q}_{{\varphi }^{\prime }}({\mathbf{x}}_{i+1},{\mathbf{u}}_{i+1})\\ -\alpha \log {\pi }_{\theta }({\mathbf{u}}_{i+1}|{\mathbf{x}}_{i+1})\end{array}\right)\mid {\mathbf{x}}_i,{\mathbf{u}}_i,{\mathbf{x}}_{i+1}]\end{array}$$

 

여기서 ${\varphi }^{\prime }$ 은 DQN과 DDPG에서 제기되었던 문제를 해결하고자 도입한 타깃 Q 신경망 파라미터다. 그러면 Q 신경망의 손실함수는 다음과 같이 된다.

 

$$\begin{array}{}\text{(5)}& L_Q(\varphi )={\mathbb{E}}_{({\mathbf{x}}_i,{\mathbf{u}}_i,{\mathbf{x}}_{i+1})\sim \mathcal{D}}\left[\frac{1}{2}{(Q_{\varphi }({\mathbf{x}}_{i+1},{\mathbf{u}}_{i+1})-q_i\mid {\mathbf{x}}_i,{\mathbf{u}}_i,{\mathbf{x}}_{i+1})}^2\right]\end{array}$$

 

여기서 바깥쪽에 있는 기댓값은 리플레이 버퍼 $\mathcal{D}$ 에서 샘플링한 $N$개의 데이터 $({\mathbf{x}}_i,{\mathbf{u}}_i,{\mathbf{x}}_{i+1})$ 를 추출하여 계산할 수 있지만, 안쪽에 있는 $q_i$ 는 ${\pi }_{\theta }({\mathbf{u}}_{i+1}|{\mathbf{x}}_{i+1})$ 에 기반한 기댓값으로서 온-폴리시(on-policy)이므로 해당 계산에 쓰이는 ${\mathbf{u}}_{i+1}$ 는 현재의 정책 ${\pi }_{\theta }$ 에서 샘플링되어야 한다. 즉 ${\mathbf{x}}_{i+1}$ 에 대한 행동인 ${\mathbf{u}}_{i+1}$ 는 정책 ${\pi }_{\theta }$ 를 따르도록 해야 한다.

 

 

손실함수 $L_Q(\varphi )$ 를 최소화하는 파라미터 $\varphi$ 는 다음과 같이 경사하강법으로 구할 수 있다.

 

$$\begin{array}{}\text{(6)}& \varphi \leftarrow \varphi -{\alpha }_{\varphi }{\mathrm{\nabla }}_{\varphi }{L}_Q(\varphi )\end{array}$$

 

손실함수의 그래디언트는 다음과 같이 계산한다.

 

$$\begin{array}{}\text{(7)}& {\mathrm{\nabla }}_{\varphi }{L}_Q(\varphi )=\sum _i{\mathrm{\nabla }}_{\varphi }{Q}_{\varphi }({\mathbf{x}}_i,{\mathbf{u}}_i)\left(\begin{array}{c}{Q}_{\varphi }({\mathbf{x}}_i,{\mathbf{u}}_i)-\gamma (Q_{{\varphi }^{\prime }}({\mathbf{x}}_{i+1},{\mathbf{u}}_{i+1})\\ -\alpha \log {\pi }_{\theta }({\mathbf{u}}_{i+1}|{\mathbf{x}}_{i+1}))\end{array}\right)\end{array}$$

 

 

 

액터 신경망의 손실함수도 정책을 정확히 추정할 수 있는 파라미터 $\theta$ 를 갖도록 정해져야 한다. 식 (2)에 의하면 최소화해야 할 손실함수를 다음과 같이 정하면 된다.

 

$$\begin{array}{}\text{(8)}& L_{\pi }(\theta )={\mathbb{E}}_{{\mathbf{x}}_i\sim \mathcal{D}}[{\mathbb{E}}_{{\mathbf{u}}_i\sim {\pi }_{\theta }({\mathbf{u}}_i|{\mathbf{x}}_i)}[\alpha \log {\pi }_{\theta }({\mathbf{u}}_i|{\mathbf{x}}_i)-Q_{\varphi }({\mathbf{x}}_i,{\mathbf{u}}_i)]\mid {\mathbf{x}}_i]\end{array}$$

 

마찬가지로 여기서 바깥쪽에 있는 기댓값은 리플레이 버퍼 $\mathcal{D}$ 에서 샘플링한 $N$개의 데이터 ${\mathbf{x}}_i$ 를 추출하여 계산할 수 있지만, 안쪽에 있는 ${\pi }_{\theta }({\mathbf{u}}_i|{\mathbf{x}}_i)$ 에 기반한 기댓값은 현재의 정책 ${\pi }_{\theta }$ 에서 샘플링해야 한다.

손실함수 $L_{\pi }(\theta )$ 의 그래디언트는 다음과 같이 계산한다.

 

$$\begin{array}{}\text{(9)}& {\mathrm{\nabla }}_{\theta }{L}_{\pi }(\theta )=\sum _i{\mathrm{\nabla }}_{\theta }{\mathbb{E}}_{{\mathbf{u}}_i\sim {\pi }_{\theta }({\mathbf{u}}_i|{\mathbf{x}}_i)}[\alpha \log {\pi }_{\theta }({\mathbf{u}}_i|{\mathbf{x}}_i)-Q_{\varphi }({\mathbf{x}}_i,{\mathbf{u}}_i)]\end{array}$$

 

그런데 여기서 한가지 문제가 있다. 바로 안쪽에 있는 기댓값의 미분을 샘플링 평균으로 계산할 수 없는 것이다. 다음 수식을 보면 이유가 명확해진다.

 

$$\begin{array}{r}\text{(10)}& & {\mathrm{\nabla }}_{\theta }{\mathbb{E}}_{{\mathbf{u}}_i\sim {\pi }_{\theta }({\mathbf{u}}_i|{\mathbf{x}}_i)}[\log {\pi }_{\theta }({\mathbf{u}}_i|{\mathbf{x}}_i)]\\ & ={\mathrm{\nabla }}_{\theta }{\int }_{{\mathbf{u}}_i}\log {\pi }_{\theta }({\mathbf{u}}_i|{\mathbf{x}}_i){\pi }_{\theta }({\mathbf{u}}_i|{\mathbf{x}}_i)d{\mathbf{u}}_i\\ \\ & ={\int }_{{\mathbf{u}}_i}(1+\log {\pi }_{\theta }({\mathbf{u}}_i|{\mathbf{x}}_i)){\mathrm{\nabla }}_{\theta }{\pi }_{\theta }({\mathbf{u}}_i|{\mathbf{x}}_i)d{\mathbf{u}}_i\end{array}$$

 

이에 대한 해결책으로서 재파라미터화 트릭(reparameterization trick)이라는 방법을 사용한다. 이 방법에 의하면 정책을 다음과 같은 함수로 만든다.

 

$$\begin{array}{}\text{(11)}& {\mathbf{u}}_i^j={\mathbf{f}}_{\theta }({\mathbf{x}}_i,{\eta }_j)\end{array}$$

 

여기서 ${\eta }_j$ 는 노이즈 벡터로서 보통 가우시안 분포로 가정한다. 예를 들면 정책 ${\pi }_{\theta }({\mathbf{u}}_i|{\mathbf{x}}_i)$ 를 평균 ${\mu }_{\theta }({\mathbf{x}}_i)$ 와 공분산 ${\sigma }_{\theta }^2({\mathbf{x}}_i)$ 를 갖는 가우시안 분포라고 가정하면, 행동을 다음과 같이 표현할 수 있다.

 

$$\begin{array}{r}\text{(12)}& {\mathbf{u}}_i^j& \sim \mathcal{N}({\mu }_{\theta }({\mathbf{x}}_i),{\sigma }_{\theta }^2({\mathbf{x}}_i))\\ & ={\mu }_{\theta }({\mathbf{x}}_i)+{\sigma }_{\theta }({\mathbf{x}}_i){\eta }_j,{\eta }_j\sim \mathcal{N}(0,I)\end{array}$$

 

그러면 손실함수 식 (8)은 다음과 같이 쓸 수 있다.

 

$$\begin{array}{}\text{(13)}& L_{\pi }(\theta )={\mathbb{E}}_{{\mathbf{x}}_i\sim \mathcal{D}}[{\mathbb{E}}_{\eta \sim \mathcal{N}}[\alpha \log {\pi }_{\theta }({\mathbf{u}}_i|{\mathbf{x}}_i)-Q_{\varphi }({\mathbf{x}}_i,{\mathbf{u}}_i)]\mid {\mathbf{x}}_i]\end{array}$$

 

 

 

미분의 연쇄법칙을 사용하면 손실함수 $L_{\pi }(\theta )$ 의 그래디언트는 다음과 같이 계산할 수 있다.

 

$$\begin{array}{r}\text{(14)}& & {\mathrm{\nabla }}_{\theta }{L}_{\pi }(\theta )=\sum _i\sum _j{\mathrm{\nabla }}_{\theta }[\alpha \log {\pi }_{\theta }({\mathbf{u}}_i^j|{\mathbf{x}}_i)-Q_{\varphi }({\mathbf{x}}_i,{\mathbf{u}}_i^j)]\\ & =\sum _i\sum _j[\alpha {\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }({\mathbf{u}}_i^j|{\mathbf{x}}_i)-{\mathrm{\nabla }}_{\theta }{Q}_{\varphi }({\mathbf{x}}_i,{\mathbf{u}}_i^j)]\\ \\ & =\sum _i\sum _j\left[\begin{array}{c}\alpha {\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }({\mathbf{u}}_i^j|{\mathbf{x}}_i)\\ +\alpha {\mathrm{\nabla }}_{\theta }{\mathbf{f}}_{\theta }({\mathbf{x}}_i,{\eta }_j){\mathrm{\nabla }}_{{\mathbf{u}}_i}\log {\pi }_{\theta }({\mathbf{u}}_i^j|{\mathbf{x}}_i)\\ -{\mathrm{\nabla }}_{\theta }{\mathbf{f}}_{\theta }({\mathbf{x}}_i,{\eta }_j){\mathrm{\nabla }}_{{\mathbf{u}}_i}{Q}_{\varphi }({\mathbf{x}}_i,{\mathbf{u}}_i^j)\end{array}\right]\\ \\ & =\sum _i\sum _j\left[\begin{array}{c}\alpha {\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }({\mathbf{u}}_i^j|{\mathbf{x}}_i)\\ +{\mathrm{\nabla }}_{\theta }{\mathbf{f}}_{\theta }({\mathbf{x}}_i,{\eta }_j)(\alpha {\mathrm{\nabla }}_{{\mathbf{u}}_i}\log {\pi }_{\theta }({\mathbf{u}}_i^j|{\mathbf{x}}_i)-{\mathrm{\nabla }}_{{\mathbf{u}}_i}{Q}_{\varphi }({\mathbf{x}}_i,{\mathbf{u}}_i^j))\end{array}\right]\end{array}$$

 

만약 재파라미터화 트릭으로 한 개의 샘플만을 추출하여 이용한다면 식 (14)는 다음과 같이 된다.

 

$$\begin{array}{}\text{(15)}& {\mathrm{\nabla }}_{\theta }{L}_{\pi }(\theta )=\sum _i\left[\begin{array}{c}\alpha {\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }({\mathbf{u}}_i|{\mathbf{x}}_i)\\ +{\mathrm{\nabla }}_{\theta }{\mathbf{f}}_{\theta }({\mathbf{x}}_i,{\eta }_i)(\alpha {\mathrm{\nabla }}_{{\mathbf{u}}_i}\log {\pi }_{\theta }({\mathbf{u}}_i|{\mathbf{x}}_i)-{\mathrm{\nabla }}_{{\mathbf{u}}_i}{Q}_{\varphi }({\mathbf{x}}_i,{\mathbf{u}}_i))\end{array}\right]\end{array}$$

 

이제 손실함수 $L_{\pi }(\theta )$ 를 최소화하는 파라미터 $\theta$ 는 다음과 같이 경사하강법으로 구할 수 있다.

 

$$\begin{array}{}\text{(16)}& \theta \leftarrow \theta -{\alpha }_{\theta }{\mathrm{\nabla }}_{\theta }{L}_{\pi }(\theta )\end{array}$$