On the Role of Computation in Reinforcement Learning
강화학습(RL) 정책이 사용하는 연산량(compute)과 파라미터 수를 별개의 축으로 분리하여 계산 복잡도 이론으로 공식화하고, 더 많은 연산을 사용하는 정책이 더 적은 연산으로는 해결 불가능한 문제를 풀 수 있음을 이론적으로 증명한다. 파라미터 수를 고정한 채 가변적 연산을 수행하는 최소 순환(recurrent) 아키텍처를 제안하고, 31가지 온·오프라인 RL 태스크에서 단순히 연산 단계를 늘리는 것만으로도 파라미터가 5배 많은 피드포워드·잔차 네트워크보다 높은 성능과 더 긴 수평선(horizon) 태스크에 대한 강한 일반화를 달성함을 보인다.