확장 가능하고 샘플 효율적인 심층 강화학습을 위한 직접 어드밴티지 추정
Direct Advantage Estimation for Scalable and Sample-efficient Deep Reinforcement Learning
직접 어드밴티지 추정(Direct Advantage Estimation, DAE)은 심층 강화학습 알고리즘의 샘플 효율성을 개선하는 것으로 나타났습니다. 그러나 완전한 환경 관측 가능성(full environment observability)에 대한 의존성으로 인해 현실적인 설정에서의 적용 가능성이 제한되며, 천이 확률(transition probabilities)을 모델링해야 한다는 요구 사항은 고차원 관측에 대해 상당한 계산 오버헤드를 유발합니다. 본 연구에서는 이러한 두 가지 제한 사항을 모두 해결합니다. 첫째, 최소한의 수정만으로 DAE의 이론적 프레임워크를 부분적으로 관측 가능한 도메인으로 확장합니다. 둘째, 천이 확률을 효율적으로 근사하는 이산 잠재 역학 모델(discrete latent dynamics models)을 도입하여 계산 복잡도를 낮춥니다. Arcade Learning Environment에서 본 방법을 평가한 결과, DAE는 높은 샘플 효율성을 유지하면서 함수 근사기(function approximator)의 용량에 따라 효과적으로 확장됨을 확인했습니다.