자율주행 적용을 위한 상호작용 정책의 빠른 적응을 목표로 하는 메타 다중 에이전트 강화학습
Meta-Multi-Agent Reinforcement Learning for Fast Adaptation of Interactive Policies with Applications to Autonomous Driving
본 논문에서는 다중 에이전트 시스템(MAS)에서 상호작용 정책의 빠른 적응을 가능하게 하는 메타 다중 에이전트 강화학습(meta-MARL) 프레임워크를 개발합니다. 메타 강화학습(meta-RL)은 이단계 최적화(bi-level optimization) 메커니즘을 통해 에이전트가 새로운 태스크 및 환경에 빠르게 적응할 수 있도록 지원합니다. 그러나 기존의 메타 강화학습은 일반적으로 단일 에이전트 시스템에 초점을 맞추고 있습니다. 이러한 프레임워크와 알고리즘을 다중 에이전트 시스템으로 확장하는 데는 추가적인 난관이 따르는데, 태스크가 환경뿐만 아니라 에이전트 간의 전략적 상호작용에 의해서도 정의되기 때문입니다. 이러한 문제를 해결하기 위해, 본 연구에서는 다중 에이전트 강화학습(MARL) 문제를 마르코프 게임(MG)으로 모델링하고 여러 마르코프 게임 분포 전반에서 신속한 상호작용 정책 적응을 달성하는 메타 다중 에이전트 강화학습 프레임워크를 개발합니다. 또한 메타 다중 에이전트 강화학습 문제에서 목표로 하는 해의 개념을 설명하기 위해 메타-내시 균형(meta-NE)이라는 새로운 개념을 정의합니다. 나아가 메타-내시 균형과 그래디언트 플레이 기반 메타 다중 에이전트 강화학습 알고리즘의 정류점(stationary point) 간의 동치성에 대한 충분조건을 확립합니다. 자율주행 태스크를 대상으로 한 평가를 통해 제안된 메타 다중 에이전트 강화학습 방법이 사전학습된 다중 에이전트 강화학습 베이스라인보다 더 빠른 적응을 달성함을 입증하여 프레임워크의 유효성을 검증합니다.