PADiff: 애드혹 팀워크를 위한 예측 및 적응형 확산 정책
PADiff: Predictive and Adaptive Diffusion Policies for Ad Hoc Teamwork
애드혹 팀워크(Ad hoc teamwork, AHT)는 에이전트가 이전에 본 적 없는 팀원과 협력해야 하며, 이는 많은 실제 응용 분야에서 매우 중요합니다. AHT의 핵심 과제는 미지의 팀원을 실시간으로 예측하고 이에 적응할 수 있는 자아 에이전트(ego agent)를 개발하는 것입니다. 기존의 강화학습(RL) 기반 접근 방식은 단일 기대 수익만을 최적화하기 때문에 정책이 하나의 지배적인 행동으로 축퇴되는 경우가 많으며, 이로 인해 AHT에 내재된 다중 모달(multimodal) 협력 패턴을 포착하지 못합니다. 본 연구에서는 에이전트의 다중 모달 행동을 포착하여 팀원과의 다양한 협력 모드를 실현하는 확산(diffusion) 기반 접근 방식인 PADiff를 소개합니다. 그러나 표준 확산 모델은 비정상성(non-stationary)이 매우 높은 AHT 시나리오에서 예측 및 적응 능력이 부족합니다. 이러한 한계를 해결하기 위해, 노이즈 제거(denoising) 과정에 팀원에 대한 중요한 예측 정보를 통합하는 새로운 확산 기반 정책을 제안합니다. 세 가지 협력 환경에 걸친 광범위한 실험을 통해 PADiff가 기존 AHT 방식보다 성능이 크게 우수함을 입증합니다.