NestRL: 인간-AI 팀워크에서 상호 적응을 위한 중첩 학습 체계
NestRL: A Nested Training Regime for Mutual Adaptation in Human-AI Teaming
한국어 초록
상호 적응은 인간-AI 팀워크의 핵심 과제이다. 인간은 AI 에이전트의 행동에 따라 자신의 전략을 자연스럽게 조정하기 때문이다. 기존 접근법은 훈련 파트너를 다양화하여 인간의 행동을 근사하려 하지만, 이러한 파트너는 대개 정적이어서 인간 팀원의 적응적 특성을 포착하지 못한다. 표준적인 다중 에이전트 환경에서 에이전트를 함께 훈련하면, 에이전트는 함께 훈련된 파트너에게만 통하는 불투명한 협력 전략으로 수렴하는 경우가 많아 일반화 성능이 떨어진다. 적응적인 인간 행동을 모델링하기 위해 본 논문은 인간-AI 팀워크를 상호작용적 부분 관측 마르코프 결정 과정(Interactive Partially Observable Markov Decision Process, I-POMDP)으로 정식화한다. 또한 각 수준의 에이전트를 하위 수준의 적응적 에이전트와 맞서 훈련함으로써 유한 수준 I-POMDP의 해를 학습하는 중첩 학습 체계인 NestRL을 제안한다. 이 방식은 에이전트가 적응적 행동을 접하도록 하면서도 불투명한 협력 전략이 나타나는 것을 방지한다. 본 논문은 NestRL 에이전트가 파트너 특화 전략으로의 수렴을 피함을 보이는 이론적 분석을 제시하고, Overcooked 도메인에서 최신 기준 모델과 비교하여 이를 실험적으로 검증한다. NestRL은 보지 못한 적응적 에이전트와 실제 인간 팀원 모두에 대해 더 높은 과업 성능을 달성하며, 상호작용이 진행되는 동안 훨씬 더 큰 적응성을 보인다.
원문 초록
Mutual adaptation is a central challenge in human-AI teaming, as humans naturally adjust their strategies in response to an AI agent's behavior. Existing approaches attempt to approximate human behavior by diversifying training partners; however, these partners are typically static and fail to capture the adaptive nature of human teammates. When agents are trained jointly in standard multi-agent settings, they often converge to opaque coordination strategies that work only with their co-trained partners, leading to poor generalization. To model adaptive human behavior, we formulate human-AI teaming as an Interactive Partially Observable Markov Decision Process (I-POMDP). We propose NestRL, a nested training regime that learns the solution to a finite-level I-POMDP by training agents at each level against adaptive agents from the level below. This exposes agents to adaptive behavior while preventing emergence of opaque coordination strategies. We provide theoretical analysis showing that NestRL agents avoid convergence to partner-specific strategies, and validate this empirically in the Overcooked domain against state-of-the-art baselines. NestRL achieves higher task performance with both unseen adaptive agents and real human teammates, while exhibiting significantly greater adaptability over the course of interaction.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2602.17737v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.