PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.13076v1cs.MA

$α$-공정 이질적 에이전트 강화학습

$α$-fair heterogeneous agent reinforcement learning

다중 에이전트 시스템에서의 협력은 일반적으로 전체적인 효율성을 극대화하는 공리주의적 목적 함수를 통해 최적화되지만, 이는 보상 분배를 고려하지 못해 종종 불평등한 '리더-팔로워' 역학 구조를 초래한다. 공정성 기반 접근법은 모든 에이전트가 협력으로부터 이익을 얻는 친사회적 행동을 장려하지만, 보상 형성(reward shaping)을 활용하는 방법을 포함한 많은 현재 알고리즘들은 마르코프 게임의 정상성(stationarity)을 깨거나 엄밀한 이론적 보장을 결여하고 있다. 이는 공정한 목적 함수 방법과 이론적으로 안전한 학습 프레임워크 사이에 중대한 간극을 만든다. 본 연구는 $α$-공정성과 이질적 에이전트 신뢰 영역 학습(HATRL, Heterogeneous-Agent Trust Region Learning)을 연결하는 새로운 프레임워크를 제안하며, 단조적 개선과 내쉬 균형으로의 수렴을 보장한다. 제안하는 접근법은 에이전트의 기대 수익에 따라 에이전트 유틸리티를 동적으로 가중하는 공정 어드밴티지 함수를 활용하여, 파라미터 $α$에 따라 전역 목적 함수가 순수한 공리주의적 효율성에서 $α$-공정 복지로 전환될 수 있도록 한다. 우리는 두 가지 실용적인 알고리즘인 $α$-fair HATRPO와 $α$-fair HAPPO를 제안하고, CleanUp 및 CommonHarvest와 같은 순차적 사회적 딜레마 환경에서의 실험을 통해 공리주의적 관점에서 HATRL 알고리즘보다 우수한 성능을 달성하면서도 사회적으로 더 높은 수준의 결과를 달성함을 입증한다.