PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2510.01264v2cs.LG

HARL-A: IsaacLab 기반 이종 다중 에이전트 적대적 강화학습을 위한 확장 가능한 벤치마크 프레임워크

HARL-A: An Extensible Benchmark Framework for Heterogeneous Multi-Agent Adversarial Reinforcement Learning in IsaacLab

로보틱스를 위한 적대적 다중 에이전트 강화학습(MARL)의 발전은 고충실도 물리 시뮬레이션에서 이종 에이전트 외형(morphology)을 지원하는 공유 가능하고 확장성 있는 인프라의 부재로 인해 저해되어 왔습니다. 기존 프레임워크들은 협력적 작업에만 집중하거나 단순화된 물리 엔진에 의존하며, 혹은 확장이 어려운 개별적 구현만을 제공합니다. 본 논문에서는 팀 수나 팀당 로봇 외형의 조합에 관계없이 형태학적으로 다양한 로봇 팀 전반에서 적대적 정책의 확장 가능한 학습(training) 및 벤치마킹을 가능하게 하는, IsaacLab 기반의 오픈소스 프레임워크인 HARL-A를 제시합니다. HARL-A는 HARL 알고리즘 라이브러리와 IsaacLab을 확장하여 적대적 다중 에이전트를 지원하며 세 가지 요소를 기여합니다: (1) 새로운 이종 적대적 환경을 정의할 때의 엔지니어링 오버헤드를 줄이는 모듈형 소프트웨어 아키텍처, (2) 접촉이 많은 밀치기, 공 다루기 기술 경쟁, 추적/회피를 아우르는 세 가지 벤치마크 환경 세트(Sumo, Soccer, 3D Galaga), (3) 처음부터 다시 학습하지 않고도 적대적 학습 역학을 즉시 탐험할 수 있도록 Hugging Face에 공개된 동종 및 이종 팀 구성을 포괄하는 10개 이상의 사전학습된 정책. 저자들은 여러 경쟁 시나리오에 걸쳐 이 프레임워크를 실증하여, 학습된 적대적 정책과 창발적 역할 분화를 안정적으로 생성함을 보여줍니다. 모든 코드 환경, 학습된 정책 및 문서는 https://github.com/DIRECTLab/IsaacLab-HARL 에 공개되어 있습니다.