PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12861v1cs.RO

단순 보상으로부터 복잡한 집합 행동 밝히기

Unveiling Complex Collective Behaviors from Simple Rewards

다중 에이전트 강화학습(MARL)은 로봇 군집에 큰 잠재력을 지니고 있지만, 신경망 정책의 블랙박스 특성은 전략적 분석을 어렵게 하여 다중 로봇 응용을 제한한다. 또한 복잡한 군집 행동은 명시적인 집합 유인 없이도 단순한 보상으로부터 놀랍게도 창발할 수 있다. 이러한 창발 뒤에 있는 메커니즘을 밝혀내는 것은 중요하지만, 단순 보상과 집합 행동 사이의 단절은 해석 가능성 문제를 더욱 악화시킨다. 본 논문은 이 과정에 숨겨진 메커니즘을 밝히는 것을 목표로 한다. 우리는 2단계 EEC(\LinkIII) 설명 프레임워크를 제안한다. 여기에는 에이전트 응답 맵(ARM)이라는 새로운 분석 도구가 포함되며, 이는 공간 전반에 걸친 에이전트의 의사결정 패턴을 드러내고 집합 및 회피 영역을 식별한다. ARM은 로봇이 암묵적으로 환경의 기하학적 필드를 학습하고, 이러한 구조를 조율된 이동을 위한 목표 지점으로 활용함을 드러낸다. 우리는 협력적 다중 로봇 형상 조립과 경쟁적 포식자-먹이 추적-회피라는 두 가지 서로 다른 과제에서 이 발견을 검증한다. 1) 협력 과제에서 ARM은 로봇 내비게이션의 목적지로 비어 있는 목표 내부 영역을 식별한다. 중심이 점유되면 이 목표 영역은 자동으로 경계 쪽으로 이동하며, 이는 로봇이 비어 있는 영역을 자율적으로 탐색할 수 있는 능력을 보여준다. 2) 경쟁 과제에서 ARM은 놀랍게도 포식자의 보로노이(Voronoi) 다이어그램 경계를 먹이 에이전트의 수렴 목적지로 식별한다. 이 두 과제를 종합하면, 로봇 군집에서 MARL 정책의 기반이 되는 숨겨진 기하학적 구조를 ARM이 발견할 수 있는 역량을 입증한다.