PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11274v1cs.MA

강화학습을 통한 유체 흐름 내 다중 에이전트 랜데부

Multi-agent rendezvous in fluid flows via reinforcement learning

랜데부는 다중 에이전트 시스템의 핵심 과제로, 에이전트들이 명시되지 않은 위치에서 만나도록 조율해야 하는 작업입니다. 그러나 유체 환경에서 이를 달성하는 것은 어려운 과제입니다. 에이전트가 수렴(convergence)을 촉진하기 위해 기저 유체 운동학을 어떻게 활용할 수 있는지 여전히 불분명하기 때문입니다. 본 연구에서는 와류 흐름(vortical flows) 내에서 물리 정보를 활용한 랜데부 전략을 개발하기 위해 다중 에이전트 강화학습(MARL) 접근 방식을 채택합니다. 에이전트가 상대방을 향해 이동하는 단순한 전략(naive strategy)과 비교할 때, MARL 전략은 랜데부 성공률을 유의미하게 향상시킵니다. MARL 전략은 또한 변화하는 와류 강도, 와류 규모, 군집(swarm) 크기에 걸쳐 전이 가능성을 보여줍니다. 상태-행동 맵(state-action map)의 대칭성을 깨봄으로써, MARL 전략은 에이전트가 분리된 와류에 갇히는 것을 방지하는 직관적이지 않은 메커니즘을 활용하여 랜데부 성공을 증진시킵니다. 또한, 학습된 전략에서 휴리스틱 전략(heuristic strategy)을 추출하였으며, 이 역시 단순한 전략보다 우수한 성능을 보입니다. 더불어, 이론적 분석을 통해 유체 변형(fluid deformation)이 랜데부 과정을 방해함을 입증합니다. 큰 유한 시간 리아푸노프 지수(finite-time Lyapunov exponents)는 유체 효과가 인접한 에이전트를 분리시키는 위치를 식별하며, 이는 목표가 약한 변형 영역(weak-deformation regions)에서 계획되어야 함을 시사합니다. 우리의 연구 결과는 에이전트-유체 상호작용이 다중 에이전트 작업에서 수행하는 중요한 역할을 밝혀내며, 복잡한 흐름 환경에서 군집 지능(swarm intelligence)을 탐색하는 MARL의 능력을 강조합니다.