PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00705v1cs.AI

자율주행 적용을 위한 상호작용 정책의 빠른 적응을 목표로 하는 메타 다중 에이전트 강화학습

Meta-Multi-Agent Reinforcement Learning for Fast Adaptation of Interactive Policies with Applications to Autonomous Driving

본 논문에서는 다중 에이전트 시스템(MAS)에서 상호작용 정책의 빠른 적응을 가능하게 하는 메타 다중 에이전트 강화학습(meta-MARL) 프레임워크를 개발합니다. 메타 강화학습(meta-RL)은 이단계 최적화(bi-level optimization) 메커니즘을 통해 에이전트가 새로운 태스크 및 환경에 빠르게 적응할 수 있도록 지원합니다. 그러나 기존의 메타 강화학습은 일반적으로 단일 에이전트 시스템에 초점을 맞추고 있습니다. 이러한 프레임워크와 알고리즘을 다중 에이전트 시스템으로 확장하는 데는 추가적인 난관이 따르는데, 태스크가 환경뿐만 아니라 에이전트 간의 전략적 상호작용에 의해서도 정의되기 때문입니다. 이러한 문제를 해결하기 위해, 본 연구에서는 다중 에이전트 강화학습(MARL) 문제를 마르코프 게임(MG)으로 모델링하고 여러 마르코프 게임 분포 전반에서 신속한 상호작용 정책 적응을 달성하는 메타 다중 에이전트 강화학습 프레임워크를 개발합니다. 또한 메타 다중 에이전트 강화학습 문제에서 목표로 하는 해의 개념을 설명하기 위해 메타-내시 균형(meta-NE)이라는 새로운 개념을 정의합니다. 나아가 메타-내시 균형과 그래디언트 플레이 기반 메타 다중 에이전트 강화학습 알고리즘의 정류점(stationary point) 간의 동치성에 대한 충분조건을 확립합니다. 자율주행 태스크를 대상으로 한 평가를 통해 제안된 메타 다중 에이전트 강화학습 방법이 사전학습된 다중 에이전트 강화학습 베이스라인보다 더 빠른 적응을 달성함을 입증하여 프레임워크의 유효성을 검증합니다.

arXiv:2609.27312v1cs.RO

안전성을 경쟁력으로 전환하기: 안전 필터링 강화학습을 통한 최소 착취성 로봇 정책

Turning Safety into Competence: Minimally Exploitable Robot Policies via Safety-Filtered Reinforcement Learning

경쟁적인 작업에 배치된 로봇은 안전성(safety)을 저해하지 않으면서 상대를 제압할 수 있어야 합니다. 안전 강화학습(safe RL)을 포함한 기존 접근 방식들은 작업 성공을 달성함과 동시에 실패를 피하도록 단일 정책을 학습(training)합니다. 이러한 결합은 학습을 복잡하게 만들고, 의도적인 공격에 의해 학습된 정책이 악용(exploitable)될 수 있는 여지를 남깁니다. 본 논문에서는 안전성 통합과 경쟁 작업 학습을 분리하는 2단계 강화학습 프레임워크인 Safety to Competence(S2C)를 제안합니다. 경쟁적인 상호작용을 안전 필수 마르코프 게임(safety-critical Markov games)으로 정형화하고, 모든 플레이어가 안전한 기동을 준수할 때 완벽한 필터링이 정책의 비착취성(non-exploitability)을 보존함을 증명합니다. S2C는 적대적 강화학습을 통해 강건한 안전 필터를 학습하고, 작업 정책 학습 중 이를 환경(environment)에 포함시키며, 실제 배치 시에도 동일한 필터를 유지합니다. 시뮬레이션된 터치다운 게임에서 S2C는 8가지 안전 강화학습 베이스라인을 능가하여 가장 높은 승률과 Elo 레이팅, 그리고 가장 낮은 착취성을 달성했습니다. 인간 상대를 대상으로 한 하드웨어 스트레스 테스트에서도 S2C의 뛰어난 역량이 입증되었습니다.