arXiv:2606.21085v1 cs.LG

Sim2O: 결합 행동 구성을 통한 효율적인 오프라인-온라인 다중 에이전트 강화학습

Sim2O: Efficient Offline-to-Online MARL via Joint Action Composition

Bingchang Song, Yiqin Yang

제출 2026-06-19

한국어 초록

오프라인-온라인 적응은 오프라인 데이터셋으로부터 강화학습을 부트스트래핑하여 온라인 탐험의 과도한 비용을 완화하는 핵심 패러다임이다. 이 패러다임은 단일 에이전트 환경에서 광범위하게 연구되어 왔으나, 복잡한 협조적 의사결정에 있어 매우 중요한 관련성에도 불구하고 다중 에이전트 강화학습(MARL)으로의 확장은 아직 충분히 탐구되지 않은 상태로 남아 있다. 이 간극을 메우기 위해, 우리는 오프라인-온라인 MARL을 위한 우아하고 미니멀한 프레임워크인 Sim2O를 소개한다. Sim2O는 적응을 단일한 결합 결정으로 다루지 않고, 이를 구성적 과정으로 개념화한다. 구체적으로, 후보 결합 행동은 에이전트 전반에 걸쳐 오프라인 및 온라인 행동 제안을 동적으로 혼합함으로써 합성된다. 중앙화된 가치 함수를 활용하여 이러한 하이브리드 조합을 평가함으로써, Sim2O는 보조 학습 목표나 구조적 오버헤드 없이 고가치 협조 전략을 식별한다. 다양한 벤치마크에 걸친 실증적 평가는 Sim2O가 기존 베이스라인을 크게 능가함을 보여주며, 미니멀한 설계가 다중 에이전트 오프라인-온라인 적응에 있어 실행 가능할 뿐만 아니라 매우 효과적임을 강조한다.

원문 초록

Offline-to-online adaptation serves as a pivotal paradigm for mitigating the prohibitive cost of online exploration by bootstrapping reinforcement learning from offline datasets. While this paradigm has been extensively studied in single-agent settings, its extension to Multi-Agent Reinforcement Learning (MARL) remains largely unexplored, despite its critical relevance to complex coordinated decision-making. To bridge this gap, we introduce Sim2O, an elegant and minimalist framework for offline-to-online MARL. Rather than treating adaptation as a monolithic joint decision, Sim2O conceptualizes it as a compositional process. Specifically, candidate joint actions are synthesized by dynamically blending offline and online action proposals across agents. By leveraging a centralized value function to evaluate these hybrid combinations, Sim2O identifies high-value coordination strategies without requiring auxiliary training objectives or structural overhead. Empirical evaluations across diverse benchmarks demonstrate that Sim2O significantly outperforms existing baselines, underscoring that a minimalist design is not only viable but highly effective for multi-agent offline-to-online adaptation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.21085v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02554v1cs.LG공통 태그 Multi-agent Reinforcement Learning, offline reinforcement learning

분해된 가치 그래디언트 흐름을 통한 테스트 시점 다중 에이전트 조정

Test-time Multi-agent Coordination by Decomposed Value Gradient Flow

오프라인 다중 에이전트 강화학습(MARL)은 지속적인 트레이드오프에 직면해 있습니다. 표현력이 뛰어난 생성형 정책은 데이터의 다중 모달 조정을 표현할 수 있지만 고가치 영역을 구분하지 못하며, 가치 최적화 정책은 학습된 Q-함수를 활용하지만 다중 모달을 단일 지배 모드로 붕괴시킵니다. 단일 에이전트의 모드 붕괴는 공동 조정을 무너뜨릴 수 있고, 에이전트 전반의 동시 드리프트는 공동 정책을 행동 공간의 미확인 영역으로 밀어 넣을 수 있습니다. 본 논문에서는 테스트 시점 행동 개선을 통해 생성형 파운데이션 모델과 학습된 가치 함수를 결합한 최초의 오프라인 MARL 프레임워크인 SCOUT(Scalable Coordination via Optimal Unified Transport)를 제안합니다. SCOUT는 두 가지 분리된 구성 요소를 학습합니다: 흐름 매칭 행동 사전 분포와 분해된 가치 함수입니다. 테스트 시점에는 스타인 변분 경사하강법(Stein variational gradient descent)을 통해 행동 샘플을 고가치 영역으로 이동(transport)시킵니다. 이동 단계의 수는 적응형 테스트 시점 스케일링을 제어하여 고정된 정규화 계수를 대체합니다. 개별-글로벌-최대(IGM) 원칙 하에서, 이동이 수렴함에 따라 소멸하는 공동 소프트-가치 격차에 대한 단일 항 KL 경계를 증명하며, 이는 IGM 위반에 비례하는 줄일 수 없는 가산 잔차를 갖습니다. 실증적으로 SCOUT는 이산 및 연속 오프라인 MARL 벤치마크 전반에서 최고의 평균 성능을 달성하며 모든 오프라인-온라인 구성에서 성능 향상을 가져옵니다.

arXiv:2609.33289v2cs.AI공통 태그 Reinforcement Learning, Multi-agent Reinforcement Learning

판매 학습: 다중 제품 시장에서 전략적 대규모 언어 모델 에이전트를 위한 강화학습

Learning to Sell: Reinforcement Learning for Strategic Large Language Model Agents in Multi-Product Markets

다중 제품 시장에서 작동하는 자율 대규모 언어 모델(LLM) 에이전트는 정보 비대칭과 자원 제약 조건 하에서 순차적 의사결정을 내려야 합니다. 본 연구에서는 판매자가 독립적인 구매자 풀을 대상으로 대체 가능한 자산 카탈로그를 동시에 협상하는 다중 품목 협상 환경에서 에이전트가 판매자로서 효과적으로 활동하도록 학습시키는 머신러닝 접근 방식을 개발합니다. 구매자들은 제품 전반에 걸쳐 비공개적이고 이질적인 가치 평가를 지니며, 각 구매자는 최대 하나의 품목만 구매할 수 있습니다. 판매자는 전체 통신 턴 수의 제한에 직면하여 구매자의 비공개 가치 평가를 고려해 가장 수익성이 높은 제품과 동적으로 매칭하는 동시에, 더 큰 잠재 가치를 지닌 조합을 향해 제한된 상호작용 예산을 전략적으로 할당해야 합니다. 본 논문에서는 자연어를 파싱 가능하고 규제된 의사결정 공간으로 매핑하는 정형화된 4단계 메시지 프로토콜을 사용하여 이 문제를 부분 관측 마르코프 결정 과정(POMDP)으로 정형화합니다. 이러한 정형화를 바탕으로 검증 가능한 보상 기반 강화학습(RLVR)을 사용하는 사후 학습(post-training) 방법을 설계합니다. 이 프레임워크를 평가하기 위해 제약 준수, 판매자 잉여 추출, 할당 품질을 정량화하는 다차원 메트릭 스위트를 구축합니다. 학습된 판매자 에이전트는 제한된 재고를 구매자에게 더 효과적으로 매칭하는 법을 학습하며, 판매자 잉여 추출 및 구매자-제품 할당 품질 모두에서 조 단위 매개변수를 지닌 프론티어 모델과 대등하거나 이를 능가하는 성능을 보입니다. 마지막으로, 이렇게 학습된 전략은 학습 중 접하지 않은 새로운 시장 구조, 상관관계가 있는 가치 평가 분포, 가격 범위로도 견고하게 일반화됩니다.

arXiv:2610.01513v1cs.AI공통 태그 Reinforcement Learning, offline reinforcement learning

Decision Titan: 오프라인 강화학습에서 장기 기억을 위한 테스트 시점 학습

Decision Titan: Test-Time Training for Long-Term Memory in Offline Reinforcement Learning

장기 의존성(long-term dependencies)은 AI 분야의 순차적 의사결정에서 여전히 주요한 과제입니다. RNN은 그래디언트 소실(vanishing gradients) 및 벡터 기반 은닉 상태의 제한된 표현력으로 인해 어려움을 겪는 반면, 트랜스포머(Transformer) 기반 모델은 어텐션(attention)의 2차(quadratic) 스케일링으로 인해 한계를 갖습니다. 최근 연구에서는 학습(train) 및 테스트 시점 모두에서 경사하강법(gradient descent)을 통해 신경망(neural network)의 파라미터에 에피소드 기억을 저장하는 테스트 시점 학습(Test-Time Training, TTT) 프레임워크로 이 문제를 해결할 것을 제안했습니다. 이 접근법은 자연어 처리(NLP) 분야에서 성공을 거두었으나, 우리가 아는 한 강화학습(RL) 분야에는 아직 적용되지 않았으며 이러한 기억이 실제로 어떻게 기능하는지 분석한 연구도 없었습니다. 본 논문에서는 Decision Transformer에 TTT 레이어를 보강한 'Decision Titan'을 통해 오프라인 강화학습을 위한 TTT 프레임워크의 잠재력을 연구합니다. 순차적 기억을 테스트하도록 설계된 T-Maze의 확장 환경(environment)인 X-Maze에서 모델의 성능과 특성을 분석하고, 시간에 따른 게이트 값을 시각화하여 메모리 메커니즘이 어떻게 학습하는지 조사합니다. 본 연구의 주요 발견은 Decision Titan이 컨텍스트 윈도우(context window)보다 20배 더 긴 범위의 장기 의존성을 학습할 수 있고, 학습 데이터 길이의 1.7배까지 일반화할 수 있다는 점입니다. 그러나 결정적으로 시간적 일반화는 사용된 시간 임베딩에 따라 달라지며, 장기 의존성을 학습하는 능력은 관련 정보가 어떻게 인코딩되는지에 따라 달라집니다.

arXiv:2609.27312v1cs.RO공통 태그 Reinforcement Learning, Multi-agent Reinforcement Learning

안전성을 경쟁력으로 전환하기: 안전 필터링 강화학습을 통한 최소 착취성 로봇 정책

Turning Safety into Competence: Minimally Exploitable Robot Policies via Safety-Filtered Reinforcement Learning

경쟁적인 작업에 배치된 로봇은 안전성(safety)을 저해하지 않으면서 상대를 제압할 수 있어야 합니다. 안전 강화학습(safe RL)을 포함한 기존 접근 방식들은 작업 성공을 달성함과 동시에 실패를 피하도록 단일 정책을 학습(training)합니다. 이러한 결합은 학습을 복잡하게 만들고, 의도적인 공격에 의해 학습된 정책이 악용(exploitable)될 수 있는 여지를 남깁니다. 본 논문에서는 안전성 통합과 경쟁 작업 학습을 분리하는 2단계 강화학습 프레임워크인 Safety to Competence(S2C)를 제안합니다. 경쟁적인 상호작용을 안전 필수 마르코프 게임(safety-critical Markov games)으로 정형화하고, 모든 플레이어가 안전한 기동을 준수할 때 완벽한 필터링이 정책의 비착취성(non-exploitability)을 보존함을 증명합니다. S2C는 적대적 강화학습을 통해 강건한 안전 필터를 학습하고, 작업 정책 학습 중 이를 환경(environment)에 포함시키며, 실제 배치 시에도 동일한 필터를 유지합니다. 시뮬레이션된 터치다운 게임에서 S2C는 8가지 안전 강화학습 베이스라인을 능가하여 가장 높은 승률과 Elo 레이팅, 그리고 가장 낮은 착취성을 달성했습니다. 인간 상대를 대상으로 한 하드웨어 스트레스 테스트에서도 S2C의 뛰어난 역량이 입증되었습니다.

arXiv:2609.26783v1math.OC공통 태그 Reinforcement Learning, Multi-agent Reinforcement Learning

지연된 정보 공유를 활용한 탈중앙화 부분 관측 팀 의사결정 방법론

A Decentralized Partially Observable Team Decision Methodology with Delayed Information Sharing

본 논문에서는 저순위 잠재 동역학(low-rank latent dynamics)과 미지의 시스템 모델을 갖는 탈중앙화 부분 관측 팀 의사결정 문제를 연구합니다. 제안된 프레임워크는 전이 모델(transition model)에 대한 사전 지식 없이도 부분 관측 마르코프 결정 과정(POMDP)에서의 협력적 의사결정을 다루기 위해 팀 이론적 동치성(team-theoretic equivalence)과 저순위 모델 표현을 결합합니다. 각 팀 구성원은 로컬의 개별 정보와 팀 전체에 공유되는 지연된 공통 정보를 기반으로 의사결정을 내립니다. 사용 가능한 정보만을 활용하여, 각 구성원은 근사 저순위 마르코프 결정 과정을 학습하고 최소제곱 가치 반복(least-squares value iteration)을 적용하여 정책을 계산합니다. 이를 통해 중앙 조정자나 중앙 집중식 학습이 모두 필요하지 않은 완전 탈중앙화 학습 및 계획 알고리즘을 도출합니다. 우리는 결과로 도출된 구성원 측 해가 중앙 집중식 팀 해를 근사함을 보입니다. 즉, 부분 관측 가능성, 미지의 동역학, 지연된 공통 정보에도 불구하고 각 구성원은 근사 팀 최적 정책의 해당 구성 요소를 복원합니다. 나아가 제안된 알고리즘에 대한 유한 표본 성능 보장(finite-sample performance guarantees)을 확립하고 이에 대응하는 표본 복잡도 한계(sample-complexity bound)를 유도합니다.

arXiv:2609.24025v1cs.AI공통 태그 Reinforcement Learning, Multi-agent Reinforcement Learning

프로그래밍 정책 탐색을 통한 연속 게임용 반응형 캐릭터 행동 합성

Synthesizing Reactive Character Behaviors for Continuous Games via Programmatic Policy Search

본 논문은 연속 게임에서 반응형 캐릭터 행동을 간결하고 사람이 읽을 수 있는 프로그램 형태로 합성하는 방법을 제시한다. 게임 AI 실무는 여전히 수작업으로 작성한 행동 트리, 상태 기계, 스크립트에 크게 의존하는 반면, 학계의 강화학습은 학습 비용이 크고 수정하기 어려운 불투명한 신경망 제어기를 주로 만든다. 우리 접근은 연속 공간 게임 정책을 위한 도메인 특화 언어 위에서 직접 탐색함으로써 이 간극을 메운다. 이 언어는 반응형 기하학적 의사결정을 중심으로 설계되었으며 방향 최대화(direction maximization)와 같은 고차(higher-order) 구성을 포함한다. 이러한 구성은 연속 행동 공간을 열거 가능한 프로그램 구조로 이산화하는 데 도움이 된다. 프로그램 탐색을 실용적으로 만들기 위해, 행동적 커버리지는 유지하면서 중복 프로그램 형태를 제거하는 대규모 합성 안티패턴(synthesis antipatterns) 집합을 도입한다. 또한 하향식(bottom-up) 기호 열거와 코딩 에이전트의 하향식(top-down) 안내를 결합한다. 그 결과 방법인 agentic sketching은 에이전트가 고수준 정책 구조를 제안하고 열거기를 호출해 지역 프로그램 슬롯을 채우도록 한다. 14개의 연속 게임으로 구성된 벤치마크에서 방법을 평가했으며, 고전 제어 과제부터 다중 에이전트 축구까지 범위에 걸친다. 순수 열거만 사용하는 것이 코딩 에이전트 단독 사용보다 종종 더 효율적이며, 결합 방법은 둘 모두를 크게 능가한다. 결과는 프로그래밍 정책 탐색이 게임 AI를 위한 실용적인 저작 도구가 될 수 있음을 시사한다. 디자이너가 보상 함수를 지정하면 시스템이 효과적이고 이식 가능하며 종종 놀라운 수준의 편집 가능한 행동을 발견한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.