arXiv:2511.07260v3 cs.AI

PADiff: 애드혹 팀워크를 위한 예측 및 적응형 확산 정책

PADiff: Predictive and Adaptive Diffusion Policies for Ad Hoc Teamwork

Hohei Chan, Xinzhi Zhang, Antao Xiang, Weinan Zhang, Mengchen Zhao

제출 2026-09-22

한국어 초록

애드혹 팀워크(Ad hoc teamwork, AHT)는 에이전트가 이전에 본 적 없는 팀원과 협력해야 하며, 이는 많은 실제 응용 분야에서 매우 중요합니다. AHT의 핵심 과제는 미지의 팀원을 실시간으로 예측하고 이에 적응할 수 있는 자아 에이전트(ego agent)를 개발하는 것입니다. 기존의 강화학습(RL) 기반 접근 방식은 단일 기대 수익만을 최적화하기 때문에 정책이 하나의 지배적인 행동으로 축퇴되는 경우가 많으며, 이로 인해 AHT에 내재된 다중 모달(multimodal) 협력 패턴을 포착하지 못합니다. 본 연구에서는 에이전트의 다중 모달 행동을 포착하여 팀원과의 다양한 협력 모드를 실현하는 확산(diffusion) 기반 접근 방식인 PADiff를 소개합니다. 그러나 표준 확산 모델은 비정상성(non-stationary)이 매우 높은 AHT 시나리오에서 예측 및 적응 능력이 부족합니다. 이러한 한계를 해결하기 위해, 노이즈 제거(denoising) 과정에 팀원에 대한 중요한 예측 정보를 통합하는 새로운 확산 기반 정책을 제안합니다. 세 가지 협력 환경에 걸친 광범위한 실험을 통해 PADiff가 기존 AHT 방식보다 성능이 크게 우수함을 입증합니다.

원문 초록

Ad hoc teamwork (AHT) requires agents to collaborate with previously unseen teammates, which is crucial for many real-world applications. The core challenge of AHT is to develop an ego agent that can predict and adapt to unknown teammates on the fly. Conventional RL-based approaches optimize a single expected return, which often causes policies to collapse into a single dominant behavior, thus failing to capture the multimodal cooperation patterns inherent in AHT. In this work, we introduce PADiff, a diffusion-based approach that captures agent's multimodal behaviors, unlocking its diverse cooperation modes with teammates. However, standard diffusion models lack the ability to predict and adapt in highly non-stationary AHT scenarios. To address this limitation, we propose a novel diffusion-based policy that integrates critical predictive information about teammates into the denoising process. Extensive experiments across three cooperation environments demonstrate that PADiff outperforms existing AHT methods significantly.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2511.07260v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15932v1cs.LG공통 태그 Multi-agent Reinforcement Learning, diffusion policy

DiffNash: 확산 정책을 활용한 고차원 연속 행동 공간에서의 내시 균형 탐색

DiffNash: Finding Nash Equilibrium in High-Dimensional Continuous Action Spaces with Diffusion Policies

고차원 연속 게임에서 균형(equilibrium)을 계산하려면 풍부한 다봉(multi-modal) 전략 분포를 학습하고 표현해야 하지만, 기존의 신경망 정책으로는 이를 달성하기 어렵습니다. 확산 모델(diffusion model)은 자연스러운 해결책을 제공하지만, 표준 확산 학습(training)은 고정된 목표 분포로부터의 직접적인 샘플을 필요로 하며, 이는 반복적인 게임 해결 업데이트 과정에서는 일반적으로 얻기 어렵습니다. 본 논문에서는 온라인 미러 하강법(OMD) 및 가상 플레이(FP)의 확산 기반 변형을 가능하게 하는 균형 계산용 확산 기반 프레임워크를 제안합니다. 제안하는 접근법은 각 업데이트된 정책으로부터 직접 샘플을 추출할 필요 없이 확산 정책을 학습시키는 재가중(reweighted) 스코어 매칭 목적식을 유도합니다. 본 연구의 핵심 방법론인 DiffNash는 리플레이 버퍼를 통해 과거 행동을 재사용함으로써 OMD의 빠른 수렴(convergence)과 FP의 샘플 효율성을 결합합니다. 샘플 재사용으로 인해 발생하는 분포 변화(distribution shift)를 보정하기 위해, 확산 우도(likelihood)를 직접 평가하지 않고도 해당 중요도 가중치(weight)에 대한 다루기 쉬운 대리 지표를 제공하는, 현재 및 과거 정책의 증거 하한(ELBO) 차이에 대한 비편향 추정량을 유도합니다. 산림 보호 게임 및 연속 블로토 대령(Colonel Blotto) 게임에서 제안 방식을 평가한 결과, 최소한의 하이퍼파라미터(hyperparameter) 튜닝만으로 가장 강력한 기준선(baseline) 대비 내시 격차(Nash gap)를 각각 35.6% 및 24.7% 감소시켰습니다.

arXiv:2609.38472v2cs.RO공통 태그 Denoising, diffusion policy

Diffusion-2BC: 자율주행 오프라인 행동 복제를 위한 확산 및 회귀 하이브리드 학습

Diffusion-2BC: Hybrid Diffusion and Regression Training for Offline Behavior Cloning in Autonomous Driving

행동 복제(Behavior Cloning)는 자율주행 정책 학습을 위한 오프라인 경로를 제공하지만, 하나의 관측에 대해 여러 유효한 행동이 존재할 수 있는 시연 데이터의 경우 평균 제곱 오차(mean-squared-error) 회귀와는 잘 맞지 않습니다. 확산 정책(Diffusion policy)은 조건부 다봉(multimodal) 행동 분포를 표현할 수 있지만, 제한된 데이터로부터 시각적 특징과 제어를 학습할 때 폐루프(closed-loop) 성능이 불안정할 수 있습니다. 본 논문에서는 공유된 시각적 인코더 상에서 확산 노이즈 제거(denoising) 목표와 보조 결정론적 행동 복제 손실을 결합한 Diffusion-2BC를 제안합니다. 보조 브랜치는 학습 중에만 사용되며, 추론은 확산 기반으로 유지됩니다. 제안된 방법은 통제된 Claw 환경과 버드아이뷰(bird's-eye-view) CARLA 내비게이션(경로 조건부 주행, 여러 교차로를 통과하는 무경로 내비게이션, Town01에서 Town02로의 교차 맵 평가 포함)에서 평가됩니다. Claw 태스크에서 Diffusion-2BC는 확산 기반 행동 복제 기준선 대비 약 10%, 표준 결정론적 행동 복제 대비 85% 평균 마스크 거리 오차를 줄였습니다. 무경로 CARLA에서 Diffusion-2BC는 Town01과 Town02 모두에서 평가 프로토콜 하에 주행이 종료되기 전까지 두 기준선보다 훨씬 더 먼 거리를 주행했습니다. 추가적인 정성적 롤아웃을 통해 뚜렷한 경로 선택이 확인되었으며, 제안된 확산 기반 에이전트의 다봉 행동을 보여주었습니다. 이러한 결과는 보조 회귀 신호가 통제된 벤치마크에서 다봉 예측을 보존하면서도 확산 행동 복제의 폐루프 신뢰성을 향상시킬 수 있음을 나타냅니다.

arXiv:2609.33289v2cs.AI공통 태그 Reinforcement Learning, Multi-agent Reinforcement Learning

판매 학습: 다중 제품 시장에서 전략적 대규모 언어 모델 에이전트를 위한 강화학습

Learning to Sell: Reinforcement Learning for Strategic Large Language Model Agents in Multi-Product Markets

다중 제품 시장에서 작동하는 자율 대규모 언어 모델(LLM) 에이전트는 정보 비대칭과 자원 제약 조건 하에서 순차적 의사결정을 내려야 합니다. 본 연구에서는 판매자가 독립적인 구매자 풀을 대상으로 대체 가능한 자산 카탈로그를 동시에 협상하는 다중 품목 협상 환경에서 에이전트가 판매자로서 효과적으로 활동하도록 학습시키는 머신러닝 접근 방식을 개발합니다. 구매자들은 제품 전반에 걸쳐 비공개적이고 이질적인 가치 평가를 지니며, 각 구매자는 최대 하나의 품목만 구매할 수 있습니다. 판매자는 전체 통신 턴 수의 제한에 직면하여 구매자의 비공개 가치 평가를 고려해 가장 수익성이 높은 제품과 동적으로 매칭하는 동시에, 더 큰 잠재 가치를 지닌 조합을 향해 제한된 상호작용 예산을 전략적으로 할당해야 합니다. 본 논문에서는 자연어를 파싱 가능하고 규제된 의사결정 공간으로 매핑하는 정형화된 4단계 메시지 프로토콜을 사용하여 이 문제를 부분 관측 마르코프 결정 과정(POMDP)으로 정형화합니다. 이러한 정형화를 바탕으로 검증 가능한 보상 기반 강화학습(RLVR)을 사용하는 사후 학습(post-training) 방법을 설계합니다. 이 프레임워크를 평가하기 위해 제약 준수, 판매자 잉여 추출, 할당 품질을 정량화하는 다차원 메트릭 스위트를 구축합니다. 학습된 판매자 에이전트는 제한된 재고를 구매자에게 더 효과적으로 매칭하는 법을 학습하며, 판매자 잉여 추출 및 구매자-제품 할당 품질 모두에서 조 단위 매개변수를 지닌 프론티어 모델과 대등하거나 이를 능가하는 성능을 보입니다. 마지막으로, 이렇게 학습된 전략은 학습 중 접하지 않은 새로운 시장 구조, 상관관계가 있는 가치 평가 분포, 가격 범위로도 견고하게 일반화됩니다.

arXiv:2610.01710v1cs.AI공통 태그 Reinforcement Learning, Denoising

CoEvolve: 양방향 상태 정밀화를 통한 구성 기반 편집 시각적 그라운딩

CoEvolve: Construct-to-Edit Visual Grounding with Bidirectional State Refinement

시각적 그라운딩(visual grounding)은 언어로 기술된 객체를 경계 상자(bounding box)로 위치를 특정합니다. 대부분의 멀티모달 그라운딩 모델은 대상 식별, 공간 추론, 경계 추정을 하나의 최종 예측으로 압축합니다. 자유 형식의 근거 제시(free-form rationales)는 언어적으로 추론을 명시화하지만, 측정 가능하고 편집 가능한 공간 상태를 반드시 드러내지는 않습니다. 따라서 중간 위치 추정 오류를 진단하고 수정하기 어려워, 잘못된 영역 선택과 부정확한 경계가 최종 상자에 그대로 남게 됩니다. 본 연구에서는 그라운딩을 명시적 상태 구성과 상태 편집으로 분리하는 '구성 기반 편집(construct-to-edit)' 프레임워크인 CoEvolve를 소개합니다. 영역 진화 강화(Region-Evolution Reinforcement, RER)는 그라운딩 분석을 점진적인 의미-공간 궤적으로 체계화하며, 각 추론 단계에서 명시적인 후보 영역을 확정합니다. 양방향 디노이징 정밀화기(Bidirectional Denoising Refiner, BDR)는 추론 텍스트를 고정된 의미적 컨텍스트로 취급하고, 양방향 동일 위치 재구성을 통해 궤적의 좌표 필드를 정밀화합니다. 기하 및 행동 수준의 목표는 신뢰할 수 있는 후보를 통합하고 정확한 입력을 보존하거나 어노테이션에 맞게 교정하기 위한 목표 기하학 및 편집 선호도 신호를 제공합니다. 평가는 자연 이미지 및 원격 탐사 그라운딩을 포괄합니다. 9B 백본을 사용하는 CoEvolve는 그라운딩 정확도에서 최대 241B 매개변수 규모의 모델과 대등한 성능을 보입니다. 제어된 노이즈 주입 환경에서 단 한 번의 BDR 패스만으로 평균 상자 중첩도(mean box overlap)가 27%p 이상 향상되어, 상당한 위치 추정 오류로부터 강력하게 복구됨을 입증합니다. 상태-출처 비교는 명시적 상태 구성과 출처 맞춤형 편집의 상호보완성을 더욱 뒷받침합니다. 프로젝트는 https://sundongwei.github.io/CoEvolve_Project/ 에서 확인할 수 있습니다.

arXiv:2609.27312v1cs.RO공통 태그 Reinforcement Learning, Multi-agent Reinforcement Learning

안전성을 경쟁력으로 전환하기: 안전 필터링 강화학습을 통한 최소 착취성 로봇 정책

Turning Safety into Competence: Minimally Exploitable Robot Policies via Safety-Filtered Reinforcement Learning

경쟁적인 작업에 배치된 로봇은 안전성(safety)을 저해하지 않으면서 상대를 제압할 수 있어야 합니다. 안전 강화학습(safe RL)을 포함한 기존 접근 방식들은 작업 성공을 달성함과 동시에 실패를 피하도록 단일 정책을 학습(training)합니다. 이러한 결합은 학습을 복잡하게 만들고, 의도적인 공격에 의해 학습된 정책이 악용(exploitable)될 수 있는 여지를 남깁니다. 본 논문에서는 안전성 통합과 경쟁 작업 학습을 분리하는 2단계 강화학습 프레임워크인 Safety to Competence(S2C)를 제안합니다. 경쟁적인 상호작용을 안전 필수 마르코프 게임(safety-critical Markov games)으로 정형화하고, 모든 플레이어가 안전한 기동을 준수할 때 완벽한 필터링이 정책의 비착취성(non-exploitability)을 보존함을 증명합니다. S2C는 적대적 강화학습을 통해 강건한 안전 필터를 학습하고, 작업 정책 학습 중 이를 환경(environment)에 포함시키며, 실제 배치 시에도 동일한 필터를 유지합니다. 시뮬레이션된 터치다운 게임에서 S2C는 8가지 안전 강화학습 베이스라인을 능가하여 가장 높은 승률과 Elo 레이팅, 그리고 가장 낮은 착취성을 달성했습니다. 인간 상대를 대상으로 한 하드웨어 스트레스 테스트에서도 S2C의 뛰어난 역량이 입증되었습니다.

arXiv:2609.26783v1math.OC공통 태그 Reinforcement Learning, Multi-agent Reinforcement Learning

지연된 정보 공유를 활용한 탈중앙화 부분 관측 팀 의사결정 방법론

A Decentralized Partially Observable Team Decision Methodology with Delayed Information Sharing

본 논문에서는 저순위 잠재 동역학(low-rank latent dynamics)과 미지의 시스템 모델을 갖는 탈중앙화 부분 관측 팀 의사결정 문제를 연구합니다. 제안된 프레임워크는 전이 모델(transition model)에 대한 사전 지식 없이도 부분 관측 마르코프 결정 과정(POMDP)에서의 협력적 의사결정을 다루기 위해 팀 이론적 동치성(team-theoretic equivalence)과 저순위 모델 표현을 결합합니다. 각 팀 구성원은 로컬의 개별 정보와 팀 전체에 공유되는 지연된 공통 정보를 기반으로 의사결정을 내립니다. 사용 가능한 정보만을 활용하여, 각 구성원은 근사 저순위 마르코프 결정 과정을 학습하고 최소제곱 가치 반복(least-squares value iteration)을 적용하여 정책을 계산합니다. 이를 통해 중앙 조정자나 중앙 집중식 학습이 모두 필요하지 않은 완전 탈중앙화 학습 및 계획 알고리즘을 도출합니다. 우리는 결과로 도출된 구성원 측 해가 중앙 집중식 팀 해를 근사함을 보입니다. 즉, 부분 관측 가능성, 미지의 동역학, 지연된 공통 정보에도 불구하고 각 구성원은 근사 팀 최적 정책의 해당 구성 요소를 복원합니다. 나아가 제안된 알고리즘에 대한 유한 표본 성능 보장(finite-sample performance guarantees)을 확립하고 이에 대응하는 표본 복잡도 한계(sample-complexity bound)를 유도합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.