Towards a Pretrained Model for Restless Bandits via Multi-arm Generalization
원문 초록
Restless multi-arm bandits (RMABs), a class of resource allocation problems with broad application in areas such as healthcare, online advertising, and anti-poaching, have recently been studied from a multi-agent reinforcement learning perspective. Prior RMAB research suffers from several limitations, e.g., it fails to adequately address continuous states, and requires retraining from scratch when arms opt-in and opt-out over time, a common challenge in many real world applications. We address these limitations by developing a neural network-based pre-trained model (PreFeRMAB) that has general zero-shot ability on a wide range of previously unseen RMABs, and which can be fine-tuned on specific instances in a more sample-efficient way than retraining from scratch. Our model also accommodates general multi-action settings and discrete or continuous state spaces. To enable fast generalization, we learn a novel single policy network model that utilizes feature information and employs a training procedure in which arms opt-in and out over time. We derive a new update rule for a crucial $\lambda$-network with theoretical convergence guarantees and empirically demonstrate the advantages of our approach on several challenging, real-world inspired problems.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PopGen: 제로샷 조정을 위한 의미론적으로 다양한 개체군 생성
PopGen: Generating Semantically Diverse Populations for Zero-Shot Coordination
다중 에이전트 강화학습(multi-agent reinforcement learning)에서 학습(training) 중 협력자에게 다양한 전략을 가진 파트너를 노출하는 것은 테스트 시 더 나은 협업을 달성하기 위한 핵심 요소입니다. 그러나 기존 방법들은 일반적으로 다양성을 측정하기 위해 궤적 수준(trajectory-level)의 대리 지표에 의존하므로, 동일한 전략에서 나온 서로 다른 두 궤적을 다양하다고 잘못 분류할 수 있습니다. 대신 본 연구의 핵심 통찰은 인간이 고수준의 전략을 인식할 수 있는 것과 유사하게, 환경(environment) 내에서 행동적으로 뚜렷이 구별되는 에이전트(agent)를 서술하는 대규모 언어 모델(LLM)의 능력을 활용하는 것입니다. 이를 위해 본 연구에서는 LLM을 사용하여 처음부터 의미론적으로 다양한 에이전트를 합성하는 프레임워크인 PopGen을 소개합니다. PopGen은 먼저 에이전트 행동에 대한 다양한 텍스트 서술 세트를 생성한 다음, 각 행동을 환경 내에서 실행할 수 있는 코드 정책(code policy)으로 변환합니다. 본 연구는 PopGen 개체군을 대상으로 학습된 협력자가 처음 보는 파트너와도 견고한 제로샷(zero-shot) 협력을 달성하며, 네 가지 협업 환경 전반에서 개체군 기반 학습(population-play) 베이스라인들을 능가함을 보입니다. 나아가 의미론적 다양성이 PopGen 개체군 크기에 따라 확장되어 협력자의 최악의 경우(worst-case) 성능을 향상시킴을 보이고, 다양성을 극대화하면서도 개체군 품질을 유지하는 설계 선택 사항들을 식별합니다. 연구 코드는 https://github.com/labicon/PopGen 에서 확인할 수 있습니다.
스택켈버그 게임을 통한 다중 대규모 언어 모델(Multi-LLM) 협력적 정렬
Multi-LLM Collaborative Alignment via Stackelberg Games
언어 모델 풀은 서로의 응답으로부터 학습함으로써 협력하고 집단적으로 향상될 수 있습니다. 이러한 상호작용은 학습(training) 중에 사용되는 인스트럭션에 따라 달라집니다. 기존 방법들은 대개 인스트럭션을 균일하게 샘플링하지만, 모델(model)이 발전함에 따라 그 유용성은 변화할 수 있습니다. 즉, 한때 모델들의 응답 품질이 달랐던 인스트럭션이 나중에는 모두 동일하게 잘 답변될 수 있는 반면, 이전에는 어려웠던 인스트럭션이 유용한 학습 신호를 제공하기 시작할 수도 있습니다. 본 논문에서는 인스트럭션 선택을 적응형 커리큘럼으로 전환하는 게임 이론 기반의 리더-팔로워 프레임워크인 스택켈버그 정렬(Stackelberg Alignment)을 제안합니다. EXP3 밴딧이 리더 역할을 수행하여 인스트럭션 전반에 고정된 샘플링 예산을 할당하고, 인스트럭션 난이도와 응답 변별력을 결합한 보상(reward)을 사용하여 샘플링 분포를 업데이트합니다. 언어 모델들은 팔로워 역할을 하여 선택된 인스트럭션에 응답하고, 서로의 응답을 평가하며, 그 결과로 도출된 선호도 신호로부터 DPO 또는 GRPO를 통해 학습합니다. 이 프레임워크는 신뢰할 수 있고 경쟁적인 모델 상호작용을 지원하기 위해 Elo 스타일의 평판 가중치 피어 평가와 평판 기반 상대 매칭을 사용합니다. 과학적 발견, 추론(inference), 코드, 인스트럭션 준수, 지식을 아우르는 12개 벤치마크와 3개의 이종 모델 풀에 걸친 실험 결과, Stackelberg Alignment는 세 가지 다양한 모델 풀 전반에서 가장 높은 매크로 평균을 달성하여 가장 강력한 학습 시간 기준선(baseline)을 최대 7.4%, 최고의 정적 추론 기준선을 12~25% 능가함을 보여줍니다. 분석을 통해 적응형 리더가 가장 유익한 인스트럭션에 대결을 집중시킴을 확인하였으며, 소거 연구를 통해 평판 가중 평가와 평판 기반 매칭 모두 다중 LLM 진화의 효과를 향상시킨다는 점을 보여줍니다.
관찰하고, 추론하고, 협력하라: 제로샷 협력을 위한 로봇 파트너의 제약 조건 추론
Watch, Infer, Coordinate: Inferring Robot Partner Constraints for Zero-Shot Coordination
물리적 세계에서 작동하는 로봇은 다른 로봇과 협력해야 할 필요성이 점점 더 커질 것이며, 특히 물체가 너무 크거나 무거워 단일 로봇이 혼자 운반할 수 없는 조작(manipulation) 작업에서 더욱 그러합니다. 하드웨어 성능 저하나 액추에이터 결함으로 인한 물리적 한계는 로봇이 안정적으로 수행할 수 있는 동작을 제한할 수 있지만, 이러한 한계는 파트너 로봇에게 알려지지 않을 수 있습니다. 본 연구에서는 보조 로봇(helper)이 다른 로봇과 협력하는 파트너 로봇을 관찰함으로써 해당 로봇의 물리적 제약 조건을 추론하고, 추론된 능력을 바탕으로 동일한 파트너와 새로운 작업에서 협력할 수 있는지를 탐구합니다. 이는 시연(demonstration) 데이터가 제약이 있는 로봇이 '무엇을 했는지'만 보여줄 뿐, '무엇을 할 수 있었는지'는 보여주지 않기 때문에 어렵습니다. 또한 물리적으로 결합된 작업에서는 다른 로봇이 이러한 한계를 보완해 줄 수 있어, 제약이 있는 로봇의 행동만으로는 한계를 식별하기 어렵습니다. 우리의 핵심 통찰은 이러한 제약 조건이 팀의 공동 행동(joint behavior)을 형성하므로, 두 로봇의 행동 모두가 제약이 있는 파트너의 능력에 대한 유용한 정보를 제공한다는 점입니다. 본 논문에서는 물리적으로 결합된 세 가지 조작 환경을 아우르는 벤치마크인 'Watch, Infer, Coordinate'와 함께, 관찰된 공동 행동을 활용해 후보 제약 조건에 점수를 매기는 추론 접근법을 소개합니다. 세 가지 환경 모두에서 우리의 방법은 제약 조건 추론 및 제로샷(zero-shot) 협력 성능을 크게 향상시키며, 실제 제약 조건에 접근할 수 있는 오라클(oracle) 수준에 근접합니다.
한 손이 다른 손을 주시한다: 동적 환경에서 샘플 효율적 양손 조작을 위한 동적 다중 에이전트 협력
One Hand Watches The Other: Dynamic Multi-Agent Cooperation for Sample-Efficient Bimanual Manipulation in Dynamic Environments
다중 스트림(multi-stream) 로봇 조작 정책은 환경 기준 좌표계에 대한 상대적 행동을 모델링함으로써 비교할 수 없는 샘플 효율성과 일반화 성능을 달성한다. 그러나 기존 접근법은 일반적으로 이러한 좌표계가 엄격히 외생적(exogenous)이라고 가정한다. 단일 로봇 팔이 움직이는 물체를 조작하거나 두 팔이 협조할 때처럼, 각 팔이 사실상 상대방의 동적 환경의 일부가 되는 동적 설정에서는 이러한 인과적 가정이 무너진다. 우리는 DynaMAC을 제안한다. 이는 다중 스트림 정책의 샘플 효율성, 계산 속도, 유연성을 유지하면서 이러한 인과적 한계를 해결하는 경량의 정책 독립적(policy-agnostic) 프레임워크이다. DynaMAC은 반대쪽 팔을 동적 작업 매개변수로 취급하여, 명시적인 리더-팔로워(leader-follower) 관계 없이 동적 조작과 양손 협조에 대한 통합 공식화를 제공한다. 이러한 능력을 엄격히 평가하기 위해, 동적 환경에서의 로봇 조작을 위한 새로운 벤치마크인 DynaBench를 도입한다. 동적 환경과 양손 조작 작업 모두에서 DynaMAC은 20배 적은 샘플을 필요로 하면서도 선도적인 확률적 및 생성형 베이스라인을 35%p 이상 능가한다. 중요하게도, DynaMAC은 정적 시연에서 동적 환경으로 제로샷(zero-shot) 일반화를 수행하여 데이터 수집을 크게 단순화하고 인간-로봇 협력을 향한 우아한 다리를 마련한다.
TerraZero: 대규모 무시연 셀프 플레이를 위한 절차적 주행 시뮬레이션
TerraZero: Procedural Driving Simulation for Zero-Demonstration Self-Play at Scale
강력한 자율주행 에이전트를 학습하려면, 대규모 강화학습에 충분히 빠르면서 실제 세계 맵 구조에 행동을 그라운딩(grounding)하기에 충분히 사실적이고, 로그 데이터가 거의 담지 못하는 안전 중요 장기 꼬리(long tail)를 커버하기에 충분히 다양한 시뮬레이터가 필요하다. 본 논문은 절차적 주행 시뮬레이터이자 셀프 플레이 학습 스택인 TerraZero를 제시한다. 구성 가능한 C 엔진이 제로 카피(zero-copy) 경로를 통해 CPU에서 시뮬레이션을 실행하고 GPU에서 정책 추론을 수행하며, 단일 서버급 GPU에서 초당 130만 에이전트-스텝(agent-steps)을 유지한다. 이는 기존 객체 수준(object-level) 시뮬레이터보다 훨씬 빠르면서, 경량 단일 에이전트 시스템이 생략하는 충실도를 유지한다: 이종 에이전트, 다중 동역학 모델, 완전한 교통 규칙 집행. TerraZero는 로그 데이터를 실제 세계 맵 지형(map geometry)의 출처로만 취급하며, 각 맵에 무작위 규칙 기반 도로 사용자와 신호 제어기를 배치하고 에피소드마다 에이전트 동역학, 보상, 크기를 무작위화하여 하나의 맵이 무한한 시나리오 집합을 생성하게 한다. 보고된 모든 정책은 GPU 전반에 걸친 연산 효율적인 셀프 플레이 레시피로 강화학습만을 통해 처음부터 학습되며, 인간 시연이 전혀 없고 추론 시 폴백 플래너(fallback planner)도 없다. 정책은 도시와 데이터셋 전반에서 제로샷(zero-shot)으로 일반화되며, 명시적 감독 없이 창발적(emergent) 좌측 통행(left-hand-traffic) 주행을 포함한다. 에고(ego) 정책으로서 TerraZero는 InterPlan 장기 꼬리 벤치마크에서 1위를 차지한 최초의 완전 학습 기반 정책이며, 더 큰 학습형 플래너들보다 앞선다. 일상 주행 val14에서는 최고 수준 접근법 중 하나로 순위에 오르며 가장 안전하여, 충돌 및 충돌까지 시간(time-to-collision) 점수에서 최고를 기록한다. Waymo Open Sim Agents realism에서 동일한 레시피는 다른 시연 없는(demonstration-free) 방법들을 능가하며, 가장 강력한 reference-anchored 셀프 플레이 방법과 경쟁력을 보인다. 하나의 스택이 두 역할을 모두 수행한다: 승용차와 트럭의 동역학에 걸친 주행 정책, 그리고 차량·보행자·자전거를 공동 제어하는 시뮬 에이전트(sim agents).
DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석
DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models
자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.