DaCe-DT: 이종 태스크를 위한 적응형 프롬프트 및 궤적 보정을 통한 데이터 중심 오프라인 멀티태스크 강화학습
DaCe-DT: Data-Centric Offline Multi-Task Reinforcement Learning via Adaptive Prompts and Trajectory Correction for Heterogeneous Tasks
한국어 초록
오프라인 멀티태스크 강화학습(Offline MTRL)은 사전에 수집된 데이터의 품질과 분포에 크게 의존합니다. 그러나 기존 방법들은 주로 알고리즘적 최적화에 집중하며, 학습 능력과 일반화 성능을 향상시키기 위한 데이터 수준의 개선에는 덜 주목해 왔습니다. 본 논문은 데이터 관점에서 Offline MTRL 성능을 제한하는 세 가지 핵심 병목 현상을 밝혀냅니다: (i) 다양한 태스크 복잡도 하에서 비효율적인 프롬프트(prompt) 길이 활용, (ii) 무작위로 샘플링된 프롬프트 세그먼트의 의미론적 무관성, (iii) 파편화되고 불연속적인 궤적(trajectory)으로 인해 유도되는 오해의 소지가 있는 지도(supervision). 이러한 문제를 해결하기 위해, 우리는 길이 제어 프롬프트 마스킹(LGPM), 검색 증강 프롬프트 구성(RAPC), 가치 적응형 리턴 보정(VARC)을 특징으로 하여 이종 태스크의 복잡도 및 데이터 품질에 둔감하도록 설계된 강건한 오프라인 MTRL 프레임워크인 DaCe-DT를 제안합니다. 이러한 메커니즘들이 결합되어 DaCe-DT는 데이터 중심의 프롬프트 적응 및 궤적 정제를 제공하며, 이를 통해 이종 오프라인 데이터와 태스크 속에서도 강건한 멀티태스크 일반화와 안정적인 정책 학습을 가능하게 합니다. Meta-World에서의 실험 결과는 DaCe-DT가 기존 최고 수준의 방법들을 일관되게 능가하여 최적 데이터셋에서 평균 11.73%, 준최적 데이터셋에서 13.34%의 향상을 달성함을 보여주며, 불완전한 데이터로부터 안정적으로 학습하고 전반적인 멀티태스크 성능을 개선하는 데 있어서의 효과를 입증합니다.
원문 초록
Offline multi-task reinforcement learning (Offline MTRL) heavily depends on the quality and distribution of pre-collected data. However, existing methods mainly focus on algorithmic optimization, with less emphasis on data-level improvements to enhance learning ability and generalization performance. This paper, from a data perspective, reveals three key bottlenecks that limit Offline MTRL performance:(i) ineffective utilization of prompts length under diverse task complexities, and (ii) semantic irrelevance of randomly sampled prompt segments, (iii) misleading supervision induced by fragmented and discontinuous trajectories. To address these challenges, we propose DaCe-DT, a robust offline MTRL framework designed to be insensitive to heterogeneous task complexities and data quality, featuring length-gated prompt masking (LGPM), retrieval-augmented prompt construction (RAPC), and value-adaptive return calibration (VARC). Together, these mechanisms enable DaCe-DT to deliver data-centric prompt adaptation and trajectory refinement, resulting in robust multi-task generalization and stable policy learning amid heterogeneous offline data and tasks. Experimental results on Meta-World show that DaCe-DT consistently outperforms state-of-the-art methods, achieving an average improvement of 11.73% on optimal datasets and an improvement of 13.34% on suboptimal datasets, demonstrating its effectiveness in learning stably from imperfect data and improving overall multi-task performance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SafeDiSTL: 안전한 다중 에이전트 강화학습을 위한 공동 제약조건 분해
SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning
협력적 다중 에이전트 태스크는 종종 공유 목표나 집합적 안전성(collective safety)에 대한 제약조건을 부과합니다. 팀 수준의 위반 비용 함수는 이러한 제약조건 결과를 측정할 수 있지만, 어떤 에이전트의 행동이 해당 위반에 가장 큰 영향을 미치는지 구분하지 못합니다. 본 논문에서는 결합 제약조건 측정 하에서도 신용 할당(credit assignment)이 가능한 제약 다중 에이전트 강화학습(MARL) 프레임워크인 SafeDiSTL을 제안합니다. 우리는 신호 시간 논리(Signal Temporal Logic, STL) 강건성을 활용하여 실행 최댓값(running-maximum) 비용 증분을 통해 에피소드 수준의 위반을 측정합니다. 매끄러운 전체 에피소드 강건성과 미분 가능한 동역학은 행동 민감도(action sensitivity)를 제공하며, 이는 동일한 결정 시점에 각 비용 증분을 에이전트 전반에 걸쳐 분배합니다. 이러한 민감도는 각 비용 증분에서 에이전트의 기여도를 가중할 때 지연된 영향을 고려합니다. 우리는 협력적 화물 운송, 연결 항법, 네트워크 트래픽 제어 태스크에서 본 프레임워크를 연구합니다. 제약 baselines과 비교했을 때, SafeDiSTL은 운송 태스크에서 안전 성공률을 1.6~5.1배 달성하고, 항법 안전 성공률을 11.1% 향상시키며, 트래픽 태스크에서 50~68% 더 높은 처리량을 보입니다. 실험 결과는 학습된 정책이 제약 없는 정책의 성능을 유지하면서도 공유 제약조건을 다루는 데 있어 크게 향상되었음을 입증합니다.
목표 조건부 강화학습을 위한 월드 모델 정책 중재자
World-Model Policy Arbiter for Goal-Conditioned Reinforcement Learning
오프라인 목표 조건부 강화학습(GCRL)은 다양한 목표 도달 알고리즘을 만들어냈지만, 여러 환경, 목표, 심지어 동일한 작업의 서로 다른 단계 전반에서 항상 최상의 성능을 내는 단일 알고리즘은 존재하지 않습니다. 본 연구에서는 가장 성능이 좋은 단일 정책만을 배포하는 대신, 동결된(frozen) 목표 조건부 정책들의 집합을 포트폴리오로 공동 활용하여 매 상태마다 어떤 정책이 행동해야 할지 결정할 수 있는지를 질문합니다. 각 상태에서 정책을 선택하는 것은 간단하지 않습니다. 각 정책 자체의 가치 함수는 서로 다른 척도를 사용할 수 있고 일부 정책은 가치 함수가 없기 때문에 직접 비교할 수 없습니다. 또한 한 번에 하나의 정책만 실행할 수 있음에도 불구하고, 각 정책이 도달할 가능성이 높은 상태를 바탕으로 정책을 판단해야 합니다. 아울러 제어가 불안정해질 정도로 정책을 너무 자주 전환하는 것도 피해야 합니다. 이러한 과제를 해결하기 위해, 동결된 정책 집합이 입력으로 주어졌을 때 학습된 상태 공간 월드 모델에서 각 동결된 정책을 롤아웃하고, 공유된 목표 조건부 가치 함수로 상상된 미래를 평가하며, 다음 중재(정책 선택) 라운드 전까지 짧은 약정 구간(commitment interval) 동안 가장 높은 점수를 받은 정책을 실행하는 테스트 시간 프레임워크인 월드 모델 정책 중재자(WMPA)를 제안합니다. WMPA는 동결된 목표 조건부 정책 뱅크에 대한 접근을 가정하며, 정책 재학습이나 특권적인 작업 특화 지식을 필요로 하지 않습니다. 미로 내비게이션뿐만 아니라 큐브, 씬, 퍼즐 조작에 걸친 18개 상태 기반 데이터셋에 대한 공식 OGBench 평가 프로토콜에서, WMPA는 데이터셋별로 선택된 최고 성능 정책이 달성한 44%의 매크로 평균 성공률을 58%로 향상시켰으며, 12개 데이터셋에서 통계적으로 유의미한 성능 향상을 보였습니다. 이러한 향상에는 cube-double-play에서의 +33%포인트 및 scene-play에서의 +36%포인트 향상이 포함됩니다.
월드 모델을 활용한 일반화 가능한 로봇 삽입
Generalizable Robotic Insertion with World Models
다품종 환경에서의 로봇 조립에는 다양한 부품을 다룰 수 있는 적응형 시스템이 필요하지만, 현재의 접근법은 일반적으로 각 삽입 작업에 특화된 정책(policy)에 의존한다. 이러한 방식은 높은 성공률에 도달할 수 있으나, 새로운 문제에 시스템을 배포하는 과정이 번거롭고 시간이 많이 소요된다. 본 논문에서는 로봇의 고유수용성(proprioceptive) 정보와 손목에 장착된 카메라로 촬영한 원시 시각 관측을 결합하는 월드 모델(world model)을 활용한 일반화 가능한 삽입 프레임워크를 제안한다. 우리의 모델 기반(model-based) 접근법은 기하학적으로 다양한 부품으로 구성된 최대 90개의 삽입 작업에 대해 단일 월드 모델을 학습하며, 기하 형상을 알 수 없는 미학습 물체에 대해 제로샷 성공률 56%를 달성한다. 이는 모델-프리(model-free) 기준선의 7%와 비교되는 수치이다. 중요하게도, 학습 데이터셋에 포함되는 물체가 늘어날수록 성능이 향상되어 강력한 확장성을 보여준다. 마지막으로, 제외해 둔(held-out) 물체에 대해 범용(generalist) 모델을 파인튜닝하면 처음부터 학습하는 경우에 비해 데이터 효율성이 크게 향상되며, 경우에 따라서는 더 나은 점근적 성능을 달성한다. 우리가 아는 한, 이는 미학습 물체를 완전히 데이터 기반 방식으로 조립할 수 있는 최초의 시스템이며, 따라서 확장 가능하고 일반화 가능한 로봇 조립 시스템을 향한 중요한 진전을 의미한다.
CO-PILOT: COllaborative Planning and reInforcement Learning On sub-Task curriculum
보상 인플레이션: 강화학습을 위한 건강한 자극
Reward Inflation: A Healthy Stimulus for Reinforcement Learning
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
25 pages,NeurIPS-2026