Dual-Force: 모방 제약 조건 하에서 향상된 오프라인 다양성 극대화
Dual-Force: Enhanced Offline Diversity Maximization under Imitation Constraints
한국어 초록
모방 제약 조건 하에서의 오프라인 다양성 극대화는 시연 데이터를 구별되는 일련의 행동 정책으로 변환할 수 있어, 추가적인 환경(environment) 상호작용 없이도 분포 변화(distribution shift)에 대한 강건성을 향상시킵니다. 그러나 실제로는 기존의 오프라인 접근 방식들이 스킬 판별기(skill discriminator) 학습을 필요로 하는 상호정보량(mutual-information) 목적 함수에 의존하는 경우가 많으며, 교차 라그랑주 최적화(alternating Lagrangian optimization)로 인해 유도되는 비정상(non-stationary) 보상 하에서 불안정해질 수 있습니다. 본 연구에서는 다음과 같은 특징을 갖는 오프라인 알고리즘인 Dual-Force를 소개합니다. (i) 후속 상태 특징(successor features)으로부터 계산된 반데르발스(Van der Waals, VdW) 힘 목적 함수의 오프-정책(off-policy) 추정기를 사용하여 다양성을 극대화함으로써 스킬 판별기를 제거하고, (ii) 사전학습된 함수형 보상 인코딩(Functional Reward Encoding, FRE)을 가치 함수와 정책에 조건부로 부여하여 비정상 내재적 보상(intrinsic rewards) 하에서의 학습(training)을 안정화합니다. 또한 FRE 코드는 연관된 잠재 표상을 통해 마주친 모든 스킬의 제로샷(zero-shot) 호출을 가능하게 하여 고정된 수의 스킬을 미리 지정할 필요성을 없앱니다. 두 가지 Solo12 시뮬레이션 벤치마크(보행 및 장애물 내비게이션)에서 Dual-Force는 목표 전문가 상태 점유(state occupancy)와 일치하면서도 다양하고 우수한 성능의 행동을 복원하며, 적대적 장애물 변형 상황에서도 강건성을 향상시킵니다.
원문 초록
Offline diversity maximization under imitation constraints can transform demonstration data into a set of distinct behavioral policies, improving robustness to distribution shift without additional environment interaction. In practice, however, existing offline approaches often rely on mutual-information objectives that require training a skill discriminator and can become unstable under the non-stationary rewards induced by alternating Lagrangian optimization. We introduce Dual-Force, an offline algorithm that (i) maximizes diversity using an off-policy estimator of a Van der Waals (VdW) force objective computed from successor features, eliminating the skill discriminator, and (ii) stabilizes training under non-stationary intrinsic rewards by conditioning the value function and policy on a pre-trained Functional Reward Encoding (FRE). The FRE code also enables zero-shot recall of every encountered skill via its associated latent representation, removing the need to pre-specify a fixed number of skills. On two Solo12 simulation benchmarks (locomotion and obstacle navigation), Dual-Force recovers diverse high-performing behaviors while matching a target expert state occupancy and improves robustness in adversarial obstacle variations.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2501.04426v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Step-wise Policy for Rare-tool Knowledge (SPaRK): Offline RL that Drives Diverse Tool Use in LLMs
Exploring Design of Multi-Agent LLM Dialogues for Research Ideation
MS-DPPs: Multi-Source Determinantal Point Processes for Contextual Diversity Refinement of Composite Attributes in Text to Image Retrieval
Prompt-Free Conditional Diffusion for Multi-object Image Augmentation
Is Diversity All You Need for Scalable Robotic Manipulation?
Lost in Latent Space: An Empirical Study of Latent Diffusion Models for Physics Emulation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.