월드 모델(world model)은 로봇 학습(training) 데이터를 생성하거나 실제 환경을 시뮬레이션하기 위한 데이터 효율적인 도구로서 최근 활용도와 성능 측면에서 급격한 성장을 이루었으며, 다수의 연구에서 이를 로봇 학습 파이프라인에 통합할 것을 제안하고 있습니다. 본 연구에서는 월드 모델이 매우 실용적임에도 불구하고 로봇 학습 공급망에 매우 은밀하고 효과적인 데이터 오염(data poisoning) 유입 경로를 만들어 내며, 겉보기에 안전해 보이는 정답(ground truth) 학습 데이터를 사용하더라도 안전하지 않거나 손상된 로봇 정책(policy)이 배포되는 결과를 초래할 수 있음을 입증합니다. 판매되거나 업로드된 데이터셋에 위험한 궤적을 직접 삽입하는 기존의 데이터 오염 기법과 달리, 본 논문에서 제안하는 새로운 공격 기법은 겉보기에 안전한 원격 조작(teleoperation) 데이터셋에 악성 프롬프트(prompt)나 시스템을 손상시키는 전이 동역학(transition dynamics)을 주입하며, 이는 월드 모델의 입력으로 처리될 때에만 활성화됩니다. 이는 합성된 위험한 로봇 학습 궤적을 생성하고 결과적으로 안전하지 않거나 오염된 로봇 정책으로 이어질 수 있습니다. 저자들은 최첨단 행동 조건부(action-conditioned) 및 텍스트 조건부(text-conditioned) 월드 모델 모두에서 본 공격의 효과를 입증하여, 다운스트림 심층 강화학습(DRL) 정책에 대한 완전한 엔드투엔드 백도어와 비전-언어-행동(VLA) 환경에서의 개념 증명(proof-of-concept)을 제시합니다. 전반적으로 이러한 연구 결과는 보다 안전한 월드 모델에 대한 연구의 필요성과 로봇 학습 공급망 내에서 월드 모델의 위치를 재평가해야 함을 시사합니다.
월드 모델(world model)은 관측과 행동으로부터 미래의 전이를 예측합니다. 기존 연구들은 주로 이미지 생성에만 집중하고 있습니다. 반면, 시각적 특징(feature) 기반 월드 모델은 원본 비디오 픽셀 대신 미래의 시각적 특징을 예측하여 더 효율적이고 환각(hallucination)이 덜 발생하는 유망한 대안을 제시합니다. 그러나 현재의 특징 기반 접근법들은 직접적인 회귀에 의존하여 복잡한 상호작용에서 흐릿하거나 붕괴된 예측을 초래하며, 고차원 특징 공간에서의 생성 모델링은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 DINO 잔차(residual)로부터 잔차 잠재 행동(Residual Latent Action, RLA)이라 명명한 새로운 유형의 잠재 행동 표현을 쉽게 학습할 수 있음을 발견했습니다. 또한 RLA가 예측 가능하고 일반화 가능하며 시간적 진행을 인코딩함을 보여줍니다. RLA를 기반으로, 플로우 매칭(flow matching)을 통해 RLA 값을 예측하는 RLA 월드 모델(RLA-WM)을 제안합니다. RLA-WM은 시뮬레이션 및 실제 데이터셋에서 최첨단 특징 기반 및 비디오 확산(video-diffusion) 월드 모델을 능가하면서도, 비디오 확산 모델보다 수주기(orders of magnitude) 더 빠릅니다. 나아가 RLA-WM을 활용하여 정책 학습을 개선하는 두 가지 로봇 학습 기법을 개발했습니다. 첫 번째는 행동 정보가 없는(actionless) 비디오로부터 학습하여 LIBERO 및 실제 로봇에서 VLA를 개선하는 RLA 기반의 미니멀리스트 월드 액션 모델입니다. 두 번째는 온라인 상호작용 없이 오프라인 비디오만으로 학습된 월드 모델 내부에서 전적으로 학습되는 시각적 강화학습(RL) 프레임워크로, 비디오 정렬 보상(reward)을 사용합니다. 프로젝트 페이지: https://mlzxy.github.io/rla-wm
로봇 시연(demonstration) 데이터는 개별 에피소드가 비효율적이거나 실패하더라도 유용한 행동을 포함할 수 있습니다. 궤적 스티칭(trajectory stitching)은 이러한 행동들을 조합하여 개선된 학습(training) 데이터로 만드는 방법을 제공하지만, 많은 기존 기법이 저차원 상태 표현에 의존하는 고차원 로봇 데이터에서는 유용한 연결점을 식별하고 실행 가능성을 검증하기 어렵습니다. 본 논문에서는 고차원 로봇 시연 데이터에서 기록된 관측값 사이에 검증된 짧은 행동 브리지(action bridge)를 추가함으로써 이러한 문제를 해결하는 오프라인 데이터셋(dataset) 증강 알고리즘인 NEEDLE을 소개합니다. 먼저 NEEDLE은 새로운 환경(environment) 상호작용이나 특권적인 객체 상태(privileged object state) 없이 RGB 이미지, 고유수용감각(proprioception), 에피소드 단위 결과만을 사용하여 준최적의 우회 경로를 우회하고, 행동 커버리지를 넓히며, 실패한 궤적으로 원본 데이터셋을 증강하는 연결점을 식별하고 생성합니다. 다음으로, 중간 이미지를 합성하거나 원본 시연을 버리지 않고도 승인된 브리지를 정책 학습에 통합하는 샘플링 기법을 제시하여, 정책이 원본 데이터셋의 커버리지를 유지하면서 대안적인 행동을 학습할 수 있도록 합니다. 실제 로봇 작업에서 NEEDLE은 각 작업의 가장 강력한 기준선(baseline) 대비 성공률을 평균 21% 포인트 향상시켰습니다. 비디오 및 보충 자료는 https://needle-work.github.io/ 에서 확인할 수 있습니다.
진정한 체화된 에이전트(embodied agency)가 되려면 로봇이 지속적인 현실 세계 경험을 영구적이고 전이 가능한 기술로 전환할 수 있어야 합니다. 이는 작업과 환경이 진화함에 따라 이전 지식을 훼손하지 않으면서 새로운 능력을 통합하는 지속 학습(continual learning)을 요구합니다. 경험 리플레이(experience replay)는 망각을 완화하지만, 작업이 누적됨에 따라 전체 시연(demonstration)을 저장하는 데 드는 비용이 커집니다. 월드-액션 모델(world-action model)은 행동과 미래 관측의 결합 예측을 통해 과거 경험을 재구성하는 생성적 대안을 제공합니다. 그러나 시각적으로 일관된 롤아웃(rollout)이라도 예측된 전이를 실현할 수 없는 행동이 포함될 수 있으며, 새로운 작업에 적응하는 과정에서 이전에 학습한 동작이 방해받을 수 있습니다. 이에 따라 RIFAR는 신뢰성 스크리닝과 드리프트 인지형(drift-aware) 리플레이 선택을 결합합니다. RIFAR는 압축된 시연 접두사(prefix)로부터 궤적을 재구성하고 고정된(frozen) 역역학 모델(inverse-dynamics model)을 사용하여 행동-시각적 일관성을 평가합니다. 학습은 먼저 현재 시연과 스크리닝을 통과한 최고 품질의 궤적을 결합합니다. 그런 다음 RIFAR는 동일한 과거 입력에 대해 이러한 적응 전후의 행동 예측을 비교하여, 동일한 스크리닝 풀에서 정규화된 드리프트가 더 큰 궤적을 다시 선택해 지속적인 학습을 수행합니다. 세 가지 LIBERO 제품군 및 실제 환경 실험 전반에서 RIFAR는 WAM 기반 생성형 리플레이 분야의 기존 최고 성능(SOTA)을 능가합니다. LIBERO-Goal에서 RIFAR는 작업당 320개의 과거 타임스텝(50개 시연 리플레이를 사용할 때 유지되는 스텝의 약 4.9%에 불과함)만을 유지하면서도 90.97 AUC를 달성합니다.
대규모 병렬 GPU 시뮬레이터는 수천 개의 환경에서 다중 로봇 정책을 학습(training)시키며, 많은 로봇 함대는 각 로봇의 지연 시간이 동료 로봇들의 트래픽에 따라 달라지는 프라이빗 5G(Fifth-Generation) 네트워크를 사용합니다. Network-in-the-loop 학습은 이 루프 내에 시뮬레이션된 5G 네트워크를 배치합니다. 그러나 기존 GPU 로봇 시뮬레이터는 네트워크를 메시지당 독립적인 지연 시간으로 단순화하는 반면, 패킷 수준 시뮬레이터는 CPU 프로세스당 하나의 시나리오만 실행하므로 수천 개의 병렬 환경 속도를 따라가지 못합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 Isaac Lab 물리 엔진과 보조를 맞추어 수천 개 환경의 업링크를 동시에 진행하는 GPU 배치 기반 5G NR(New Radio) 모듈인 Isaac-Net을 제시합니다. Isaac-Net은 기지국이 어떤 로봇이 전송할지 결정하는 0.5 ms 주기인 모든 슬롯을 모든 환경에 대해 한 번에 시뮬레이션합니다. 광범위한 실험을 통해 Isaac-Net의 NR 엔진이 다양한 부하 조건에서 ns-3 5G-LENA의 중간값(median) 지연 시간을 재현함을 확인하였으며, 미확인 반송파에서는 중간값 지연 시간이 5~10% 낮고 폐루프 환경당 32대의 로봇 조건에서는 9% 높은 수준을 보였습니다. 또한 해당 엔진은 각 로봇의 가장 최근 전달된 보고의 경과 시간인 정보 수명(AoI, Age of Information)을 재현하는 반면, 메시지당 독립적 지연 시간을 적용할 경우 AoI 꼬리(tail) 분포가 약 3배 과소평가됩니다. 5G-LENA를 기준으로 검증된 구성에서 Isaac-Net은 무작위 정책 하에 측정했을 때 네트워크가 없는 Isaac Lab 속도의 83% 수준으로, 단일 GPU에서 약 100만 대의 로봇에 대해 네트워크를 루프 내에 유지합니다. Isaac-Net은 https://github.com/ZzZTripleZzZ/isaac-net 에서 오픈 소스로 제공됩니다.
체화된 월드 모델(embodied world model)은 로봇 학습을 위한 체화된 상호작용의 확장 가능한 시뮬레이션을 가능하게 합니다. 그러나 기존 모델들은 물리적 추론을 희생하면서 시각적 충실도에만 집중하고, 조작되는 물체의 시간적 역학에 대한 프로세스 수준의 지도가 부족하여 '모델 나태함(Model Laziness)' 현상이 발생하기 쉽습니다. 본 연구에서는 물리적으로 일관된 목표 진화를 위한 물리적 진화 지도 프레임워크인 EVEWorld를 제안합니다. EVEWorld는 인스턴스 유도 복원(Instance-Guided Restoration, IGR)과 시간적 인스턴스 정렬(Temporal Instance Alignment, TIA)의 두 가지 구성 요소로 이루어져 있습니다. 첫째, IGR은 복원 지도를 통해 인스턴스 일관성을 촉진합니다. 둘째, TIA는 인접 프레임 간의 대상 인스턴스를 정렬함으로써 프레임 간 일관성을 향상시킵니다. 나아가 생성된 궤적에서 인스턴스 일관성의 지속적인 위반을 측정하는 지표인 모델 나태율(Model Laziness Rate, MLR)을 도입합니다. DreamGenBench, EWMBench, PBench에 대한 광범위한 실험을 통해 EVEWorld의 효과를 입증하였으며, 특히 GigaWorld-0 대비 MLR을 87.5% 감소시켰습니다. 또한 WorldArena 2.0 Track 1 리더보드에서 본 모델은 JEPA 유사도 6위, 종합 17위를 기록하여 진화 지도 전략의 성능을 더욱 검증했습니다.
신뢰할 수 있는 비디오 월드 모델은 로봇 학습, 계획, 평가(evaluation)를 위한 확장 가능한 예측 환경을 제공할 수 있습니다. 그러나 생성된 로봇 비디오는 물리 법칙을 위배하고 물리적으로 불가능한 행동을 통해 작업을 완료할 수 있어, 로봇 학습 및 계획에 대한 신뢰성을 제한합니다. 현재의 비디오 생성 벤치마크는 시각적으로 본질적으로 숨겨진 물리적 특성(예: 무게, 점성, 마찰)을 배제합니다. 이로 인해 비디오 모델은 물리 법칙의 내재적 정확성이 아닌 물리의 시각적 충실도만을 기준으로 평가됩니다. 본 논문에서는 로보틱스에 기반한(grounded) 물리적 특성의 타당성을 평가하기 위한 데이터셋(dataset)이자 벤치마크인 PhysicsLENS를 소개합니다. PhysicsLENS는 동일한 조건 프레임과 작업을 유지하면서 장면 설명에서 내재된 물리적 특성을 변화시키는 매칭된 시나리오 쌍을 사용합니다. 시나리오는 공개 로봇 비디오 소스에서 선별되었으며 충돌, 중력, 모멘텀, 마찰, 변형, 유체, 인과관계의 7가지 물리 도메인에 걸쳐 주석이 달렸습니다. 4개의 비디오 생성 모델에 걸쳐 평가를 수행하여 400개 이상의 인간 주석 레이블을 생성했습니다. 실험 결과, 그럴듯해 보이는 비디오도 명시된 물리적 특성을 무시하는 경우가 많았으며(47개 중 34개), 특성을 명시하더라도 타당성은 미미하게만 낮아질 뿐 유의미한 차이를 보이지 않는 것으로 나타났습니다.
로봇 embodiment는 에이전트가 세계와 물리적으로 상호작용하는 감지, 운동학, 동역학, 기하, 구동, 제어를 포괄한다. 이러한 속성은 로봇마다 다르고 시간에 따라 변한다. 우리는 일반적인 체화 지능(embodied intelligence)이 이러한 차이에 걸쳐 축적되는 학습을 요구한다고 주장한다. embodiment 차이를 메우기 위해 대응 관계(correspondence)를 설계하는 주류 방법은 당장의 실용적 이득을 제공하지만, 그 가정들은 장기적으로 전이(transfer)의 범위를 제한한다. 대신 보다 일반적인 접근은 경험이 늘어남에 따라 더 넓은 범위의 embodiment로의 전이를 지원하는 표현(representation)을 발견해야 한다. 우리는 embodiment 다양성을 유망한 스케일링(scaling) 축으로 제안하고, 넓은 학습된 사전(prior)을 보완적 요소로 본다. embodiment gap과 전이 성능을 더 잘 특성화하는 평가를 촉구한다. 더 넓게, 교차-embodiment 학습은 이질적인 로봇 경험으로부터 학습하는 실용적 과제를, 자연에서 영감을 받은 더 넓은 과학적 추구—행동과 물리적 형태에 대한 주도권(agency)을 얻기 위해 embodiment와 함께 적응하고 공진화(co-evolve)하는 물리적 지능(physical intelligence)—와 연결한다.
인간 시각은 시선(gaze)에 의해 구동되는 매우 능동적인 과정으로, 중심화(foveation)를 통해 작업 관련 영역으로 어텐션을 유도하여 시각 처리를 극적으로 줄인다. 반면 로봇 학습 시스템은 일반적으로 원시 카메라 이미지의 수동적이고 균일한 처리에 의존한다. 본 연구에서는 인간과 유사한 능동적 시선을 로봇 정책에 통합하는 것이 효율성과 견고성을 어떻게 향상시킬 수 있는지 탐구한다. 우리는 GIAVA(Gaze Integrated Active-Vision ALOHA)를 개발하여, 인간의 머리와 목 움직임 및 중심화 처리를 위한 시선 조정을 모방하는 로봇 비전 시스템을 제안한다. AV-ALOHA 로봇 플랫폼을 확장하여, 인간 운용자로부터 시선 추적, 시점 제어, 로봇 조작 시연 데이터를 동시에 수집하는 프레임워크를 도입한다. 또한 인간 시선을 통합하는 로봇 정책 학습을 위한 시뮬레이션 벤치마크와 데이터셋을 오픈소스로 공개한다. 최근 중심화 이미지 분할 연구에서 영감을 받고, 로봇 학습에서 Vision Transformer(ViT)의 광범위한 사용을 고려하여, 중심화 패치 토큰화 방식을 사용해 시선 정보를 ViT에 통합한다. 균일 패치 토큰화와 비교하면 토큰 수가 크게 줄어들어 계산량도 감소한다. 결과는 중심화 로봇 비전 방법이 계산 오버헤드를 크게 줄이고 배경 방해 요소에 대한 견고성을 향상시킴을 보여준다. 특히 일부 고정밀도 작업에서는 성공률이 높아지는 등 중심화 비전이 성능을 개선하기도 한다. 이러한 결과는 인간에서 영감을 받은 중심화 시각 처리가 활용되지 않은 잠재력을 지니며, 로봇 비전 시스템에서 유용한 귀납적 바이어스로 더 고려될 필요가 있음을 시사한다. https://soltanilara.github.io/giava/
Vision-language-action (VLA) models aim to map multimodal inputs to robot actions. However, most existing approaches struggle to cover complex dynamic scenarios due to treating all visual tokens uniformly and reasoning with human-selected factors, which lack mechanisms to emphasize task-critical evidence and ignore underlying factors. To address this issue, we propose LEEVLA, a VLA architecture for seeing what matters in Latent Environment Evolution that explicitly guides the model toward informative regions while preserving the structured evolution of latent world representations. To identify salient and instruction-relevant regions, we introduce drift-guided dynamic prioritization (DGDP), which combines dynamic position prioritization (DPP) with semantic drift guidance (SDG) to guide the VLA agent where to attend during training. On top of this, we introduce structured feature flow generation (SFFG), which models how these prioritized features should evolve in latent space via prototype-to-periphery (P2P) prediction, and a mutual-neighborhood contrastive (MC) loss to maintain topological consistency among neighborhoods. Together, DGDP and SFFG form a task-aware "where-how" training framework. Extensive experiments on VLA benchmarks show that LEEVLA consistently outperforms prior methods, confirming that explicit task-evidence guidance and structured latent reasoning are both crucial for scalable VLA. Our code is available at https://github.com/LyuQi127/LEEVLA.
로봇공학에서 월드 모델(world model)의 개념적 범위가 커뮤니티마다 모호하게 사용되는 문제를 해소하기 위해, 이 튜토리얼은 월드 모델을 행동 조건부 예측 모델로 정의하고 관측 공간(observation-space)과 상태 공간(state-space) 모델로 분류하는 설계 공간 분류 체계를 제시한다. 나아가 예측된 미래 상태를 실행 가능한 로봇 행동과 연결하는 월드 액션 모델(world action model)을 소개하고, imagine-then-execute, 비디오 특징 조건부 행동 예측, 공동 비디오-행동 모델링, 정책 학습을 위한 보조 비디오 예측 등 네 가지 대표 패러다임을 정리한다.
Embodied foundation models have recently been widely used to improve robot generalization and task success rates. Previous works apply lossy efficient-inference techniques such as quantization, pruning, and asynchronous inference, accepting small action quality degradation in exchange for lower per-step computation cost and inter-action latency. However, unlike traditional static ML tasks, embodied tasks involve repeated interaction with the environment, and task-level performance is determined not only by per-step cost, but also by closed-loop effects unique to embodied execution, which remain insufficiently characterized in current efficient-inference studies. In this work, we propose TISED (\underline{T}ask-level \underline{I}nference \underline{S}peedup \underline{E}ffect \underline{D}ecomposition), an analytical framework that unifies diverse lossy inference optimization techniques and decomposes their effects on static and dynamic tasks, and uncovers some paradoxical effects on task-level performance: (1) on \textit{static tasks}, optimization sometimes can lengthen end-to-end per-task completion time even as per-step latency drops; (2) on \textit{dynamic tasks}, moderate lossy optimization can raise task success rate even above the baseline; and (3) the monotonicity and sweet-spot location of both effects can shift with hardware configuration. Together, our findings provide a new perspective on adapting inference optimization techniques to embodied tasks.
Vision-Language-Action (VLA) models are often constrained by the imitation ceiling imposed by sub-optimal data. While Reinforcement Learning (RL) fine-tuning can surpass this limit, it is notoriously sample inefficient. This challenge arises from two core issues: (1) catastrophic initial unlearning due to an unstable Q-function and (2) inefficient policy updates caused by low-quality exploration data, often forcing a reliance on costly human interventions. We introduce FORCE, a 3-stage framework that stabilizes fine-tuning by tackling both issues. FORCE first incorporates a Value-Calibrated Warm-Up phase, utilizing on-policy rollouts to mitigate the distributional shift of the Q-function. Subsequently, during the online stage, this calibrated Q-function acts as a filter for both the policy's own action proposals and expert data, ensuring only high-value actions are used for the policy update. We evaluate FORCE on various simulation and real-world tasks, and the result shows that FORCE achieves a 79% absolute improvement in success rates and outperform prior RL methods by 10%, while accelerating training by 32.5%. Critically, it mitigates the common success rate drop and achieves this robust performance without human intervention, marking a significant step towards deploying capable and autonomous robotic agents.
일반화된 비전-언어-행동(VLA) 모델을 학습(training)하려면 일반적으로 고충실도의 행동 주석이 포함된 대규모의 다양한 로봇 데이터셋이 필요합니다. 인간의 1인칭 조작(egocentric human manipulation) 비디오는 풍부하고 상당한 환경적 다양성을 포착하지만, 행동 레이블이 부족하여 기존 학습 패러다임에서 사용하기 어렵습니다. 이를 해결하기 위해, 레이블이 없는 인간 비디오에서 일반적인 행동 사전(priors)을 추출하도록 설계된 잠재 행동 기반 프레임워크를 제안합니다. 이 아키텍처는 물리적 마스크를 통해 모션 역학(motion dynamics)을 환경 배경으로부터 분리(decouple)하는 하이브리드 분리형(Hybrid Disentangled) VQ-VAE를 특징으로 하며, 이를 통해 크로스-엠보디먼트 행동 코드북을 구축할 수 있습니다. 해당 코드북을 사용하여 인간 비디오로 사전학습(pre-training)함으로써, VLM 백본은 행동 의도(action intent)에 대한 심층 표현을 학습합니다. 특정 엠보디먼트(embodiment)로의 적응을 위해, VLM이 행동 의도를 예측하는 동안 별도의 고정된(frozen) 시각 인코더가 상태 특정(state-specific) 특징을 행동 전문가(action expert)에게 제공하여 행동 환각(hallucinations)을 줄이는 의도-지각 분리(intent-perception decoupling) 전략을 도입했습니다. 시뮬레이션 및 실제 환경에서의 결과는 레이블이 없는 인간 비디오에서만 사전학습된 우리의 방법이 대규모 주석 데이터셋으로 학습된 최첨단 VLA 모델과 경쟁력 있는 성능을 보이며, 다운스트림 적응을 위해 단 50개의 궤적(trajectories)만 필요함을 보여줍니다.