arXiv:2606.27677v1 cs.RO

DIM-WAM: 다양한 과거 이벤트 메모리를 활용한 World-Action 모델링

DIM-WAM: World-Action Modeling with Diverse Historical Event Memory

Kai Wang, Zhaopeng Gu, Yixiang Chen, Yuan Xu, Qisen Ma, Peng Su, Zhaowen Li, Yan Huang, Liang Wang

제출 2026-06-26

한국어 초록

World-action 모델은 미래 시각 상태와 행동을 공동으로 예측함으로써 유망한 로봇 조작(manipulation) 성능을 보여왔다. 그러나 기존 방법은 주로 단기 기록과 단기 예측 지평(short-horizon future prediction)에 의존하며, 이는 초기 관측과 작업 진행률에 올바른 실행이 의존하는 장기(long-horizon) 작업에는 불충분하다. 이러한 시간적 의존 작업은 최근의 국소적 문맥, 단계 간 과거 이벤트, 즉각적인 미래 동역학, 전역 작업 진행률을 포함한 상호 보완적인 시간 정보의 효과적 활용을 요구한다. 장기 망각과 전역 작업 상태에 대한 낮은 인식을 해결하기 위해, 우리는 다중 스케일 과거 문맥, 국소적 미래 동역학, 전역 작업 진행률을 통합하는 메모리 증강(memory-augmented) world-action 모델인 DiM-WAM을 제안한다. 메모리는 실제 관측에서 압축된 시각 이벤트 정보를 추출하고, 독립적인 유사도 기반 병합을 통해 여러 메모리 뱅크를 갱신한 뒤, 뱅크 식별자 및 시간 임베딩된 장기 문맥을 읽어 영상 및 행동 디노이징(denoising)을 조건화한다. 진행률 감독(progress-supervision) 목적 함수는 메모리 토큰이 완료된 과거 이벤트뿐 아니라 현재 작업 단계와 남은 작업에 대한 함의까지 인코딩하도록 추가로 유도한다. RMBench에서 DiM-WAM은 LingBot-VA의 28.4%에서 평균 성공률을 69.8%로 끌어올려, 42.0%인 명시적 메모리 Mem-0 기준선을 능가한다. 네 가지 실제 Franka 작업에서 평균 단계 성공률을 70.7%에서 91.5%로, 전체 작업 성공률을 52.5%에서 80.0%로 향상시킨다. 프로젝트 페이지: https://wangkai-casia.github.io/dim-wam/

원문 초록

World-action models have shown promising robot-manipulation performance by jointly predicting future visual states and actions. However, existing methods mainly rely on short-term history and short-horizon future prediction, which is insufficient for long-horizon tasks whose correct execution depends on earlier observations and task progress. Such temporally dependent tasks require effective use of complementary temporal information, including recent local context, cross-stage historical events, immediate future dynamics, and global task progress. To address long-term forgetting and poor awareness of the global task state, we introduce DiM-WAM, a memory-augmented world-action model that integrates multi-scale historical context, local future dynamics, and global task progress. The memory extracts compact visual event information from real observations, updates multiple memory banks through independent similarity-based merging, and then reads the bank-identity- and time-embedded long-term context to condition video and action denoising. A progress-supervision objective further encourages memory tokens to encode not only completed historical events but also the current task stage and its implications for the remaining task. On RMBench, DiM-WAM raises average success from 28.4% with LingBot-VA to 69.8%, exceeding the explicit-memory Mem-0 baseline at 42.0%. On four real-world Franka tasks, it improves average stage success from 70.7% to 91.5% and full-task success from 52.5% to 80.0%. Project page: https://wangkai-casia.github.io/dim-wam/{\texttt{https://wangkai-casia.github.io/dim-wam/}}.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.27677v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03391v2cs.CV공통 태그 Imitation Learning, Continuous Control, Robot Manipulation

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

arXiv:2610.13628v1cs.RO공통 태그 Imitation Learning, Continuous Control, Robot Manipulation

JitterVLA: VLA 기반 인간-로봇 조작에서 모션 품질 평가를 위한 재생 벤치마크

JitterVLA: A Replay Benchmark for Motion Quality in VLA-Driven Human-Robot Manipulation

비전-언어-행동(VLA) 정책은 희소한(sparse) 목표 명령을 생성하며, 이러한 명령이 로봇 제어기에 도달하는 과정에서 지연과 불규칙성이 발생합니다. 따라서 합리적으로 예측된 동작이라 할지라도 사람 근처에서 급격한 움직임을 유발할 수 있습니다. 기존의 해결책들은 서로 다른 데이터 스트림, 지연 시간 및 평가 지표 하에서 평가되어 왔습니다. JitterVLA는 동일한 명령 및 도달 흔적(trace)을 대체 제어기에 그대로 재생(replay)함으로써 제어기만의 효과를 분리하여 검증합니다. 본 연구는 이를 합성 도달 동작, 20명의 사람 손 궤적, 3개의 오픈 소스 VLA 파이프라인(838개 에피소드), 그리고 실제 UR3 로봇에 적용했습니다. 보간(interpolation)은 모든 데이터 소스에서 모델링된 p99 저크(jerk)를 감소시켰으며, 200ms 지연이 발생한 인간 모션에서는 2.0cm의 추적 오차를 대가로 저크를 83%(615에서 106m/s^3) 줄였고, 이러한 효과는 598개의 새로운 에피소드에서도 동일하게 재현되었습니다. 저크 제한 생성은 더 큰 오차 비용을 수반하면서 저크를 더욱 낮추었습니다. 엔트로피와 불연속성 간의 상관관계는 두 파이프라인에서 반대 부호로 일관되게 나타났으며, 엔트로피 게이팅은 한 파이프라인에서는 효과가 있었으나 다른 파이프라인에서는 그렇지 않았습니다. 실제 UR3 로봇에서 보간 기법은 6개의 탐색적 쌍 모두에서 가속도계 기반 저크를 3.0~14.0% 낮춘 반면, 위치 기반 지표는 이러한 차이를 분해해 내지 못했습니다. JitterVLA는 인간 중심 연구에 앞서 사전 스크리닝을 지원하며, 코드와 데이터는 공개될 예정입니다.

arXiv:2610.13816v1cs.RO공통 태그 Imitation Learning, Continuous Control, Robot Manipulation

Dream to Remember: 월드 모델을 활용한 범용 로봇 정책의 지속적 스티어링

Dream to Remember: Continual Steering of Generalist Robot Policies with World Models

범용 로봇 정책(generalist robot policy)은 모방 학습(imitation learning)으로 학습되며, 시연(demonstration)의 품질과 범위에 의해 제한된다. 강화학습은 정책 가중치를 미세조정하거나, 고정된(frozen) 생성형 정책의 입력 노이즈를 조정(steer)하는 작은 모듈을 학습시킴으로써 이를 개선하고 확장할 수 있다. 태스크가 순차적으로 주어질 때, 두 접근 방식 모두 치명적 망각(catastrophic forgetting)을 겪는다. 한 태스크에 대한 미세조정은 이전 태스크의 성능을 저하시키며, 스티어링 방식은 망각을 공유 스티어링 모듈로 옮길 뿐이다. 우리는 고정된 범용 정책을 새로운 태스크로 지속적으로 스티어링하면서도 이전에 습득한 능력을 유지하는 Dream to Remember(D2R)를 제안한다. 스티어링 모듈이 새로운 태스크를 학습하는 동안, 고정된 사전학습 월드 모델(world model)이 상상된 롤아웃(imagined rollout)을 통해 이전 태스크를 리허설(rehearse)함으로써, 리플레이 버퍼나 새로운 데이터 없이도 모듈을 이전 행동에 고정(anchor)시킨다. 월드 모델이 충분히 충실할 경우, D2R은 새로운 태스크를 전적으로 상상(imagination) 속에서 학습한다. 그렇지 않은 경우, 월드 모델은 이전 태스크를 리허설하는 데에만 사용하면서 새로운 태스크는 환경에서 직접 학습한다. CALVIN에서 D2R은 여덟 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하여 평균 성공률을 63.7%에서 74.8%로 끌어올렸으며, 동일한 시퀀스에 대한 LoRA 미세조정은 성공률을 11.7%로 떨어뜨렸다. 고정된 기성(off-the-shelf) 범용 정책과 월드 모델인 π0와 A2World를 사용하여, D2R은 환경에서 보지 못한 LIBERO-90 태스크를 학습하면서도 π0가 미세조정되었던 LIBERO 스위트에서의 성능을 유지하는데, 이는 월드 모델이 정책 최적화에는 충분히 정확하지 않은 경우에도 가능하다. 마지막으로, 실제 Franka 로봇에서 D2R은 세 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하면서도 이전에 이루어진 개선을 유지한다.

arXiv:2610.13929v1cs.RO공통 태그 Imitation Learning, Continuous Control, Robot Manipulation

크로노스 정책(Chronos Policy): 물리적 시간에 기반한 로봇 정책 학습

Chronos Policy: Learning Robot Policies on Physical Time

로봇 정책(policy)은 흔히 센싱(sensing)과 제어(control)를 고정 속도의 관측-행동 시퀀스로 변환하며, 물리적 시간은 시퀀스 상의 위치에 암묵적으로 담긴다. 이러한 가정은 관측 속도나 지연이 변동하거나 추론(inference) 지연 시간이 달라질 때 깨진다. 우리는 관측 포착 시각과 원하는 행동 실행 시각에 조건화하여 물리적 시간을 명시적으로 드러내는 크로노스 정책(Chronos Policy)을 제안한다. 우리는 시간을 디퓨전 트랜스포머(diffusion transformer)에 통합하는 두 가지 방법을 연구한다: 토큰(token) 특징에 타임스탬프 임베딩(embedding)을 추가하는 방법, 그리고 시간 인지 로터리 위치 인코딩(time-aware rotary positional encoding, time-aware RoPE)을 통해 위치 인코딩에 물리적 시간을 인코딩하는 방법이다. 우리는 시간 인지 RoPE가 더 견고하며, 토큰 내용은 그대로 유지하면서 어텐션(attention)이 물리적 시간에 직접 의존하도록 한다는 것을 발견했다. 학습 중에는 어떤 관측이 샘플링되는지와 행동 청크(action chunk)가 시작되는 시점을 시간적으로 무작위화하여, 배포(deployment) 중에 발생할 수 있는 더 넓은 범위의 센싱 및 실행 일정에 정책이 노출되도록 한다. 이는 또한 모든 측정값을 고정된 시간 그리드에 강제로 맞추지 않고도 비동기적이고 다중 속도(multi-rate)의 데이터로부터 학습할 수 있게 한다. 시뮬레이션과 실제 환경 실험 전반에서, 크로노스 정책은 관측-행동 타이밍이 중요한 동적(dynamic) 작업과 관측 간 상대적 타이밍이 중요한 다중 감각(multisensory) 작업에서 성능을 향상시킨다. 표준적인 준정적(quasi-static) 작업에서는 명목 성능을 유지하면서 센싱 및 추론 타이밍 변화에 대한 견고성을 향상시킨다.

arXiv:2610.10810v1cs.RO공통 태그 Imitation Learning, Continuous Control, Sequential Decision Making

장기 작업 스킬 접합부에서의 관측 공간 편차 진단 및 복구

Diagnosing and Recovering from Observation-Space Shift at Long-Horizon Skill Seams

장기(long-horizon) 로봇 조작은 독립적으로 학습(training)된 스킬들을 연쇄적으로 결합하여 구축되는 경우가 많습니다. 각 스킬은 개별적으로는 안정적일 수 있지만, 스킬들이 연결될 때 성능이 급격히 저하됩니다. 즉, 각 후속 스킬은 자체 학습 분포 대신 선행 스킬이 남겨둔 상태에서 시작해야 하기 때문입니다. 본 연구에서는 이러한 실패 모드인 관측 공간 편차(Observation-Space Shift, OSS)를 연구하고, 스킬 접합부(skill seam) 실패를 유발하는 원인을 파악합니다. 특권 시뮬레이터 리셋을 사용하여 분석한 결과, 지배적인 편차는 로봇의 관절 구성이나 후속 스킬이 조작하는 대상 물체가 아니라, 흐트러진 장면 상태(예: 열린 서랍이나 이전 스킬들이 남겨둔 부차적 물체)에서 비롯된다는 점을 발견했습니다. 이러한 진단을 검증하기 위해 완전 학습 기반의 탐지-복원-재개(detect-restore-resume) 시스템을 구축했습니다. 작업 진행 모니터가 정체 상태를 탐지하고, 학습된 정책이 흐트러진 장면 구성요소를 복원하며, 접합부 강건 미세조정(fine-tuning)을 통해 스킬을 재개합니다. 이 시스템은 테스트된 다른 모든 대안이 실패한 접합부를 복구하며, 저자들은 이를 범용적인 방법론이라기보다 해당 진단을 뒷받침하는 증거로 간주합니다. BOSS-44 벤치마크(benchmark)에서 이 시스템은 전체 체인 성공률을 7.6%에서 26.5%로 향상시켜 기본 정책 대비 3.5배의 개선 및 특권 복원 오라클 대비 51%의 성능을 달성한 반면, best-of-K 재샘플링, Diffusion Policy 및 월드 모델(world-model) 베이스라인은 평가된 접합부 상태에서 복구에 실패했습니다. 미세조정된 $π_{0.5}$ 정책으로 구동되는 실제 Franka 로봇 팔의 경우, 동일한 모니터가 외부 카메라의 관측 가능성에 의해 제약을 받지만 루프를 닫음으로써 복구 불가능했을 일부 실패를 복구할 수 있었으며, 이는 손목 및 그리퍼 센싱의 필요성을 시사합니다. 이러한 결과는 일부 장기 결합 실패의 경우, 지지 집합을 벗어난(off-support) 상태에서 재시도하는 것보다 정책을 재개하기 전에 장면을 먼저 복원함으로써 더 효과적으로 해결될 수 있음을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.