FlowWAM: 월드 액션 모델을 위한 통합 액션 표현으로서의 광학 흐름
FlowWAM: Optical Flow as a Unified Action Representation for World Action Models
한국어 초록
월드 액션 모델(WAM)은 사전학습된 비디오 생성기를 월드 모델링과 액션 예측 모두에 활용할 수 있다. 그러나 이러한 비디오 생성기를 제어에 직접 활용하면 새로운 과제가 생긴다. 즉, 사전학습된 비디오 생성기와 정렬되면서도 정확한 제어에 필요한 충분한 모션 단서를 담을 수 있는 적절한 형태로 액션을 어떻게 표현할 것인가이다. 기존의 수치적 액션 표현은 전자를 만족시키지 못하고, 기존의 시각적 액션 표현은 프레임에 걸친 시간적 모션 구조를 간과한다. 우리는 광학 흐름(optical flow)을 통합적이고 비디오 네이티브한 액션 표현으로 채택하는 이중 스트림 diffusion 프레임워크인 FlowWAM으로 이 문제를 해결한다. 플로우 비디오는 RGB 비디오와 동일한 형식을 공유하며 픽셀 단위의 풍부한 변위를 인코딩한다. 공유 사전학습 비디오 생성기 내에서 이들을 공동 모델링함으로써 FlowWAM은 WAM의 두 가지 모드를 자연스럽게 구현할 수 있다. 정책 모드에서는 FlowWAM이 액션 예측을 위해 flow를 생성하고, 월드 모델 모드에서는 목표 flow 시퀀스를 사용해 미래 비디오 생성을 유도한다. 또한 flow는 액션 레이블 없이 원시 비디오에서 쉽게 추출할 수 있으므로 FlowWAM은 사전학습에 대규모 액션 미레이블 비디오 데이터셋을 활용할 수 있다. 실험 결과, flow 기반 액션 표현이 두 모드 모두에서 성능 향상을 가져온다. RoboTwin 조작 작업에서 FlowWAM은 Clean 설정에서 성공률 92.94%, Random 설정에서 92.14%를 달성하여 VLA 및 WAM 베이스라인을 모두 능가한다. WorldArena 월드 모델링에서는 종합 EWMScore 63.71로 최고 성능을 기록했으며 궤적 정확도에서 18.4%의 상대적 향상을 보였다. 추가 결과는 프로젝트 웹사이트에서 확인할 수 있다: https://flow-wam.github.io .
원문 초록
World Action Models (WAMs) are able to leverage pretrained video generators for both world modeling and action prediction. However, directly leveraging such video generators for control raises a new challenge: how to represent actions in a suitable form that aligns with pretrained video generators while carrying enough motion cues for accurate control. Existing numerical actions fail to satisfy the former, and prior visual action representations overlook the temporal motion structure across frames. We address this issue with FlowWAM, a dual-stream diffusion framework that adopts optical flow as a unified, video-native action representation. Flow videos share the same format as RGB videos and encode rich per-pixel displacement. By jointly modeling them within a shared pretrained video generator, FlowWAM can naturally implement two modes of WAMs. In policy mode, FlowWAM generates flow for action prediction, while in world-model mode, it uses target flow sequences to guide future video generation. Moreover, since flow can be easily extracted from raw videos without action labels, FlowWAM can leverage large-scale action-unlabeled video datasets for pretraining. We empirically find that our flow-based action representation delivers gains across both modes. On RoboTwin manipulation, FlowWAM raises the success rate to 92.94% on the Clean setting and 92.14% on Random, outperforming both VLA and WAM baselines. On WorldArena world modeling, it achieves the best overall EWMScore (63.71) with an 18.4% relative improvement in trajectory accuracy. More results can be found on our project website: https://flow-wam.github.io .
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.13017v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
미래를 상상하고 핵심을 내면화하기: 내면화된 시공간 상상을 통한 효율적인 VLA 추론
Imagine the Future, Internalize the Gist: Efficient VLA Reasoning via Internalized Spatiotemporal Imagination
비전-언어-행동(Vision-Language-Action, VLA) 모델은 로봇 조작 능력을 향상시키기 위해 중간 추론(intermediate reasoning)을 점진적으로 통합하고 있으나, 기존 접근법들은 미래 장면의 변화를 명시적으로 예측하지 않고 주로 관찰된 상태만을 바탕으로 추론합니다. 그러나 이러한 추론을 모든 추론(inference) 단계에서 명시적인 미래 롤아웃(rollout)으로 확장하는 것은 상당한 연산 오버헤드를 유발합니다. 본 논문에서는 모델이 미래를 상상하고 핵심(gist)을 내면화할 수 있도록 하는 VLA 추론 프레임워크인 IG-VLA를 제안합니다. 제안하는 잠재 시공간 추론(Latent Spatiotemporal Reasoning)은 시각적 표현 공간에서 직접 작업과 관련된 미래 장면 변화를 상상하도록 학습하여, 비용이 많이 드는 픽셀 수준의 비디오 생성 없이도 행동 예측을 유도합니다. 추론 오버헤드를 더욱 줄이기 위해, 추론을 통해 도출된 장면-행동 연관성을 컴팩트한 장면 요약 토큰(Scene Gist Token)으로 내면화하는 장면 요약 메모리(Scene Gist Memory)를 도입하여, 추론 시 명시적인 미래 상상을 거치지 않으면서도 미래 추론의 이점을 유지하도록 합니다. LIBERO, LIBERO-Plus 및 VLABench에 대한 광범위한 실험은 IG-VLA의 효과성과 효율성을 입증합니다. LIBERO-Plus Language 제품군에서 추론 정책과 요약 정책 모두 성공률 면에서 가장 강력한 기준선(baseline) 대비 약 6% 높은 성능을 보였습니다. 또한 요약 정책은 기준선 대비 최대 6.38배의 속도 향상을 달성하여, 단일 NVIDIA A6000 GPU에서 액션 청크당 추론 지연 시간을 1081ms에서 169.5ms로 단축했습니다. 이러한 결과는 효율적인 VLA 배포를 위해 미래 시공간 추론이 효과적으로 내면화될 수 있음을 보여줍니다.
ATI-VLA: 실행 가능한 정렬 및 적응형 주입 기반의 행동 중심 예측 비전-언어-행동 모델
ATI-VLA: Action-Centric Predictive Vision-Language-Action Models via Actionable Alignment Then Adaptive Injection
예측 비전-언어-행동(VLA, Vision-Language-Action) 모델은 미래 관측이나 세계 동역학(world dynamics) 예측을 통해 로봇 조작 성능을 향상시키는 것을 목표로 합니다. 그러나 기존 접근 방식들은 종종 이러한 잠재력을 실현하지 못하며, 직접 행동 예측 모델보다 낮은 성능을 보입니다. 본 논문에서는 이러한 한계가 관측과 행동 간의 모달리티 불일치(modality misalignment)와 학습을 행동 중심 목표로부터 멀어지게 만드는 결합 최적화 충돌에서 기인한다고 주장합니다. 이를 위해, 실행 가능한 정렬 후 적응형 주입(Actionable Alignment Then Adaptive Injection)을 적용한 행동 중심 예측 비전-언어-행동 프레임워크인 ATI-VLA를 제안합니다. 구체적으로, 이 프레임워크는 다음과 같은 2단계 설계를 따릅니다: 1) 공유 코드북을 통한 실행 가능한 표현 정렬. 통합 코드북을 통해 두 모달리티를 공유 이산 잠재 공간(discrete latent space)에 매핑함으로써 예측 관측 및 행동 표현을 정렬하며, 이를 통해 예측 관측 잠재 변수를 행동 생성에 즉시 활용 가능하게 만들고 모달리티 불일치를 완화합니다. 2) 예측 잠재 변수의 행동 중심 적응형 주입. 이를 바탕으로 경량 적응형 사이드 패스를 통해 예측 관측 잠재 변수를 명시적 예측 사전 정보(prior)로서 행동 디코딩 과정에 주입함으로써, 단일 행동 중심 목표 아래에서 적응형 예측 유도를 가능하게 합니다. 시뮬레이션 및 실제 로봇 작업 전반에 걸친 광범위한 실험을 통해 ATI-VLA가 더 빠른 수렴 속도와 함께 최고 수준(state-of-the-art)의 성능을 달성함을 입증합니다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
롱 스킵 연결 없이 DiT 모델이 표현 학습자로서 성능이 저하되는 이유
Why DiT Models Underperform as Representation Learners without Long Skip Connections
디퓨전 특징(diffusion feature), 즉 디퓨전 모델 백본에서 추출된 중간 활성화는 생성과 시각적 이해(판별)를 통합하기 위한 유망한 접근법으로 부상했습니다. 디퓨전 백본이 디퓨전 트랜스포머(DiT)로 발전했음에도 불구하고, 기존 문헌에서는 DiT 모델이 더 강력한 생성 능력에도 불구하고 더 약한 특징을 산출하는 경향이 있음이 발견되었습니다. 이는 우수한 생성-이해 통합에 위협이 됩니다. 본 연구에서는 제어된 처음부터의 학습(from-scratch training)을 통해 롱 스킵 연결(LSC)이 특징 품질에 영향을 미침을 보여줍니다. 즉, LSC를 갖춘 DiT는 더 우수한 특징을 생성할 수 있습니다. 나아가 상세한 진단을 통해 이러한 효과를 유발하는 메커니즘을 밝혀냅니다. 구체적으로, 디퓨전 백본의 입력에는 잠재 이미지(latent image)와 디퓨전 노이즈가 모두 포함되며, 여기서 디퓨전 노이즈는 노이즈 형태로 나타나지만 실제로는 디퓨전 궤적의 정보를 반영합니다. 노이즈 변수($v$ 또는 $ε$)의 최종 예측을 수행하기 위해 디퓨전 백본에는 두 신호가 모두 필요합니다. 그러나 메인 백본을 통해 두 신호를 모두 전달하는 것은 사실상 이미지 신호를 노이즈로 "오염"시켜 특징 품질 저하로 이어집니다. 이에 비해 LSC는 디퓨전 노이즈를 필요한 곳으로 직접 지름길로 연결(shortcut)하여 메인 백본에 훨씬 약한 노이즈 신호만 남기므로 특징 품질을 향상시킬 수 있습니다. 더 넓은 영향력을 언급하자면, 이는 LSC가 단순한 트릭이 아니라 디퓨전 목표와 밀접하게 관련되어 있음을 밝혀냅니다. 코드는 https://github.com/Darkbblue/dit-lsc 에서 확인할 수 있습니다.
RARA: 로봇 조작을 위한 검색 고정 표상 정렬 기반의 강건한 정책 미세조정
RARA: Robust Policy Fine-Tuning through Retrieval-Anchored Representation Alignment for Robotic Manipulation
비전-언어-행동(VLA, Vision-Language-Action) 모델과 같은 사전학습된 로봇 정책은 범용 로봇 조작을 위한 강력한 기반을 제공하지만, 소수의 시연(demonstration)만으로 이를 새로운 태스크에 적응시키는 것은 여전히 어렵습니다. 사전학습된 정책을 직접 미세조정(fine-tuning)하면 대개 강력한 분포 내(in-distribution) 성능을 달성할 수 있지만, 사전학습 중에 학습된 표상을 왜곡하여 분포 외(out-of-distribution) 변화에 대한 모델의 일반화 능력을 약화시킬 수 있습니다. 우리는 이러한 문제를 해결하기 위해 2단계 적응 방식인 검색 고정 표상 정렬(RARA, Retrieval-Anchored Representation Alignment)을 제안합니다. 첫째, RARA는 유사한 태스크 의도 및 동작을 가진 사전학습 시기의 표상 특징을 검색하고, 타깃 시연에 대한 정책의 표상을 검색된 시연의 사전학습된 표상과 정렬합니다. 둘째, RARA는 미세조정 과정에서 검색된 시연에 대한 정책 표상이 변화하는 정도를 제한하면서 타깃 시연에 대해 정책을 미세조정합니다. 행동 학습 전 표상 불일치를 줄이고 적응 과정에서 사전학습된 지식을 보존함으로써, RARA는 미세조정 중 불필요한 표상 표류(representation drift)를 제한합니다. RoboTwin, RoboCasa의 13개 태스크 및 실제 로봇에서 Diffusion Policy와 GR00T를 사용해 진행한 실험 결과, RARA는 미세조정의 평균 성공률을 분포 내에서 9.5%p, 분포 외에서 13.6%p 향상시켰으며 비교 대상이 된 모든 베이스라인을 능가함을 보여줍니다. 프로젝트 페이지: https://shua-kang.github.io/RARA_robot/
JitterVLA: VLA 기반 인간-로봇 조작에서 모션 품질 평가를 위한 재생 벤치마크
JitterVLA: A Replay Benchmark for Motion Quality in VLA-Driven Human-Robot Manipulation
비전-언어-행동(VLA) 정책은 희소한(sparse) 목표 명령을 생성하며, 이러한 명령이 로봇 제어기에 도달하는 과정에서 지연과 불규칙성이 발생합니다. 따라서 합리적으로 예측된 동작이라 할지라도 사람 근처에서 급격한 움직임을 유발할 수 있습니다. 기존의 해결책들은 서로 다른 데이터 스트림, 지연 시간 및 평가 지표 하에서 평가되어 왔습니다. JitterVLA는 동일한 명령 및 도달 흔적(trace)을 대체 제어기에 그대로 재생(replay)함으로써 제어기만의 효과를 분리하여 검증합니다. 본 연구는 이를 합성 도달 동작, 20명의 사람 손 궤적, 3개의 오픈 소스 VLA 파이프라인(838개 에피소드), 그리고 실제 UR3 로봇에 적용했습니다. 보간(interpolation)은 모든 데이터 소스에서 모델링된 p99 저크(jerk)를 감소시켰으며, 200ms 지연이 발생한 인간 모션에서는 2.0cm의 추적 오차를 대가로 저크를 83%(615에서 106m/s^3) 줄였고, 이러한 효과는 598개의 새로운 에피소드에서도 동일하게 재현되었습니다. 저크 제한 생성은 더 큰 오차 비용을 수반하면서 저크를 더욱 낮추었습니다. 엔트로피와 불연속성 간의 상관관계는 두 파이프라인에서 반대 부호로 일관되게 나타났으며, 엔트로피 게이팅은 한 파이프라인에서는 효과가 있었으나 다른 파이프라인에서는 그렇지 않았습니다. 실제 UR3 로봇에서 보간 기법은 6개의 탐색적 쌍 모두에서 가속도계 기반 저크를 3.0~14.0% 낮춘 반면, 위치 기반 지표는 이러한 차이를 분해해 내지 못했습니다. JitterVLA는 인간 중심 연구에 앞서 사전 스크리닝을 지원하며, 코드와 데이터는 공개될 예정입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.