Lift3D-VLA: 3D 기하학 및 역학 인식 조작을 위한 VLA 모델 리프팅
Lift3D-VLA: Lifting VLA Models to 3D Geometry and Dynamics-Aware Manipulation
한국어 초록
최근 비전-언어-행동(VLA) 모델은 다양한 태스크에서 강력한 일반화 능력을 입증하였습니다. 그러나 물리적 환경에서의 효과적인 로봇 조작은 근본적으로 기하학적 이해와 공간적 추론을 필요로 합니다. 일부 VLA 접근 방식은 3D 정보를 통합하려 시도하지만, 제한된 데이터 가용성과 현재 3D 인코딩 파이프라인에서의 기하학적 정보 손실에 의해 제약되며, 동적 환경에서 3D 기하학과 시간적으로 구조화된 행동을 공동으로 포착하는 데 실패합니다. 이러한 한계를 해결하기 위해, 모델에 명시적 3D 포인트 클라우드 추론 능력을 부여하고 시간적으로 일관된 행동 생성을 가능하게 하는 통합 VLA 프레임워크인 Lift3D-VLA를 소개합니다. 먼저, 이전 연구 Lift3D를 기반으로, 사전학습된 2D 위치 임베딩과 3D 포인트를 기하학적으로 정렬하는 향상된 2D 모델 리프팅 전략을 제안합니다. 이 설계는 공간 정보 손실을 최소화하면서 VLA 비전 인코더 내에서 직접적인 포인트 클라우드 인코딩을 가능하게 합니다. 명시적 3D 입력을 기반으로, 현재 포인트 클라우드를 재구성하면서 미래의 기하학적 변화를 예측하는 이중 목표 자기지도 프레임워크인 기하학 중심 마스크 오토인코딩(GC-MAE, Geometry-Centric Masked Autoencoding)을 제안합니다. 이 공식화는 2D 비전 인코더가 3D 구조와 물리적 역학을 모두 내재화할 수 있도록 합니다. 3D 표현을 완전히 활용하기 위해, 대규모 언어 모델(LLM)의 여러 층을 활용하여 행동 청크를 협력적으로 예측하고 시간적으로 일관된 예측을 가능하게 하는 층별 시간적 행동 모델링을 추가로 설계합니다. 22개의 시뮬레이션 태스크와 8개의 실제 조작 태스크에 걸쳐, Lift3D-VLA는 MetaWorld와 RLBench에서 최고 성능의 기존 VLA 방법보다 각각 10.8%와 11.1% 높은 평균 성공률을 달성하고, 가장 강력한 실제 환경 기준선보다 4 퍼센트포인트 높은 성능을 보이며, 분포 외 섭동에 대해 더 강한 일반화를 나타냅니다.
원문 초록
Recently, Vision-Language-Action (VLA) models have demonstrated strong generalization across diverse tasks. However, effective robotic manipulation in physical environments fundamentally requires geometric understanding and spatial reasoning. While some VLA approaches attempt to incorporate 3D information, they are constrained by limited data availability and geometric information loss in current 3D encoding pipelines, and fail to jointly capture 3D geometry and temporally structured actions in dynamic environments. To address these limitations, we introduce Lift3D-VLA, a unified VLA framework that equips models with explicit 3D point cloud reasoning and enables temporally coherent action generation. First, building upon our previous work Lift3D, an enhanced 2D model-lifting strategy is proposed to geometrically align 3D points with pretrained 2D positional embeddings. This design enables direct point-cloud encoding within the VLA vision encoder while minimizing spatial information loss. Based on explicit 3D inputs, we propose Geometry-Centric Masked Autoencoding (GC-MAE), a dual-objective self-supervised framework that reconstructs the current point cloud while predicting its future geometric evolution. This formulation allows the 2D vision encoder to internalize both 3D structure and physical dynamics. To fully exploit 3D representations, we further design layer-wise temporal action modeling, which leverages multiple layers of the LLM to collaboratively predict action chunks, enabling temporally consistent predictions. Across 22 simulated tasks and 8 real-world manipulation tasks, Lift3D-VLA achieves 10.8% and 11.1% higher mean success rates on MetaWorld and RLBench than the best-performing prior VLA methods, and outperforms the strongest real-world baseline by 4 percentage points, while exhibiting stronger generalization to out-of-distribution perturbations.
요약
기존 VLA 모델의 3D 기하학 이해 부족과 시간적 일관성 결여 문제를 해결하기 위해, Lift3D-VLA는 3D 포인트 클라우드를 사전학습된 2D 위치 임베딩과 정렬하는 모델 리프팅 전략, 현재 기하구조 재구성과 미래 변화 예측을 동시에 수행하는 GC-MAE(Geometry-Centric Masked Autoencoding), 그리고 LLM의 여러 층을 활용한 층별 시간적 행동 모델링을 통합한 통합 VLA 프레임워크를 제안한다. MetaWorld와 RLBench에서 기존 최고 성능 VLA 대비 각각 10.8%, 11.1% 높은 평균 성공률을 달성하며 실제 환경에서도 강화된 일반화 성능을 보인다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.06564v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LAPT-Scale: 인간 비디오 기반 잠재 행동 사전학습을 통한 체화된 정책의 스케일링
LAPT-Scale: Scaling Embodied Policies with Latent Action Pre-Training on Human Videos
범용 로봇 정책의 스케일링(scaling)은 체화된(embodied) 상호작용 데이터 수집의 높은 비용으로 인해 한계를 겪고 있습니다. 대규모 1인칭 시점(egocentric) 인간 비디오는 풍부한 대안을 제공하지만 로봇 행동 레이블이 결여되어 있으며, 기존의 행동 어노테이션 방법은 실제 환경의 시각적 복잡성과 다양한 조작 동역학 환경에서 노이즈가 발생하는 경우가 많습니다. 본 논문에서는 두 가지 구성 요소로 이루어진 확장 가능한 잠재 행동 사전학습 패러다임인 LAPT-Scale을 소개합니다. LAPT-Scale-LAM은 인간 비디오의 프레임 간 시각적 전이(visual transition)를 설명하여 연속적인 잠재 행동을 학습하고 이를 인간 유래 지도 신호로 활용하며, LAPT-Scale-Policy는 인간 비디오 잠재 행동 사전학습, 타깃 로봇 체화 정렬(embodiment alignment), 그리고 태스크 특화 사후 학습을 거쳐 VLA(Vision-Language-Action) 정책을 학습합니다. 이전의 벡터 양자화 LAM과 달리, LAPT-Scale-LAM은 세밀한 모션 및 상호작용 동역학을 보존하기 위해 연속 잠재 공간(continuous latent space)을 사용합니다. 나아가 픽셀 재구성을 넘어 전이 수준의 지도 신호를 향상하기 위해 지각적, 의미적, 광학 흐름(optical-flow) 정렬 신호를 결합합니다. 23,300시간의 1인칭 비디오로 학습된 LAPT-Scale-LAM은 정책 사전학습을 위한 암시적 행동 지도 신호를 제공하여 일관된 스케일링 이득을 달성하며, 어노테이션된 인간 비디오가 1,000시간에서 5,000시간으로 증가함에 따라 실제 로봇 성공률을 63.3%에서 85.0%로 향상시킵니다. 학습된 정책은 또한 이전에 본 적 없는 시각적 조건으로도 일반화됩니다.
미래를 상상하고 핵심을 내면화하기: 내면화된 시공간 상상을 통한 효율적인 VLA 추론
Imagine the Future, Internalize the Gist: Efficient VLA Reasoning via Internalized Spatiotemporal Imagination
비전-언어-행동(Vision-Language-Action, VLA) 모델은 로봇 조작 능력을 향상시키기 위해 중간 추론(intermediate reasoning)을 점진적으로 통합하고 있으나, 기존 접근법들은 미래 장면의 변화를 명시적으로 예측하지 않고 주로 관찰된 상태만을 바탕으로 추론합니다. 그러나 이러한 추론을 모든 추론(inference) 단계에서 명시적인 미래 롤아웃(rollout)으로 확장하는 것은 상당한 연산 오버헤드를 유발합니다. 본 논문에서는 모델이 미래를 상상하고 핵심(gist)을 내면화할 수 있도록 하는 VLA 추론 프레임워크인 IG-VLA를 제안합니다. 제안하는 잠재 시공간 추론(Latent Spatiotemporal Reasoning)은 시각적 표현 공간에서 직접 작업과 관련된 미래 장면 변화를 상상하도록 학습하여, 비용이 많이 드는 픽셀 수준의 비디오 생성 없이도 행동 예측을 유도합니다. 추론 오버헤드를 더욱 줄이기 위해, 추론을 통해 도출된 장면-행동 연관성을 컴팩트한 장면 요약 토큰(Scene Gist Token)으로 내면화하는 장면 요약 메모리(Scene Gist Memory)를 도입하여, 추론 시 명시적인 미래 상상을 거치지 않으면서도 미래 추론의 이점을 유지하도록 합니다. LIBERO, LIBERO-Plus 및 VLABench에 대한 광범위한 실험은 IG-VLA의 효과성과 효율성을 입증합니다. LIBERO-Plus Language 제품군에서 추론 정책과 요약 정책 모두 성공률 면에서 가장 강력한 기준선(baseline) 대비 약 6% 높은 성능을 보였습니다. 또한 요약 정책은 기준선 대비 최대 6.38배의 속도 향상을 달성하여, 단일 NVIDIA A6000 GPU에서 액션 청크당 추론 지연 시간을 1081ms에서 169.5ms로 단축했습니다. 이러한 결과는 효율적인 VLA 배포를 위해 미래 시공간 추론이 효과적으로 내면화될 수 있음을 보여줍니다.
월드 모델을 위한 적응형 잠재 용량
Adaptive Latent Capacity for World Models
본 논문에서는 넓은 잠재 표현의 조밀한 접두 문맥(prefix)에 예측 정보를 집중시키도록 학습하는 결합 임베딩 예측 아키텍처(JEPA) 기반의 월드 모델인 Adaptive LeWorldModel(ALeWM)을 소개합니다. 이러한 순서화를 유도하기 위해 ALeWM은 접두 문맥 길이에 대한 시퀀스 조건부 분포를 학습하고, 샘플링된 입력 접두 문맥으로부터 완전한 다음 임베딩을 추정하도록 예측기를 훈련합니다. 표준 붕괴 방지 목적 함수는 잠재 좌표 전반의 다양성을 장려할 뿐 예측 중요도에 따라 좌표를 정렬하지 못하므로, 본 논문은 MixSIGReg도 함께 제안합니다. MixSIGReg는 가우시안 활성 접두 문맥과 나머지 좌표의 0으로 구성된 사전 가중치 혼합 분포에 맞춰 마스킹된 임베딩을 정규화합니다. 그 결과 ALeWM 목적 함수는 앞쪽 좌표가 예측 및 재귀적 계획 수립에 유용한 정보를 유지하도록 유도합니다. 분석에 따르면 MixSIGReg가 사용하는 혼합 분포는 앞쪽 좌표 블록에 더 높은 분산을, 뒤쪽 좌표 블록에 더 낮은 분산을 할당합니다. 또한 특정 가정 하에서 예측에 가장 유용한 정보를 앞쪽 블록에 배치할 때 예측 오차가 최소화됨을 보여줍니다. 실증적으로는 상태 변수가 알려진 제어된 동적 시스템과 목표 조건부 시각 제어 환경에서 ALeWM의 동작을 연구합니다. 실험을 통해 ALeWM이 튜닝된 고정 너비 LeWM보다 평균 계획 용량을 더 적게 사용하면서도 일관되게 더 높은 평균 성공률을 달성함을 보입니다.
ATI-VLA: 실행 가능한 정렬 및 적응형 주입 기반의 행동 중심 예측 비전-언어-행동 모델
ATI-VLA: Action-Centric Predictive Vision-Language-Action Models via Actionable Alignment Then Adaptive Injection
예측 비전-언어-행동(VLA, Vision-Language-Action) 모델은 미래 관측이나 세계 동역학(world dynamics) 예측을 통해 로봇 조작 성능을 향상시키는 것을 목표로 합니다. 그러나 기존 접근 방식들은 종종 이러한 잠재력을 실현하지 못하며, 직접 행동 예측 모델보다 낮은 성능을 보입니다. 본 논문에서는 이러한 한계가 관측과 행동 간의 모달리티 불일치(modality misalignment)와 학습을 행동 중심 목표로부터 멀어지게 만드는 결합 최적화 충돌에서 기인한다고 주장합니다. 이를 위해, 실행 가능한 정렬 후 적응형 주입(Actionable Alignment Then Adaptive Injection)을 적용한 행동 중심 예측 비전-언어-행동 프레임워크인 ATI-VLA를 제안합니다. 구체적으로, 이 프레임워크는 다음과 같은 2단계 설계를 따릅니다: 1) 공유 코드북을 통한 실행 가능한 표현 정렬. 통합 코드북을 통해 두 모달리티를 공유 이산 잠재 공간(discrete latent space)에 매핑함으로써 예측 관측 및 행동 표현을 정렬하며, 이를 통해 예측 관측 잠재 변수를 행동 생성에 즉시 활용 가능하게 만들고 모달리티 불일치를 완화합니다. 2) 예측 잠재 변수의 행동 중심 적응형 주입. 이를 바탕으로 경량 적응형 사이드 패스를 통해 예측 관측 잠재 변수를 명시적 예측 사전 정보(prior)로서 행동 디코딩 과정에 주입함으로써, 단일 행동 중심 목표 아래에서 적응형 예측 유도를 가능하게 합니다. 시뮬레이션 및 실제 로봇 작업 전반에 걸친 광범위한 실험을 통해 ATI-VLA가 더 빠른 수렴 속도와 함께 최고 수준(state-of-the-art)의 성능을 달성함을 입증합니다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.