View-Invariant Policy Learning via Zero-Shot Novel View Synthesis
원문 초록
Large-scale visuomotor policy learning is a promising approach toward developing generalizable manipulation systems. Yet, policies that can be deployed on diverse embodiments, environments, and observational modalities remain elusive. In this work, we investigate how knowledge from large-scale visual data of the world may be used to address one axis of variation for generalizable manipulation: observational viewpoint. Specifically, we study single-image novel view synthesis models, which learn 3D-aware scene-level priors by rendering images of the same scene from alternate camera viewpoints given a single input image. For practical application to diverse robotic data, these models must operate zero-shot, performing view synthesis on unseen tasks and environments. We empirically analyze view synthesis models within a simple data-augmentation scheme that we call View Synthesis Augmentation (VISTA) to understand their capabilities for learning viewpoint-invariant policies from single-viewpoint demonstration data. Upon evaluating the robustness of policies trained with our method to out-of-distribution camera viewpoints, we find that they outperform baselines in both simulated and real-world manipulation tasks. Videos and additional visualizations are available at https://s-tian.github.io/projects/vista.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
InfiNoVA: 시점 불변 로봇 정책을 위한 무한 신규 시점 증강
InfiNoVA: Infinite Novel View Augmentation for Viewpoint Invariant Robot Policies
비전-언어-행동(VLA) 정책은 학습 중 관측한 카메라 시점에 크게 의존하는 경우가 많아, 보지 못한 시점에서 배포할 때 성능이 크게 저하된다. 충분히 다양한 물리적 시점에서 시연을 수집하는 것은 비용이 많이 들며, 시점 공간에 대한 커버리지도 여전히 희소하게만 제공한다. 본 논문은 동기화된 다중 카메라 시연을 기하학적으로 일관된 학습용 시점의 밀집 분포로 변환하는 데이터 증강 프레임워크인 InfiNoVA를 제안한다. InfiNoVA는 각 조작 궤적을 시간에 따라 변하는 3D Gaussian 표현으로 재구성하고, 원래 상태-행동 대응을 유지한 채 샘플링된 카메라 자세에서 신규 관측을 렌더링한다. 이러한 명시적 장면 표현은 생성적 신규 시점 합성에서 관찰되는 과업 핵심적 환각(hallucination)을 줄이면서 프레임 수준 충실도와 시간적 일관성을 향상시킨다. 네 가지 실세계 조작 과제에서 InfiNoVA로 학습한 정책은 VISTA 기반 증강과 증강하지 않은 정책 모두에 비해 보지 못한 무작위 시점에서 평균 성공률이 5.4배 높다. InfiNoVA는 다섯 개의 물리적 카메라 시점 모두에서 직접 학습한 경우보다도 1.7배 높은 성공률을 추가로 달성한다. 이러한 결과는 밀집하고 기하학적으로 그라운딩(grounded)된 시점 증강이 기본 정책 아키텍처를 수정하지 않고도 카메라에 강건한 로봇 정책을 향한 실용적인 경로를 제공함을 보여준다.
M$^\text{4}$World: 상호작용형 객체 조작 및 분 단위 스트리밍을 위한 멀티뷰 멀티모달 주행 월드 모델
M$^\text{4}$World: A Multi-view Multimodal Driving World Model for Interactive Object Manipulation and Minute-long Streaming
주행 월드 생성은 확장 가능한 자율주행 시뮬레이션의 핵심 역량으로 부상했지만, 기존 방법들은 객체 수준의 제어 가능성과 장기 안정성에서 여전히 제한적이다. 우리는 M$^\text{4}$World를 제안한다. 이는 미래의 surround-view 영상 스트림과 동기화된 LiDAR 스캔을 합성하면서 상호작용형 객체 조작과 안정적인 분 단위 스트리밍을 지원하는 멀티뷰·멀티모달 생성형 주행 월드 모델이다. 세밀한 객체 조작은 개별 객체의 공간적 배치와 시각적 외관 모두에 대한 명시적 제어를 지원하는 유연한 conditioning 인터페이스를 통해 구현된다. 한편 안정적인 분 단위 스트리밍은 확장된 rollout 동안 일관된 월드 역학을 유지하면서 단 4개의 denoising 단계만으로 온라인 인과(causal) 생성을 가능하게 하는 다단계 학습 프레임워크를 통해 달성된다. 이러한 구성 요소를 바탕으로, 우리는 효율적인 few-clip 사후 학습과 시각적 참조 조건화 생성 모델 모음을 도입하여, 일반 생성 능력을 유지하면서 장꼬리(long-tail) 제어 가능성을 위한 희귀 사례 맞춤화를 가능하게 한다. 제어 가능성을 사실성(realism)을 넘어 평가하기 위해, 우리는 장면 수준의 조건 준수, 시점별 객체 제어 가능성, 시점 간 객체 일관성을 평가하는 VLM 기반 자동 판별 파이프라인을 추가로 도입한다. 포괄적인 실험 결과, M$^\text{4}$World는 높은 생성 품질, 정밀한 제어 가능성, 안정적인 분 단위 스트리밍을 일관되게 제공함을 보여준다. 하위 장꼬리 증강과 장면 편집과 함께, 이러한 결과는 제어 가능하고 확장 가능한 주행 시뮬레이션을 위한 M$^\text{4}$World의 잠재력을 입증한다.
OpenLongTail: 롱테일 주행 데이터의 생성적 스케일링
OpenLongTail: Generative Scaling of Long-Tail Driving Data
강건한 주행 정책의 스케일링은 근본적으로 정제된 데이터셋 내 엣지 케이스의 희소성에 의해 병목을 겪고 있다. 실세계는 이러한 중요한 이벤트를 지속적으로 포착하지만, 이러한 롱테일 이벤트들은 이종 소스로부터 수집될 때 충분히 활용되지 못하고 있다. 구체적으로, 다양하지만 가치 있는 야생(in-the-wild) 롱테일 영상들은 정책 모델 학습에 필요한 완전한 시야 커버리지가 부족하며, 멀티뷰 포즈가 없거나 단안 블랙박스 카메라에서만 수집되는 경우가 많다. 이러한 모달리티 격차로 인해 어디서나 관측 가능한 데이터를 롱테일 일반화를 위한 확장 가능한 학습 데이터로 변환하지 못하고 있다. 우리는 롱테일 이벤트 하에서 자율주행 정책의 스케일링을 위한 오픈소스 생성 데이터 엔진인 OpenLongTail을 소개한다. 이종 데이터 소스를 정책 학습에 유용한 뷰 정렬(view-aligned)되고 시간적으로 일관된 멀티뷰 자산으로 변환하기 위해, 누락된 뷰를 생성하는 포즈 기반 외삽적 뷰 합성(extrapolative view synthesis) 파이프라인을 개발했다. 또한 확장 가능한 생성 엔진에 Plücker 광선 기하학을 주입함으로써 새롭게 생성된 뷰의 크로스뷰 일관성과 시간적 정렬을 강화했다. 이종 롱테일 데이터를 합성함으로써, 롱테일 이벤트 처리에 있어 폐루프(closed-loop) 주행 강건성이 현저히 향상됨을 관찰했다. 외삽적 뷰 합성 및 포즈 메트릭을 측정함으로써, 시각적 충실도, 크로스뷰 일관성, 자아 궤적 복원 측면에서 OpenLongTail의 효과성을 검증했다.
MACRO: 클로즈업 렌더 최적화를 위한 학습 불필요 다중 평면 어텐션
MACRO: Training-free Multi-plane Attention for Closeup Render Optimization
학습 카메라보다 훨씬 가까이 장면을 확대하는 클로즈업 렌더링은 가상 제작과 인터랙티브 3D 콘텐츠에 중요하지만, 여전히 해결되지 않은 난제로 남아 있다. 3D Gaussian splatting(3DGS)은 고충실도 실시간 신규 시점 합성(novel view synthesis)을 가능하게 하지만, 근거리에서는 렌더링 품질이 저하된다. 학습 세트의 참조 이미지를 조건으로 렌더링을 향상시키는 최근 확산(diffusion) 기반 방법들은 이 설정에서 심각한 아티팩트를 생성한다. 우리는 이 실패를 분석하여 근본 원인을 규명한다: 클로즈업 뷰와 참조 뷰 간의 스케일 차이이다. 우리는 참조 조건부 향상 모델의 특징이 스케일 불변(scale-invariant)이 아님을 보이며, 이로 인해 동일한 내용이 서로 다른 스케일로 나타날 때 교차 뷰 어텐션(cross-view attention)이 잘못된 대응 관계를 검색하고, VAE 인코더가 스케일 등변(scale-equivariant)이 아니기 때문에 이 불일치를 잠재 공간에서 수정할 수 없음을 보인다. 이 분석을 바탕으로 우리는 MACRO(Multi-plane Attention for Closeup Render Optimization)를 소개한다. 이는 3DGS 기반의 고품질 클로즈업 신규 시점 합성을 위한 학습 불필요 방법이다. MACRO는 장면의 알려진 3D 구조를 활용하여 스케일 차이를 해소한다: 클로즈업을 깊이 평면으로 분해하고, 인코딩 전에 각 평면의 스케일에 맞게 이미지 공간에서 참조 이미지를 크롭하고 크기를 조정하며, 깊이 인식 어텐션 마스크를 적용하여 각 토큰이 스케일 일치 참조에만 어텐션하도록 한다. 이 방법은 아키텍처 변경이나 추가 학습을 필요로 하지 않는다. 우리는 또한 두 가지 새로운 클로즈업 신규 시점 합성 벤치마크와 이 설정에 대한 최초의 표준화된 평가 프로토콜을 기여하며, 두 벤치마크 모두에서 최신(state-of-the-art) 결과를 달성하여 재구성 및 지각적 메트릭 모두에서 기존 3DGS 및 확산 기반 방법들을 능가함을 보인다. 프로젝트 페이지: https://nitzanhod.github.io/MACRO
Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성
Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation
3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.
VIGOR: 모델 기반 강화학습에서 잠재 공간 일관성을 통한 제로샷 시각적 일반화
VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.