arXiv:2306.09179

Neural World Models for Computer Vision

Anthony Hu

제출 2023-06-15

원문 초록

Humans navigate in their environment by learning a mental model of the world through passive observation and active interaction. Their world model allows them to anticipate what might happen next and act accordingly with respect to an underlying objective. Such world models hold strong promises for planning in complex environments like in autonomous driving. A human driver, or a self-driving system, perceives their surroundings with their eyes or their cameras. They infer an internal representation of the world which should: (i) have spatial memory (e.g. occlusions), (ii) fill partially observable or noisy inputs (e.g. when blinded by sunlight), and (iii) be able to reason about unobservable events probabilistically (e.g. predict different possible futures). They are embodied intelligent agents that can predict, plan, and act in the physical world through their world model. In this thesis we present a general framework to train a world model and a policy, parameterised by deep neural networks, from camera observations and expert demonstrations. We leverage important computer vision concepts such as geometry, semantics, and motion to scale world models to complex urban driving scenes. First, we propose a model that predicts important quantities in computer vision: depth, semantic segmentation, and optical flow. We then use 3D geometry as an inductive bias to operate in the bird's-eye view space. We present for the first time a model that can predict probabilistic future trajectories of dynamic agents in bird's-eye view from 360{\deg} surround monocular cameras only. Finally, we demonstrate the benefits of learning a world model in closed-loop driving. Our model can jointly predict static scene, dynamic scene, and ego-behaviour in an urban driving environment.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10759v1cs.CV공통 태그 Autonomous Driving, Optical Flow Estimation

MESSENGER: 자기회귀적 다음 프레임 예측을 통한 메모리 강화 순차 씬 플로우 추정

MESSENGER: Memory-Enhanced Sequential Scene Flow Estimation via Autoregressive Next-Frame Forecasting

씬 플로우(Scene flow)는 동적 시나리오에서 저수준 3D 모션 변위를 포착할 수 있습니다. 순간적인 두 프레임 모션에 의존하는 초기 쌍별(pairwise) 추정기는 장기적인 시간적 상관관계가 결여되어 있으며 미래 예측 시 외삽(extrapolation) 능력이 떨어지는 문제도 겪습니다. 최근 일부 연구에서 시퀀스-투-시퀀스 방식으로 다중 프레임 씬 플로우 추정을 시도하고 있으나, 일반적으로 입력 프레임이 증가함에 따라 막대한 연산 오버헤드가 발생하며 비효과적인 모션 전파로 인해 장기 예측 성능이 저하되는 한계가 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 MESSENGER라는 새로운 메모리 강화 순차 씬 플로우 파이프라인을 제안합니다. 연속적인 시퀀스 내에서 장기적인 시간적 의존성을 자연스럽게 충분히 발굴하기 위해, 과거의 플로우 추정치와 잠재 상태(latent states)를 명시적으로 저장하는 메모리 버퍼를 설계했습니다. 각 입력 프레임에 대해, 시간적으로 저장된 플로우와 상태는 다음 프레임 예측 방식으로 상관관계를 맺고 검색되어 현재의 초기화된 플로우를 예측합니다. 또한 신뢰할 수 없는 검색 결과를 필터링하고 누적 오차를 완화하기 위해 불확실성 인지 재가중치 모듈을 개발했습니다. nuScenes 및 Argoverse 2 데이터셋에 대한 광범위한 실험을 통해 MESSENGER의 SOTA(state-of-the-art) 성능을 입증하였으며, 장기 미래 외삽에서 EPE3D를 nuScenes에서 71.6%, Argoverse 2에서 67.7% 감소시켰습니다. 이러한 우수성은 네트워크가 과거 관측을 기반으로 다음 프레임 분포를 점진적으로 학습하도록 자연스럽게 유도하는 자기회귀적 예측 패러다임 설계 덕분입니다. 코드는 https://github.com/liujiuming123/Messenger 에서 공개될 예정입니다.

arXiv:2609.27509v1cs.CV공통 태그 Autonomous Driving, Optical Flow Estimation

Know-Your-Scene (KYS)-SLAM: 스테레오 시각적 SLAM의 특징 매칭을 위한 계층적 의미-움직임 사전 확률

Know-Your-Scene (KYS)-SLAM: Hierarchical Semantic-Motion Priors for Feature Matching in Stereo Visual SLAM

지역 기술자(local descriptor) 기반의 스테레오 시각적 SLAM(stereo visual SLAM) 시스템은 의미적 모호성, 인스턴스 수준의 혼동, 독립적으로 움직이는 객체로 인해 데이터 연관이 손상되고 궤적 드리프트(trajectory drift)가 누적되는 문제를 겪습니다. 기존의 의미론적 및 동적 SLAM 방식은 이진 특징 기각(binary feature rejection)을 통해 이를 해결하려 하므로, 이상치 억제를 위해 대응점 밀도를 희생시킵니다. 본 논문에서는 문맥적 개연성 부족을 배제 기준보다는 점진적인 양으로 표현하는 것이 더 낫다고 주장합니다. 이에 따라 특징 기각을 연속적인 대응점 조절로 대체하는 ORB-SLAM3의 모듈형 확장인 Know-Your-Scene (KYS)-SLAM을 제안합니다. 본 연구의 기여는 기하학적 백엔드를 수정하지 않은 채 특징 매칭 내에 적용되는 대응점 비용으로서 문맥적 증거를 재구성한 점입니다. 각 키포인트는 계층적 호환성 수식을 통해 융합된 의미론적, 팬옵틱(panoptic), 움직임 사전 확률로 보강되며, 여기서 의미론적 클래스와 인스턴스 식별자는 구조적 개연성을 강제하고 제로샷(zero-shot) 움직임 점수는 독립적으로 움직이는 객체의 특징 가중치를 낮춥니다. 해당 점수는 배경 옵티컬 플로우(optical flow)에 깊이 인식 자기-움직임(ego-motion) 모델을 피팅하고 자체 보정 및 커버리지 인식 임계값을 통해 팬옵틱 세그먼트를 분류하는 학습(training) 불필요 모듈에서 도출되므로, 충분한 움직임 증거가 있는 세그먼트에만 페널티가 부여되고 정적 구조에는 페널티가 부여되지 않습니다. 대응점을 폐기하기보다 페널티를 부여함으로써 번들 조정(bundle adjustment)이 의존하는 기하학적 지지를 보존합니다. 시퀀스나 데이터셋별로 계수를 재조정하지 않은 단일 고정 구성 하에서, KYS-SLAM은 성능 저하 없이 21개 스테레오 시퀀스 전반에 걸쳐 시퀀스당 ATE RMSE를 실외 KITTI에서 17.4%, 실내 EuRoC에서 27.7% 감소시켰으며, KITTI Tracking의 동적 하위 집합에서 6.6%, Virtual KITTI 2에서 17.8%(최대 31.2%) 감소시켜 단일 상수 세트로 실외 주행, 실내 비행 및 합성 영상 전반에 걸친 크로스 도메인 전이를 달성했습니다.

arXiv:2609.22857v1cs.CV공통 태그 Autonomous Driving, Optical Flow Estimation

레이더-이미지 융합을 이용한 이미지 프레임 동적 객체 분할 및 자기 운동 추정

Image Frame Dynamic Object Segmentation and Ego Motion Estimation using Radar Image Fusion

동적 객체 분할(dynamic object segmentation)과 자기 운동 추정(ego-motion estimation)은 자율주행에서 긴밀하게 결합된 문제이다. 정확한 자기 운동 추정에는 일반적으로 정적 장면 관측이 필요한 반면, 정적 관측을 식별하기 위해서는 자기 운동에 대한 정보가 필요하기 때문이다. 우리는 이러한 결합 문제를 해결하기 위해 레이더 도플러(Doppler) 측정값을 활용하는 레이더-RGB 프레임워크인 Radar-Dot을 제시한다. 먼저 레이더 반사 신호를 선형 도플러 제약(linear Doppler constraint)을 통해 자기 속도(ego velocity) 추정에 사용하며, 잔차 기반 정적/동적 분할(residual-based static/dynamic segmentation)과 로버스트 추정(robust estimation)을 사용하여 이동 객체의 영향을 줄인다. 추정된 운동 정보는 이후 메트릭 깊이(metric depth) 및 밀집 광학 흐름(dense optical flow)과 결합되어, 관측된 움직임이 경직 장면 운동(rigid scene motion)과 일치하지 않는 이미지 영역을 식별하는 데 사용된다. nuScenes 장면 10개(nuscenes-mini의 일부)에 대한 실험 결과, 제안된 기하학적 파이프라인은 394개의 프레임 쌍에 대해 20.24%의 동적 IoU와 33.67%의 F1-score를 달성하였으며, 레이더 기반 정적 포인트 필터링(static-point filtering)은 모든 레이더 반사 신호를 사용하는 경우에 비해 자기 속도 추정을 향상시켰다. 이러한 결과는 레이더가 자기 운동 추정과 동적 객체 분할을 동시에 개선할 수 있는 모달리티(modality)로서의 잠재력을 보여준다.

arXiv:2609.24526v1cs.CV공통 태그 Autonomous Driving, Navigate

ME-VLM: 체화 인지와 에이전트 조정을 위한 통합 VLM

ME-VLM:A Unified VLM for Embodied Cognition and Agent Coordination

피지컬 AI(Physical AI)는 모델이 환경적 제약과 실행 피드백을 고려하면서 시각 및 언어적 이해를 실제 환경에 그라운딩(grounding)할 것을 요구합니다. 본 논문에서는 체화 인지(embodied cognition)와 멀티모달 에이전트 역량을 결합한 통합 비전-언어 모델(VLM)인 MachEmbodied-VLM(ME-VLM)을 소개하며, 4B 및 35B-A3B 두 가지 변형으로 제공됩니다. 본 연구는 디지털 및 물리적 환경 모두에서의 계획 수립, 상호작용 및 결과 평가와 함께 물리적 지각 및 시공간 추론을 강조합니다. 체화 및 멀티모달 에이전트 태스크를 포괄하는 학습(training) 데이터를 구축하였으며, 여기에는 결과 평가와 의사결정 개선을 지원하기 위한 실행 관측 및 피드백이 포함됩니다. 학습 파이프라인은 체화 역량 주입, 체화 및 멀티모달 에이전트 전문가에 대한 개별 강화학습(RL), 그리고 이들의 상호보완적 역량을 단일 모델로 통합하는 다중 교사(multi-teacher) 온-정책(on-policy) 지식 증류(distillation)로 구성됩니다. 실험 결과, 체화 및 에이전트 벤치마크뿐만 아니라 자율주행 및 체화 내비게이션 태스크에서도 경쟁력 있는 성능을 보였습니다. 엣지 배포(edge deployment)를 위해 시각 토큰(token) 압축, W4A8 양자화(quantization), 하드웨어-소프트웨어 공동 최적화를 적용하여 M100에서 4B 모델의 온디바이스 추론(inference)을 실현하고 프리필(prefill) 지연 시간을 400 ms에서 188 ms로 단축했습니다. 프로젝트 페이지: https://machembodied.com/ME-Brain/ME-VLM.html 코드 저장소: https://github.com/MachEmbodied/ME-VLM

arXiv:2607.14203v2cs.GR공통 태그 Autonomous Driving

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

arXiv:2607.22698v2cs.CV공통 태그 Autonomous Driving

FogDrive: 단계적 안개 조건에서의 인식을 위한 멀티모달 합성 주행 데이터셋

FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog

안개는 자율주행 인식 성능을 여러 모달리티에 걸쳐 저하시킨다. 이미지 대비를 낮추고, LiDAR 반사 신호를 감쇠·산란시키며, 하위의 모든 학습 모듈의 입력 분포를 변화시킨다. 저하된 입력을 복원할지 그대로 학습할지 선택하려면, 알려진 강도에서 안개가 있을 때와 없을 때 관측한 동일한 장면과 학습에 충분한 안개 데이터가 필요하다. 실제 환경의 수집으로는 이를 얻을 수 없다. 안개는 조명 및 교통과 얽혀서 나타나고, 강도는 선택되는 것이 아니라 기록될 뿐이다. 기존 합성 데이터셋은 센서 구성, 규모, 또는 강도 범위가 제한적이다. 우리는 약 660개 장면(약 13.3만 프레임)으로 이루어진 CARLA 데이터셋 FogDrive를 제시한다. 각 장면은 맑은 기준 장면과 보정된 세 가지 안개 농도로 공개되며, 카메라와 LiDAR에 물리 기반 안개를 적용하고 모든 변형에 걸쳐 일관된 2D/3D 주석을 제공한다. 모든 프레임에는 네 대의 카메라(RGB, 깊이, 시맨틱), LiDAR, 시맨틱 LiDAR, 레이더가 포함되어, 심하게 저하되는 카메라부터 대체로 영향을 받지 않는 레이더까지 안개에 대한 반응 스펙트럼을 아우른다. FogDrive로 학습한 실험은 안개 농도를 혼합하면 추가 데이터 비용 없이 3D 검출이 향상되고, PSNR과 SSIM은 안개 제거기(dehazer)의 검출 이득을 잘 예측하지 못하며, 레이더가 모든 농도에서 카메라-LiDAR 융합을 개선함을 보여 준다. 데이터셋과 그 생성 프레임워크를 공개할 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.