가우시안 스플래팅(Gaussian Splatting)의 워핑 기반 기법에서 불확실한 기하학으로 인해 발생하는 공간적 불일치 문제를 해결하기 위해, 변형 가능한 오프셋(deformable offsets)을 활용한 반복적 정제 모듈과 암묵적 신뢰도 가중 메커니즘을 결합한 GADA(Geometry-Aware Deformable Aggregation)를 제안한다. GADA는 기존 방법이 폐기하던 픽셀을 "변위된 단서"로 재정의하여 능동적으로 복원함으로써, 기존 워핑 기반 방법 대비 고주파 세부 품질을 유지하면서 2.13배 빠른 FPS를 달성한다.
비전 트랜스포머(ViT)의 위치 주입(positional injection) 메커니즘을 추론 시 제거하기 위해, 학습 단계에서만 최종 레이어 패치 토큰에 2D 좌표 회귀 손실을 적용하는 보조 목적 함수 Active Spatial Guidance(Guidance)를 제안한다. ImageNet-100 분류, ADE20K 시맨틱 세그멘테이션, Hypersim 단안 깊이 추정에서 AbsPE, RoPE 등 강력한 위치 주입 기반 베이스라인을 능가하며, 위치 주입 없이도 공간적 귀납 바이어스를 학습으로 유도할 수 있음을 보인다.
부분적 단안 관측과 생성적 3D 재구성 간의 정렬 문제를 해결하기 위해, 학습 없이 동작하는 Sim(3) 기반 기하학적 정렬 프레임워크를 제안하며, 명시적 스케일 인수 도입, 조대-세밀(coarse-to-fine) 정렬 전략, 환각 필터링(Hallucination Filtering) 연산을 통해 메트릭 스케일과 자세를 정확히 복원한다. 새롭게 제안한 GenPMOAlign–Where2Place 벤치마크 실험에서 고전적 정합 파이프라인과 학습 기반 베이스라인을 크게 능가하는 성능을 입증했다.
위성 군집 시대의 다중 뷰 위성 영상 기반 디지털 표면 모델(DSM) 복원에서, 기존 피드포워드 3D 기반 모델의 원근법 가정과 궤도 푸시브룸 기하학 간의 구조적 불일치를 해소하기 위해 EO-VGGT 프레임워크를 제안한다. GCCS 기반 뷰 선택, Sensor-Ray Encoder(SRE), Ray-Pointing-Aware Adapter(RPAA)를 결합하여 전체 파라미터의 0.1% 미만만 학습시키면서 US3D 벤치마크에서 최강 경쟁 방법 대비 평균 절대 오차 18.0% 감소를 달성했다.
긴 비디오 시퀀스의 3D 재구성에서 단편화된 부분 시퀀스 간의 장거리 연관이 어렵다는 문제를 해결하기 위해, LIST3R은 인식 가능한 객체 인스턴스를 지속적 앵커로 활용해 지역 인스턴스 라이브러리를 구축하고 이를 기반으로 부분 재구성을 일관된 전역 3D 장면으로 통합하는 인스턴스 인식(instance-aware) 프레임워크를 제안한다. 장시퀀스 벤치마크 실험에서 기존 스트리밍 및 부분 시퀀스 기반 방법 대비 더 정확한 카메라 궤적과 높은 품질의 포인트 클라우드 재구성을 달성하였다.
다중 시점 보행자 검출에서 BEV 투영 시 발생하는 공간 왜곡 문제를 해결하기 위해, MVDGC는 각 보행자를 3D 수직 원통으로 모델링한 희소 원통형 쿼리를 활용해 BEV 지점 위치와 이미지 시점 2D 바운딩 박스를 단일 프레임워크에서 공동으로 추정한다. WildTrack, MultiViewX, GMVD 벤치마크에서 최첨단 성능을 달성하며, 왜곡 없는 원본 이미지 특징 직접 샘플링과 BEV-이미지 시점 간 이중 기하학적 제약을 통해 밀집 군중 환경에서도 정밀한 위치 추정을 가능하게 한다.
비디오 코덱으로 압축된 영상에서 발생하는 시각적 아티팩트가 기존 비주얼 오도메트리(VO) 시스템의 추적 성능을 저하시키는 문제를 해결하기 위해, H.264 등 코덱의 모션 벡터 정보를 KLT 추적의 초기값으로 활용하는 인과적 스테레오 VO 방법 VOCA를 제안한다. VOCA는 EuRoC, TUM-VI, Monado SLAM Dataset에서 약 100배 압축된 스트림에 대해 상대 및 절대 궤적 오차 기준 최첨단 성능을 달성한다.
우리는 포커스드 플레놉틱 카메라를 위한 새로운 순수 최적화 기반의 희소 광도측정(photometric) 비주얼 오도메트리(visual odometry) 프레임워크인 PRISM-VO를 소개한다. PRISM-VO의 핵심은 슬라이딩 윈도우 내 점들의 카메라 포즈와 역깊이(inverse depth) 값을 공동으로 최적화하는 새로운 광도측정 플레놉틱 번들 조정(bundle adjustment)이다. 단일 플레놉틱 이미지의 기하학적 깊이와 시간적 다시점 제약을 결합함으로써, PRISM-VO는 정확하고 드리프트에 강건한 모션 추정을 달성한다. 플레놉틱 투영의 명시적 모델링을 통해, PRISM-VO는 단안 SLAM 알고리즘의 스케일 모호성을 극복하여 신뢰할 수 있는 실척 스케일(metric-scale) 재구성을 제공한다. 중요하게도, 우리의 접근 방식은 단일 플레놉틱 센서에만 의존하며 복잡한 초기화를 피하는데, 이는 깊이 사전값(depth prior)이 플레놉틱 이미징으로부터 직접 계산되기 때문이다. 실험을 통해 PRISM-VO가 실내 및 실외 장면에서 현재 최신 플레놉틱 비주얼 오도메트리 방법을 능가함을 보인다. 제안된 접근 방식은 장면의 실척 스케일을 정확하고 신뢰성 있게 복원하면서 다른 최적화 기반 및 학습 기반 방법들과 대등한 성능을 보인다. 프로젝트 페이지: https://prism-vo.github.io/
3D 장면에서 자연어 쿼리로 대상 객체를 로컬라이징하는 3D 비주얼 그라운딩(3DVG) 과제에서, PanoGrounder는 파노라마 렌더링을 2D–3D 중간 표현으로 활용하여 사전학습된 2D 비전-언어 모델(VLM)의 강력한 추론 능력을 최소한의 수정으로 3D 장면 이해에 접목한다. 구조 인식 카메라 배치, 다중 모달 파노라마 VLM, 가시성 인식 3D 집계로 구성된 3단계 파이프라인을 통해 ScanRefer와 Nr3D에서 최고 성능을 달성하고 미학습 데이터셋과 다양한 텍스트 표현에서도 강한 일반화 성능을 보인다.
멀티모달 대규모 언어 모델(MLLM)의 시각적 사고의 연쇄(Visual Chain-of-Thought) 추론을 위해 489K개의 주석 예제로 구성된 대규모 데이터셋 VisReason과 GPT-4.1 기반의 고품질 서브셋 VisReason-Pro(165K)를 구축하였으며, 각 샘플은 전역-국소(global-to-local) 워크플로우에 따른 다중 라운드 RoI 기반 추론 경로와 단안 깊이 추정(monocular depth)을 활용한 3D 공간 주석을 포함한다. Qwen2.5-VL 등 강력한 MLLM 백본을 해당 데이터셋으로 파인튜닝한 결과, 단계별 시각 추론 정확도, RoI 로컬라이제이션, 공간 추론 성능에서 유의미한 향상이 확인되었다.
계층적 비전-언어-액션(VLA) 모델에서 고수준 플래너가 2D 궤적을 예측하고 저수준 정책이 포인트 클라우드 기반 3D 공간에서 동작할 때 발생하는 표현 불일치 문제를 해결하기 위해, 3D HAMSTER는 VLM에 전용 깊이 인코더와 밀집 깊이 복원 손실(dense depth reconstruction loss)을 추가해 메트릭 신뢰성 있는 3D 웨이포인트 시퀀스를 직접 예측하도록 한다. 3D 궤적 예측, 시뮬레이션, 실제 로봇 조작 실험에서 독점 VLM 및 2D 유도 기반 모델 대비 일관되게 높은 성능을 보이며, 특히 외형 변화나 미관측 언어·공간·시각 조건 같은 분포 이탈(out-of-distribution) 상황에서 가장 큰 성능 향상을 달성한다.
Modeling the cognitive and experiential factors of human navigation is central to deepening our understanding of human-environment interaction and to enabling safe social navigation and effective assistive wayfinding. Most existing methods focus on forecasting motions in fully observed scenes and often neglect human factors that capture how people feel and respond to space. To address this gap, we propose EgoCogNav, a multimodal egocentric navigation framework that jointly forecasts perceived path uncertainty, trajectories and head motion from egocentric video, gaze, and motion history. To facilitate research in the field, we introduce the Cognition-aware Egocentric Navigation (CEN) dataset consisting of 6 hours real-world egocentric recordings capturing diverse navigation behaviors in real-world scenarios. Experiments show that EgoCogNav learns the perceived uncertainty that strongly correlates with human-like behaviors such as scanning, hesitation, and backtracking while improving trajectory and head-motion forecasting on held-out navigation recordings.
파노라마 데이터에 대한 메트릭 순전파 3D 재구성은 대규모 파노라마 RGB-D 학습 데이터의 부족으로 인해 아직 충분히 탐구되지 않은 분야이다. 우리는 1만 개의 실내 장면(실제 1천 개, 합성 9천 개)과 29만 9천 개의 파노라마 시점 및 정밀한 메트릭 어노테이션을 포함하는 하이브리드 데이터셋 Realsee3D와, 이를 기반으로 학습된 메트릭 파노라마 3D 재구성용 순전파 신경망 Argus를 제시한다. Realsee3D의 희소하고 비순서적인 캡처 환경에서는 좌표 앵커를 잘못 선택할 경우 전역적 포즈 드리프트가 발생할 수 있다. Argus는 학습된 공시야(covisibility) 모듈을 통해 메트릭 월드 프레임을 고정할 기하학적으로 최적인 참조 뷰를 선택함으로써 이 문제를 해결한다. 다중 작업 학습을 더욱 향상시키기 위해, 양방향 픽셀-월드 매핑을 단계별 감독과 교차 좌표 결합 제약이 적용된 해석 가능한 세부 단계로 분해하여 예측 브랜치 간의 기하학적 일관성을 강화한다. Realsee3D 벤치마크에서 Argus는 카메라 포즈 추정, 깊이 추정, 포인트 클라우드 재구성 분야에서 최첨단 메트릭 성능을 달성한다. 프로젝트 페이지: https://argus-paper.realsee.ai.
대규모 실세계(in-the-wild) 단안 영상에서 동적 4D 객체 상호작용을 추출하는 것은 Embodied AI 확장과 VLA 학습을 위한 매우 효율적인 데이터 수집 경로를 제공한다. 그러나 기존 단안 4D 재구성 방법은 주로 고립된 객체에 초점을 맞추며, 다중 객체 상호작용에 내재된 심각한 가림과 복잡한 동역학에서 종종 실패한다. 이 격차를 메우기 위해, 우리는 단일 영상에서 여러 객체의 3D 기하, 시간적 동역학, 물리적 상호작용을 재구성하도록 설계된 최초의 에이전트형(agentic) 프레임워크인 HAT-4D를 제안한다. VLM과 다단계 human-in-the-loop 피드백 메커니즘을 통합함으로써, HAT-4D는 3D 생성 및 4D 전파 과정에서 깊이 모호성과 상호작용 유발 가림을 효율적으로 해결하여, 값비싼 다중 카메라 장비에 의존하지 않고 물리적으로 타당한 에셋을 생성한다. 확장 가능한 데이터 엔진으로서 HAT-4D는 단안 4D 상호작용 재구성을 위한 오픈 월드 벤치마크인 MVOIK-4D 생성을 촉진하며, 물리적 타당성과 시간적 일관성에 초점을 맞춘 새로운 다차원 평가 프로토콜을 함께 제공한다. 광범위한 실험을 통해 HAT-4D가 대부분의 평가 지표에서 SOTA 성능을 달성하면서 경쟁력 있는 의미적 정렬을 유지함을 보인다. 소거(ablation) 연구는 소량의 인간 피드백 도입이 상호작용 재구성을 개선함을 보여준다. 또한 HAT-4D가 생성한 데이터는 미세조정에 사용될 때 기준선 성능을 효과적으로 개선한다. 우리의 데이터와 코드는 https://lijiaxin0111.github.io/HAT4D/ 에서 이용할 수 있다.
공간 지능은 저고도 무인항공기(UAV)의 지각, 협업 및 항법에 필수적이다. 그러나 기존 UAV 벤치마크는 종종 이미지 수준 인식, 단일 뷰 이해, 혹은 제한적인 답변 형식에 초점을 맞추어, 3D 공간 추론, 다중 뷰 협업, 장면 동역학, 그리고 다양한 과제 공식화에 대한 평가가 불충분하게 남아 있다. 이러한 공백을 해소하기 위해, 우리는 의미 구별, 공간 관계, 공중-공중 협업, 공중-지상 협업, 그리고 동작 이해를 포괄하는 14개의 세분화된 과제 유형에 걸친 4,331개의 큐레이션된 인스턴스로 구성된 실제 저고도 UAV 벤치마크인 SpatialUAV를 제안한다. SpatialUAV는 모든 샘플을 통합된 visual-input-question-answer 스키마로 구성하며, 선택지 레이블, 영역 식별자, 기하학적 값, 교차 뷰 대응, 그리고 자유 형식 동작 설명 등을 포함하는 7가지 입력 설정과 9가지 답변 형식을 지원한다. 신뢰할 수 있고 그라운딩된 평가를 보장하기 위해, 우리의 데이터 구축 파이프라인은 검출기 보조 영역, 깊이 감독, 메타데이터 기반 규칙, 광범위한 수동 주석, 블라인드 필터링, 다회차 인간 검증을 통합하며, 이질적 출력에 대한 과제별 지표와 함께 제공된다. 세 가지 범주에 걸친 대표적인 비전-언어 모델을 평가한 결과, 현재 모델은 교차 뷰 연관, 구조화된 그라운딩, 기하학적 추론, 시간적 시점 이해에서 뚜렷한 병목을 보이며 인간 수준 성능과는 여전히 큰 거리가 있음을 보인다. 이러한 결과는 저고도 UAV 공간 지능 발전을 위한 실증적 가이드를 제공한다. 코드와 데이터는 https://github.com/Hyu-Zhang/SpatialUAV 에서 이용 가능하다.
움직이는 단안(monocular) 카메라로 동적 장면 속 인간을 재구성하는 것은 스케일 모호성, 인간-장면 정렬 불일치, 가림(occlusion) 간섭 때문에 여전히 어렵다. 인간 메시 복원(Human Mesh Recovery)과 장면 재구성을 별개의 작업으로 다루기보다, 정확한 인간-장면 재구성을 위해서는 두 작업이 서로 정보를 제공해야 한다고 본다. 파라미터화 인간 모델(parametric human models)은 의미적 구조와 metric-scale 사전 정보(priors)를 제공하고, 장면 기하학은 인간 위치 추정(localization)과 정렬(alignment)을 위한 공간적 맥락을 제공한다. 이 통찰에 기반하여, 순전파(feed-forward) 3D 장면 재구성과 Human Mesh Recovery를 통일된 metric 공간에서 결합하는 마스크-프롬프트 가능(mask-promptable) 인간 메시 복원 프레임워크인 SHOW를 제안한다. SHOW는 파라미터화 인간 모델의 인간 의미 정보(semantics)와 스케일 사전 정보를 정규화된 포인트 맵(point-map) 예측에 주입하여, 본질적으로 스케일이 모호한 단안 입력으로부터 metric-scale 장면 재구성을 가능하게 한다. 이에 따라 복원된 장면 기하학은 인간 메시 추정을 제약하여, 공간적으로 일관된 인간 배치와 향상된 인간-장면 정렬을 유도한다. 복잡한 다인물(multi-person) 및 어수선한 장면을 처리하기 위해, SHOW는 프롬프트 가능한 마스킹 메커니즘을 추가로 도입하여 배경 방해 요소와 가림 간섭을 억제하면서 유연한 대상 인간 선택을 가능하게 한다. 공동 학습(joint training)을 통해 모델은 인간 인식(human-aware) 기하 특징과 기하학적으로 제약된 인간 특징을 모두 학습하여, 단안 인간 중심(human-centric) 영상으로부터 정렬된 metric-scale 재구성 결과를 생성한다. 광범위한 실험을 통해 SHOW가 어려운 카메라 움직임, 가림, 어수선한 배경 하에서 metric-scale 일관성, 인간-장면 정렬, 재구성 정확도를 향상시킴을 보여준다.
본 연구에서는 LiDAR 통합을 갖춘 가우시안 스플래팅(3DGS)을 위한 구조화된(Structured) 프레임워크인 Structured-Li-GS를 개발한다. 이는 LiDAR-관성-시각 SLAM을 활용하는 경량 가우시안 스플래팅 파이프라인이다. Structured-Li-GS는 정확하고 조밀하며 색상화된 포인트 클라우드에서 학습함으로써 더 적은 수의 가우시안으로 고품질 3D 재구성을 달성한다. 가우시안 기본 요소는 하위 샘플링된 포인트 클라우드로 고정(anchor)되며, 타원체 파라미터는 국소 표면 기하로부터 초기화된다. 학습 전략은 조밀한 포인트 클라우드를 기반으로 광도(photometric), 평탄화(flattening), 오프셋(offset), 깊이(depth), 법선(normal) 손실을 포함한 포괄적인 손실 항들을 통합하여, 가우시안 밀집화(densification) 없이 정확한 재구성을 가능하게 한다. 이 접근법은 적절한 모델 크기로 스케일에 무관한(up-to-scale), 고충실도 결과를 생성한다. 실험적 검증을 위해 맞춤형 하드웨어 동기화 LiDAR-카메라 휴대형 스캐너를 개발한다. 벤치마크 데이터셋과 자체 실세계 데이터셋 모두에서의 실험은 Structured-Li-GS가 더 적은 가우시안을 사용하면서 최신(state-of-the-art) 방법들을 능가함을 보여준다.
항공 6DoF 위치 추정은 일반적으로 정밀한 GNSS 신호나 방사 측정적으로 풍부한 3D 재구성에 의존하여, 확장성과 기체 탑재(on-board) 배포를 제한한다. 우리는 SemCityLoc을 제안한다. 이는 시맨틱-기하 정렬 시스템으로, 항공 자세(pose) 추정을 foundation model에서 도출한 시각적 prior와 표준화된 LoD 준수 3D 도시 모델 간의 구조화된 표면 등록(structured surface registration) 문제로 재구성한다. 희소 윤곽선이나 밀집 텍스처를 매칭하는 대신, 우리 방법은 시맨틱 표면과 단안 깊이를 경량 시맨틱 3D 건물 모델과 정렬하여 반복적이고 가려진(occluded) 도시 환경에서 자세 변별력을 높인다. 정확한 평가를 위해, 우리는 SemCityLockeD를 도입한다. 이는 센티미터급 정확도의 UAV 자세와 표준화된 LoD1–LoD3 시맨틱 도시 모델, 그리고 어려운 저고도 영상을 결합한 최초의 실세계 벤치마크이다. 실험 결과, 기존 지도 기반 접근법 대비 상당한 개선을 보였으며, 도심 협곡(urban canyons)과 같이 어려운 환경에서 재현율을 최대 36% 향상시키고 평균 위치 오차를 9.89m에서 2.62m로 줄였다. 우리 결과는 시맨틱하게 구조화된 기하가 방사 측정적 장면 재구성 없이도 고정밀 항공 위치 추정에 충분하고 확장 가능한 제약을 제공함을 시사한다. 코드와 데이터는 https://albertchen98.github.io/SemCityLoc 에서 이용할 수 있다.
미터법 스케일 단안 기하 추정은 대규모 데이터 집계를 통해 상당한 진전을 이루었지만, 현재의 파운데이션 모델은 지속적인 '스케일 붕괴(scale-collapse)' 현상에 시달리고 있다. 먼 랜드마크와 광활한 풍경이 미터법적으로 과소 추정되는 것이다. 우리는 이러한 성능 격차가 학습 데이터 병목에서 비롯된다고 가정한다. 기존 미터법 스케일 데이터셋은 동질적인 차량 촬영 LiDAR나 단거리 실내 스캔으로 하드웨어 제약을 받거나, 물리 세계의 의미적 복잡성을 결여한 합성 데이터로만 구성되어 있기 때문이다. 이 격차를 해소하기 위해, 인터넷 사진 컬렉션과 스테레오 영상 등 다양한 출처에서 수집한 MetricScenes라는 새로운 미터법 기반 in-the-wild 데이터셋을 구축한다. 각 장면에 대해 기성(off-the-shelf) 방법으로 카메라 포즈와 초기 깊이 맵을 추정하고, 지리 태깅(geo-tagged) 메타데이터와 알려진 스테레오 카메라 베이스라인으로부터 절대 스케일을 복원한다. 또한 새로운 2단계 Poisson completion 방법을 통해 MetricScenes에서 파생된 깊이 맵의 품질을 개선한다. 우리 데이터셋으로 MoGe-2를 미세조정하면 스케일 붕괴가 크게 완화되고, 표준 벤치마크에서 최첨단 성능을 유지하면서 제약 없는 개방형 장면에서 우수한 미터법 정확도를 달성한다.
본 논문은 측정적으로 정확하고 전역적으로 일관되며 의미적으로 해석 가능한 실내 장면을 생성하는 text-to-3D 생성 프레임워크인 GuidedSceneGen을 제안한다. 기하학적 drift나 스케일 모호성 문제가 흔한 기존 텍스트 기반 방법들과 달리, 본 접근법은 전체 생성 과정 전반에 걸쳐 절대 세계 좌표계를 유지한다. 텍스트 장면 설명에서 출발하여, 의미 구조와 기하학적 구조를 모두 인코딩하는 전역 3D 레이아웃을 예측하고, 이를 후속 단계의 안내 프록시로 사용한다. 의미 및 깊이 조건 파노라마 확산 모델이 전역 레이아웃에 정렬된 360° 영상을 합성하여 공간적 일관성을 크게 향상시킨다. 관측되지 않은 영역을 탐색하기 위해, 커버리지와 충돌 회피의 균형을 맞춘 최적화된 카메라 궤적로 안내되는 비디오 확산 모델을 사용하며, 이는 전수적 경로 탐험 대비 최대 10배 빠른 샘플링을 달성한다. 생성된 뷰는 3D Gaussian Splatting으로 융합되어 절대 스케일에서 일관되고 완전히 탐색 가능한 3D 장면을 산출한다. GuidedSceneGen은 레이아웃에서 재구성으로 객체 포즈와 의미 레이블의 정확한 전달을 가능하게 하며, 재정렬 없이 점진적 장면 확장을 지원한다. 정량적 결과와 사용자 연구는 최근 파노라마 text-to-3D 베이스라인 대비 더 높은 3D 일관성과 레이아웃 타당성을 보여준다.