보행자 횡단 의도 예측은 자율주행에서 안전성이 매우 중요한 과제이지만, 기존 접근법은 단일 모달 입력이나 밀집(dense) 다중모달 융합 전략에 의존하는 경우가 많아 상보적인 시각 정보와 운동학(kinematic) 정보를 충분히 포착하지 못하는 동시에 모달 간 중복 상호작용을 유발한다. 우리는 ADAPT(Adaptive Domain-Aware Pedestrian Crossing Transformer)를 제안한다. 이는 국소 및 전역 시각 맥락과 시간적 운동 역학을 공동으로 모델링하여 정확한 보행자 횡단 의도 예측을 수행하는 다중모달 프레임워크이다. ADAPT는 RGB 영상, 국소 깊이 맵, 전역 의미 맵, 전역 깊이 맵을 포함한 네 가지 공간 정렬 시각 모달리티와, 자차 속도, 보행자 경계 상자, 스켈레톤 포즈 정보를 다섯 개의 특화 모듈을 통해 처리한다: 시각 특징 추출을 위한 가중치 공유 Swin Transformer V2 백본, 계층적 시각 융합을 위한 Cross-Modality Guided Attention 모듈, 효율적인 시간적 모델링을 위한 Mamba 기반 Motion Feature Encoding 모듈, 가장 정보가 풍부한 모달 간 상호작용을 선택적으로 보존하는 Sparse Cross-Modal Attention 모듈, 시퀀스 수준 예측을 위한 Vision Transformer 기반 Temporal Feature Fusion 모듈. JAAD와 PIE 벤치마크 데이터셋에서의 광범위한 실험은 ADAPT가 낮은 계산 복잡도를 유지하면서 기존 최신(state-of-the-art) 방법들을 일관되게 능가함을 보여준다. JAAD에서 제안 방법은 JAADbeh에서 AUC 0.73, JAADall에서 AUC 0.85를 달성했으며, PIE에서는 정확도 0.92와 AUC 0.90을 달성했다. 또한 ADAPT는 샘플당 추론을 단 17.23ms만에 수행하여, 지능형 교통 및 자율주행 응용에서 예측 정확도와 실시간 배포 효율성 사이의 효과적인 균형을 제공한다.
본 논문은 자연어 텍스트부터 완전히 주석이 달린 다중 행위자(multi-actor) 비디오까지 이르는 완전한 시스템인 GEST-Engine을 제시한다. 핵심에는 명시적 월드 모델(explicit world model)이 있다. 상태를 학습된 잠재 표현(learned latent)으로 인코딩하는 대신, 엔진은 세계의 완전하고 검사 가능한 표현—어떤 행위자가 존재하는지, 어디에 있는지, 무엇을 하고 있는지, 어떤 물체를 들고 있는지, 이벤트가 시간과 공간에서 어떻게 연관되는지—을 유지하며, 이를 공간과 시간 속 이벤트 그래프(Graph of Events in Space and Time, GEST)로 형식화하여 표현하고, 오픈소스 멀티플레이어 스크립팅 프레임워크를 통해 구동되는 상용 게임 엔진의 개방형 세계 안에서 결정론적으로 구현한다. GEST는 절차적 방식으로 생성되거나, 대규모 언어 모델(LLM) Director가 프로그램적 상태 백엔드에 의해 검증된 도구 호출을 통해 이야기를 계획하는 에이전트형(agentic) text-to-GEST 시스템을 통해 생성되므로, 생성된 모든 명세는 구성상(by construction) 실행 가능하다. GEST는 이후 4단계 실행 파이프라인—그래프 파싱 및 검증, 엔티티 및 액션 그라운딩(grounding), 시간적 오케스트레이션(Allen 스타일 제약을 Floyd-Warshall 전이 폐쇄로 해결), 실행 및 캡처—에 진입한다. 단일 시뮬레이션 패스에서 엔진은 프레임 정렬 RGB 비디오, 픽셀 단위 밀집 깊이(dense per-pixel depth), 인스턴스 분할(instance segmentation), 행위자별 스켈레톤 포즈, 프레임별 쌍방 공간 관계 그래프, 2D 경계 상자(bounding box), 이벤트-프레임 시간 매핑, 자연어 설명을 모두 출력하며, 이 모든 것의 한계적 주석 비용은 0이다. 또한 게임 내 월드 에디터, 런타임 역량 추출, 텍스트 생성 파이프라인, 병렬 가상 머신에 걸쳐 대규모로 코퍼스를 렌더링하는 프로덕션 시스템을 설명한다. 모든 프레임이 의미론적 명세에 역추적되기 때문에, 엔진은 구성상 물체 영속성(object permanence), 다중 행위자 조율, 시간적 일관성을 보장하며, 이로 인해 출력은 비디오 이해를 위한 학습 데이터, 평가 벤치마크, 진단 도구로서 가치가 있다.
TRIG는 다중 카메라 자율주행 시스템에서 카메라 포즈를 시간에 따라 변하는 자차 궤적(ego-trajectory)과 정적 카메라 리그(camera-rig) 구성요소로 분리 모델링하여 메트릭 기하학 학습의 정확도를 높이는 프레임워크다. 희소 시공간 어텐션(Sparse Temporal–Spatial Attention)을 통해 카메라 간 공간 상호작용과 시간적 집계를 분리함으로써 계산 효율을 유지하면서 다섯 개의 자율주행 벤치마크에서 포즈 추정, 메트릭 깊이 예측, 3D 재구성 모두 최고 성능을 달성했다.
전방향 이미지는 넓은 시야로 인해 로봇공학과 비전 분야에서 점점 더 많이 사용되고 있다. 그러나 3D Gaussian Splatting(3DGS)을 파노라마 카메라 모델로 확장하는 것은 여전히 어려운 과제로 남아 있으며, 기존 공식화는 원근 투영을 위해 설계되었고 단순한 적용은 종종 왜곡과 기하적 불일치를 유발한다. 우리는 Gaussian Opacity Fields(GOF)에 기반한 전방향 가우시안 렌더링 프레임워크인 Spherical-GOF를 제안한다. 투영 기반 래스터화와 달리, Spherical-GOF는 구면 광선 공간에서 단위 구 위에서 직접 GOF 광선 샘플링을 수행하여 파노라마 렌더링을 위한 일관된 광선-가우시안 상호작용을 가능하게 한다. 구면 광선 캐스팅을 효율적이고 견고하게 하기 위해, 빠른 광선-가우시안 컬링을 위한 보수적 구면 경계 규칙을 유도하고, 왜곡이 변하는 파노라마 픽셀 샘플링에 맞게 가우시안 풋프린트를 조정하는 구면 필터링 방식을 도입한다. 표준 파노라마 벤치마크(OmniBlender 및 OmniPhotos)에 대한 광범위한 실험은 경쟁력 있는 광도 품질과 상당히 향상된 기하적 일관성을 보여준다. 가장 강한 기준선과 비교했을 때, Spherical-GOF는 깊이 재투영 오차를 57% 줄이고 cycle inlier 비율을 21% 향상시킨다. 정성적 결과는 더 깨끗한 깊이와 더 일관된 법선 맵을 보여 주며, 전역 파노라마 회전에 대한 강한 견고성을 나타낸다. 이번 연구에서 소개한 실제 로봇 전방향 데이터셋 OmniRob에서 일반화를 추가로 검증하며, 이 데이터셋은 UAV 및 사족 보행 플랫폼을 포함한다. 소스 코드와 OmniRob 데이터셋은 https://github.com/1170632760/Spherical-GOF 에서 공개될 예정이다.
최근 가우시안 스플래팅(Gaussian Splatting) 기반 역 렌더링(inverse rendering)의 발전은 가우시안 기본 요소에 셰이딩 매개변수와 물리적으로 타당한 광 전송(light transport)을 결합하여, 밀집 다중 뷰 캡처로부터 고품질 재질 복원을 가능하게 한다. 그러나 이러한 방법들의 정확도는 희소 뷰(sparse-view) 설정에서 저하되며, 제한된 관측으로 인해 기하(geometry), 반사율(reflectance), 조명(lighting) 사이에 심각한 모호성이 발생한다. 본 논문은 GAINS(Gaussian-based Inverse rendering from Sparse multi-view captures)를 제안한다. 이는 파운데이션 모델(foundation model)을 사전(prior)으로 활용해 기하 및 재질 추정을 안정화하는 2단계 역 렌더링 프레임워크이다. 본 논문의 핵심 기술적 기여는 파운데이션 모델 사전과 물리 기반(physically-based) 표현을 최적화(optimization) 체계에서 통합하는 역 렌더링 프레임워크이다. GAINS는 먼저 단안(monocular) 깊이, 법선(normal), 디퓨전(diffusion) 사전을 사용해 기하를 정제하고, 이어서 분할(segmentation), 고유 이미지 분해(intrinsic image decomposition, IID), 디퓨전 사전을 활용해 재질 복원을 정규화(regularize)한다. 합성 및 실세계 데이터셋(dataset)에 대한 광범위한 실험 결과, GAINS는 최신(state-of-the-art) 가우시안 기반 역 렌더링 방법 대비 재질 매개변수(parameter) 정확도, 재조명(relighting) 품질, 새로운 뷰(novel-view) 합성(synthesis)을 유의미하게 향상시킨다. GAINS는 4~32대 카메라로 촬영된 다양한 객체에서 전반적으로 우수한 성능을 보이며 경쟁력을 유지하지만, 개선 효과는 모호성이 크고 학습 기반 사전이 특히 유益한 희소 뷰 설정에서 특히 두드러진다. Project page: https://patrickbail.github.io/gains/
건물 높이, 수관 높이, 지상 바이오매스 추정과 같은 지구 관측(EO) 회귀 태스크는 정확성과 신뢰성이 모두 중요한 도시 계획, 산림 모니터링, 기후 정책 분야의 핵심 응용을 뒷받침한다. 그러나 대부분의 심층 학습 모델은 결정론적 예측만을 산출하며, 픽셀별 신뢰도에 대한 정보를 전혀 제공하지 않는다. 이러한 회귀 태스크는 이질적인 지표면, 편향된 목표 분포, 센서 노이즈, 높은 목표값에서의 신호 포화로 인해 본질적으로 어렵기 때문에, 신뢰할 수 있는 추론을 위해 불확실성(UC) 추정이 필수적이다. 본 연구는 연간 Sentinel-1 SAR 및 Sentinel-2 MSI 시계열 데이터를 활용한 인식론적 불확실성 모델링을 통해 이 문제를 해결하며, 두 가지 상호 보완적인 접근 방식을 제안한다: (i) 가우시안 분포 가정하에 평균과 표준편차를 공동으로 예측하는 가우시안 UC, (ii) 비대칭적이고 이분산적인 오차 분포를 포착하기 위해 10번째, 50번째, 90번째 분위수를 추정하는 분위수 UC. 두 모델 모두 10m 공간 해상도에서 세 가지 대표적인 EO 회귀 태스크에 대해 평가된다. 실험 결과, 두 접근 방식 모두 결정론적 벤치마크 및 기존 전지구 제품과 동등하거나 이를 능가하는 성능을 보이면서, 잘 보정되고 해석 가능하며 실용적으로 유용한 신뢰도 추정값을 제공한다. 특히, 두 모델 모두 수관 높이 추정에서 현재 10m 해상도의 최신 불확실성 인식 모델을 능가한다. 구현 코드는 https://github.com/RituYadav92/EO-Regression-Uncertainty-Estimation 에서 제공될 예정이다.
비전-언어 모델(VLM)은 어떤 물체가 더 가까운지, 무엇이 무엇 뒤에 있는지, 물체들이 3D 공간에서 어떻게 배열되어 있는지 등 물리적 공간에 대해 추론할 수 있어야 하지만, 이러한 공간적 판단에서 여전히 어려움을 겪는다. 직관적인 해결책은 모델에게 깊이 맵(depth map)을 제공하는 것이지만, 이 방법이 오히려 성능을 저하시킬 수 있음을 확인하였다. 깊이 정보가 없는 것이 아니라 언어 모델에는 전달되지만 하위 추론에서 접근하기 어려워지며, 렌더링된 의사 깊이 맵(pseudo-depth map)은 동결된 VLM이 쉽게 조절할 수 없는 잡음이 많은 보조 이미지로 작용하기 때문임을 보인다. 우리는 깊이 이미지를 추가하거나, 모듈을 학습하거나, 특징을 주입하거나, 레이블을 사용하지 않고, 단안 깊이(monocular depth)를 질의 대상 객체에 대한 단일 질문 지향적 순서 텍스트 단서로 변환하는 학습 불필요(training-free) 방법인 깊이-순서 프롬프팅(DOP, Depth-Ordinal Prompting)을 제안한다. 핵심 발견은 형태 의존성(form dependence)으로, 동일한 깊이 신호가 이미지로 보여줄 때는 성능을 저하시키지만 텍스트로 말해줄 때는 도움이 될 수 있다는 것이다. 벤치마크, 모델, 깊이 추정기 전반에 걸쳐 DOP는 의사 깊이가 신뢰할 수 있는 객체 수준의 순서 정보를 제공할 때 공간 추론을 향상시키며, 원본 이미지만으로도 강한 성능을 보이는 환경에서는 대체로 중립적이다. 또한 가장 강력한 학습 불필요 깊이 프롬프팅 대안과 경쟁력 있는 성능을 보이면서도 더 단순하고 목표 지향적이다.
투명 객체는 람베르시안(Lambertian) 가정을 위반하기 때문에 깊이 추정 및 3D 재구성에 근본적인 어려움을 제기하며, 이는 하위 태스크에서 심각한 기하학적 품질 저하로 이어진다. 이를 해결하기 위해, 본 논문에서는 하위 모델의 재학습 없이 투명 영역을 불투명하고 구조적으로 일관된 표현으로 변환하기 위해 시각 기반 모델(visual foundation models)을 활용하는 새로운 기하학 기반 전처리 프레임워크 \textbf{GHOST}를 제안한다. 구체적으로, 본 파이프라인은 (1) \textbf{TransDINO}와 (2) \textbf{TransDecomp}를 활용하여 마스크와 투명도 물리적 속성을 분리하고, (3) \textbf{DAF-Net}이 기하학적 곡률을 인코딩하기 위한 표면 법선 사전(surface normal priors)을 복원한다. 이후 (4) \textbf{GeoSemTransNet}이 이러한 다중 모달 단서를 통합하여 투명 객체의 3D 구조를 보존하는 텍스처가 풍부한 불투명 RGB 이미지를 합성한다. 광범위한 실험을 통해 본 방법이 필수적인 측광(photometric) 단서를 복원함으로써 투명 객체에 대한 최신 깊이 추정 및 재구성 모델의 정확도를 크게 향상시킴을 입증한다.
본 논문에서는 광기준선(wide-baseline) 환경에서 빈번히 발생하는 모호한 매칭을 대상으로, 전방위 스테레오에서의 신뢰도 추정을 위한 학습 전략을 제안한다. 3D 인코더-디코더 블록이 생성하는 매칭 응답을 재해석함으로써, 그 기댓값이 내재적 신뢰도 신호를 제공함을 보인다. 이를 기반으로, 본 방법은 보조 헤드, 다중 패스 추론, 또는 추가 모듈 없이 모호한 응답을 직접 패널티화하여 보다 효율적이고 일반화된 예측을 달성한다. 신뢰도를 넘어, 스윕 특징(feature) 볼륨 리샘플링을 도입한다. 이는 3D CNN이 생성한 응답 특징을 회귀된 양성 매칭 인덱스를 이용해 리샘플링한 후, 2D CNN으로 처리하여 표면 법선과 같은 메타 정보를 예측하는 방식이다. 이 결합 학습은 보조 기하학적 정규화를 도입하며, 응답 집계 단계에서 추가적인 문맥 단서를 활용함으로써 깊이 일관성을 향상시킨다. 실험 결과, 본 접근법은 자율 모빌리티 응용을 위한 배포 실용성을 유지하면서 신뢰도 추정과 표면 법선 예측 모두를 개선함을 입증한다.
기존 피드포워드 4D 재구성 방법들은 전경 움직임을 무시한 채 프레임별 정적 포인트 클라우드를 예측하거나, 카메라 움직임이 작은 경우에 국한하여 포인트 클라우드 궤적을 추정하는 한계가 있었다. 이로 인해 시간에 걸친 관측을 집계하고 큰 시점 변화 하에서 완전한 동적 장면을 재구성하는 능력이 제한되었다. 이러한 한계를 해결하기 위해, 우리는 대규모 카메라 움직임을 포함한 비디오에서 모든 픽셀에 대한 밀집 3D 포인트 궤적을 예측하는 피드포워드 4D 재구성 프레임워크 OmniX를 제안한다. OmniX는 동적 모션 모델링과 정적 기하 예측을 분리하고, 컴팩트한 동적 토큰 집합을 사용하여 모션을 표현한다. 3D 모션의 희소하고 저랭크(low-rank) 구조를 활용함으로써, 이 토큰들은 전역 상호작용을 효율적으로 보존하면서 모든 이미지의 모든 픽셀에 대한 궤적 필드를 생성한다. 학습을 지원하기 위해, UE5 기반 자동 4D 데이터 엔진을 추가로 구축하고 완전한 기하 어노테이션을 갖춘 80K 장면과 128만 개의 멀티뷰 비디오를 포함하는 대규모 데이터셋을 공개한다. OmniX는 밀집 3D 포인트 궤적 예측 및 3D 포인트 추적에서 최첨단 성능을 달성하며, 비디오 깊이 추정 및 카메라 포즈 추정에서도 경쟁력 있는 결과를 보여준다.
비전 모델을 실제 세계에 배포하여 사회에 광범위하게 기여하는 것은 주요 연구 목표 중 하나라 할 수 있다. 그러나 광학 흐름(optical flow) 분야에서는 정답(ground truth) 획득의 어려움으로 인해 연구가 주로 합성 데이터와 도메인 특화 벤치마크에 집중되어 왔다. 본 연구에서는 이러한 불일치의 심각성을 조사한다. 우리는 현대 광학 흐름 추정 모델이 실제 세계 비디오에 얼마나 잘 일반화되는지 연구하고, 합성 벤치마크 프록시에서의 정확도가 실제 세계 광학 흐름의 정확도를 실제로 예측하는지 의문을 제기한다. 이를 위해 실제 세계 평가 벤치마크를 구축하고, 표준 체크포인트를 사용하여 최근 광학 흐름 모델 전반의 실제 세계 일반화 가능성을 평가한다. 우리의 벤치마크는 TAP-Flow, Slow Flow, 그리고 자체 데이터셋 FlowFactor에 걸쳐 8,204개의 프레임 쌍을 포함한다. FlowFactor는 1,000개의 HD 프레임 쌍으로 구성된 수동 주석 기반 실제 세계 벤치마크로, 대변위(large displacements), 반복 텍스처(repetitive textures), 가려짐(occlusions), 조명 변화(lighting variation)의 네 가지 교란 요인으로 조직되어 있다. 각 설정은 주로 하나의 요인만 변화시켜 진단적이고 교란 요인별 분석을 가능하게 한다. FlowFactor를 활용하여, 조명 변화 및 대변위 환경에서의 성능이 실제 세계 정확도와 가장 강하게 상관관계를 가지며, 대동작 영역에서의 성능 향상이 소동작의 정적 장면에서의 견고성과 트레이드오프 관계일 수 있음을 밝힌다. 실험 결과, Sintel, KITTI, Spring에서의 발전이 실제 세계 데이터 정확도를 약하게만 예측함을 보여주며, 이는 광범위한 실제 세계 광학 흐름 벤치마크의 필요성을 강조한다. 흥미롭게도, 학습 데이터의 양을 확장하는 것이 반드시 이 격차를 해소하지는 않으며, 단순히 데이터와 컴퓨팅을 확장하는 대신 새로운 혁신적 연구가 요구됨을 시사한다.
생성된 비디오는 로봇 조작을 위한 유용한 시각적 모션 사전(visual motion prior)을 제공하지만, 시각적 그럴듯함이 물리적 실행 가능성을 의미하지는 않는다. 생성된 비디오는 일반적으로 메트릭 기하학, 그래스프 그라운딩(grasp grounding), 로봇 기구학적 실행 가능성, 실행 시 피드백이 부족하여 실제 환경의 조작에서 직접적인 궤적 재현을 신뢰하기 어렵게 만든다. 본 논문은 생성된 비디오 모션을 실제 로봇이 실행 가능한 조작 궤적으로 변환하는 강체-기하학적 일관성 프레임워크인 GenVid2Robot을 제안한다. 초기 RGB-D 관측과 작업 지시가 주어지면, GenVid2Robot은 실제 첫 번째 프레임에서 작업 관련 의미론적 앵커를 샘플링하고, 생성된 비디오 후보들을 통해 이 앵커들을 추적하며, 희소 상대적 SE(3) 모델 하에서 결과로 나타나는 2D 모션이 첫 번째 프레임의 RGB-D 앵커로 설명될 수 있는지 검증한다. 이를 통해 생성된 비디오는 직접적인 로봇 데모가 아닌 불확실한 시각적 모션 가설로 처리된다. 기하학적으로 일관된 모션만이 로봇으로 전달된다. 수용된 상대적 모션은 이후 마스크 제약 그래스핑으로 선택된 실제 그래스프 시점의 TCP 포즈에 적용되어, 시각적 모션 사전과 물리적 그래스프 구성 모두에 일관된 그래스프 조건부 실행 궤적을 생성한다. RGB-D 노이즈, 캘리브레이션 잔차, 소규모 접촉 유발 변위로 인한 실행 불일치를 줄이기 위해, 유계 깊이 보정 모듈이 완전한 온라인 재계획을 가정하지 않고 지역적 깊이 방향 오류를 수정한다. 실제 로봇 실험을 통해 GenVid2Robot이 희소 메트릭 기하학, 그래스프 제약, 로봇 실행 가능성 검사, 유계 실행 피드백으로 시각적 모션 사전을 그라운딩함으로써 생성 비디오 기반 조작의 신뢰성을 향상시킴을 보인다.
신뢰할 수 있는 자율주행은 전경 객체와 밀집 의미론적 레이아웃을 결합하는 전체 장면 인식을 필요로 한다. 최근 4D 밀리미터파 레이더가 강건하고 저비용의 센서로 부상했지만, 희박한 반환값으로 인해 포괄적인 장면 이해를 위한 레이더-카메라 융합이 필요하다. 기존 레이더-카메라 방법은 주로 검출 최적화에 집중하는 반면, 듀얼 태스크 시스템은 제한된 상호작용으로 박스와 점유를 디코딩한다. 이러한 격차를 해소하고 레이더 기반 멀티태스크 학습을 발전시키기 위해, 우리는 의미론적 점유를 최종 출력이 아닌 지속적인 장면 상태로 모델링하는 360° 전체 장면 인식을 위한 4D 레이더-카메라 프레임워크인 4DR360을 제안한다. 4DR360은 크로스-모달 상태 추론 패러다임을 따르며, 점유 상태가 거친-세밀 특징 집계를 위해 단계별로 모델링되고 전파된다. 구체적으로, 상태 가이드 BEV 향상(SBE, State-guided BEV Enhancement)은 프레임 내 BEV 표현을 강화하고, 도플러 가이드 시간적 융합(DTF, Doppler-guided Temporal Fusion)은 더 긴 시간적 범위에 걸쳐 상태 증거를 보존한다. 모델 외에도, 위성 지도 기반으로 생성된 점유 레이블로 ManTruckScenes를 확장하고, 통합된 크로스-데이터셋 검출 및 점유 프로토콜에서 OmniHD-Scenes와 결합한다. 이를 통한 실험은 하나의 레이더-카메라 멀티태스크 평가 프레임워크 아래 정확도, 강건성, 절제 연구, 그리고 효율성을 다룬다. 코드와 레이블은 논문 채택 시 공개될 예정이다.
전역 Structure-from-Motion(SfM)은 비순서 이미지로부터 카메라 포즈와 희소 3D 구조를 복원하는 효율적인 패러다임이다. 그러나 스케일 모호성을 지닌 에피폴라 기하학에 의존하기 때문에, 전역 위치 추정이 잡음이 많은 기준선(baseline) 추정과 약한 뷰 그래프 제약에 민감하며, 시각적으로 모호한 이미지 쌍에서 발생하는 거짓 엣지가 복원을 더욱 저하시킬 수 있다. 우리는 명시적 다중 뷰 최적화를 유지하면서 단안 깊이 맵을 확장 가능한 사전 정보로 활용하는 깊이 인식 전역 SfM 파이프라인 DGSfM을 제안한다. 각 이미지 쌍에 대해 깊이 인식 상대 포즈 솔버를 사용하여 스케일 모호 에피폴라 제약을 스케일 인식 상대 포즈 제약으로 변환한다. 또한 뷰 그래프 필터링과 깊이 일관성 기반 대응점 가지치기(pruning)를 통해 에피폴라 기하학만으로는 그럴듯하게 보이는 거짓 엣지 및 매칭을 억제함으로써 견고성을 향상시킨다. 마지막으로, 전역 스케일 평균화와 깊이 안내 포즈-포인트 초기화(initialization)를 통해 단안 깊이 맵을 공통 복원 스케일로 정렬하고, 전역 위치 추정 및 번들 조정을 위한 안정적인 초기화를 제공한다. ETH3D와 IMC2021에 대한 실험에서 DGSfM은 희소 및 밀집 매칭 프론트엔드 전반에 걸쳐 강력한 전역 SfM 기준선을 일관되게 능가하며, 포즈 정확도에서 상당한 성능 향상을 달성한다. 코드는 https://github.com/sithu31296/DGSfM 에서 제공된다.
3D 재구성과 로봇 위치 추정에서 공동 가시성(co-visibility)은 근본적인 과제로, 특히 중복이 최소한인 시나리오에서 어느 이미지 쌍이 겹치는 가시 표면을 공유하는지를 결정하는 문제다. 우리는 VGGT가 공동 가시성을 창발적(emergent) 동작으로 암묵적으로 인코딩한다는 것을 입증한다. 즉, 이 작업에 대한 어떠한 지도학습 없이도 VGGT의 내부 표현은 대규모 언어 모델(LLM)의 계층 구조를 반영하는 명확한 계층적 구조를 나타낸다. 구체적으로, 초기 층은 3D 인식 장면 표현을 구축하고, 후기 층은 전용 공동 가시성 추론기 역할을 한다. 특히, 우리는 L17 층이 평가 설정과 무관하게 이 백본에서 비공동-가시 쌍을 일관되게 라우팅하는 부정적 앵커(negative anchor)임을 확인하였으며, 이는 기하학적 파운데이션 모델에서 층 특화(layer specialization)에 대한 태스크 기반 증거를 제공한다. 이를 바탕으로 우리는 Co-VGGT를 소개한다. Co-VGGT는 VGGT를 동결(freeze)하고 RGB만으로 공동 가시성을 분류하기 위해 경량화된 층별 전문가 혼합(MoE) 헤드(700만 파라미터 미만)만을 학습시키며, 각 층을 입력 쌍별로 기하학적 추상화가 적응적으로 가중되는 전문화된 전문가로 취급한다. Co-VisiON 벤치마크에서 Co-VGGT는 인간 어노테이션 기준선을 능가하고, 쌍별 비교에서 25% 이상, 다중 뷰에서 10% 이상 기존 연구 대비 성능을 향상시킨다. 쌍별 예측은 잘 보정되어 있어(ECE=0.030), 사후 보정 없이 다운스트림 SfM 및 SLAM 파이프라인의 가시성 그래프에서 에지 가중치로 직접 활용할 수 있다. 코드와 데이터는 공개되어 있다.
3D 장면 그래프는 객체와 장소 같은 공간적 개체 및 그 관계를 인코딩하여 환경의 계층적 추상화를 제공한다. 그러나 기존 장면 그래프 시스템은 부분 포인트 클라우드나 클래스 수준의 CAD 템플릿에 의존하여 객체 형상을 개략적으로 모델링하므로 인스턴스별 형상 세부 정보가 제한된다. 본 논문은 학습 기반 객체 형상 추정기를 계층적 3D 장면 그래프 파이프라인에 통합하는 방법을 시스템 수준에서 탐구한 Hydra++를 제시한다. Hydra++는 카테고리에 구애받지 않는 형상 추정과 재투영-마스크 일관성 검사를 통합하여 부분 관측이나 부정확한 분할로 인한 퇴화 예측을 제거한다. 기본 CRISP 기반 구성에서 Hydra++는 온라인 장면 그래프 구축을 수행하며, SAM3D와 같이 속도가 느린 추정기는 일반화-지연 트레이드오프를 보여주기 위한 모듈식 대안으로 평가된다. 또한 실외 환경에서의 희소하고 노이즈가 많은 깊이 측정 문제를 해결하기 위해 Hydra++는 대규모 운용을 위한 하이브리드 LiDAR-카메라 구성을 지원하여 장면 수준 재구성 품질을 향상시킨다. 시뮬레이션과 실제 실외 캠퍼스 환경에서의 실험을 통해 Hydra++가 객체 및 장면 수준의 재구성 품질을 개선함을 입증한다. 프로젝트 페이지는 https://hydra-plusplus.github.io/ 에서 확인할 수 있다.
일반적으로 단안(monocular) 방법은 풍부한 맥락적 사전 정보를 포착하지만 기하학적 정밀도(precision)가 부족한 반면, 스테레오 방법은 기하학적으로 정확하지만 텍스처가 없거나 가려진 영역에서 어려움을 겪는다. 여러 접근 방식이 단안 깊이를 스테레오 정보와 정렬함으로써 스테레오 매칭(SM)의 일반화를 향상시키기 위해 양쪽의 강점을 결합하려 시도한다. 그러나 안정적이고 일반화 가능한 정렬을 구축하는 것은 어렵고, 신뢰할 수 없는 단안 단서는 성능을 크게 저하시킬 수 있다. 본 논문은 단안 깊이 임베딩(embedding)을 재고찰한다. 첫째, 단축 학습(shortcut learning)을 방지하기 위해 네트워크 너비를 확장하는 대신 브랜치 결합을 줄인다. 둘째, 단안 깊이 오류에 대한 허용 오차를 높이기 위해 단안 깊이로부터 강한 제약 대신 소프트 제약을 구성한다. 이러한 원칙에 기반하여, 특징(feature) 추출과 GRU 반복 모두에 단안 정보를 통합한다. 구체적으로, 단안 깊이 맵을 RGB 이미지와 융합하여 깊이 경계 인식을 선명하게 하고 매칭 모호성을 억제한다. 융합된 이미지는 이후 특징 추출에 사용되어, 맥락적 특징이 전역 기하학적 정보를 인코딩할 수 있게 한다. 나아가, 단안 깊이 그래디언트(gradient) 특징을 활용하여 시차 업데이트를 안내함으로써 국소 진동에서 벗어나도록 돕는다. 마지막으로, 데이터 증강(data augmentation)으로 인한 지도 시차의 경계 흐림 문제를 해결하기 위해 엣지 신뢰도 추정 방법과 엣지 인식 손실(loss) 함수를 제안한다. 우리의 방법은 다수의 표준 벤치마크에서 최첨단(SOTA) 성능을 달성하며, 정확도를 향상시키는 동시에 우수한 일반화 능력을 보여준다. 코드는 https://github.com/linliboabc-maker/stereo-matching-digital 에서 확인할 수 있다.
우리는 강건한 온라인 3D Gaussian splatting, 실시간 VR 탐험, 음성 기반 비전-언어 모델(Vision-Language-Model) 상호작용을 위한 새로운 통합 아키텍처를 제안한다. 깨끗한 깊이 정보나 외부 포즈를 가정하는 방법들과 달리, 우리 시스템은 잡음이 있는 실세계 데이터에 대해 ORB-SLAM3 기반 포즈 추정과 온라인 Gaussian 재구성을 결합한다. VR 파이프라인은 점진적 재구성의 몰입형 탐험을 가능하게 하며, 의미론적 모듈은 음성 명령을 텍스트로 변환하고, 장면 설명을 생성하며, 관심 지점을 기록한다. 최신 온라인 Gaussian splatting 방법들과 비교하여, 우리 데이터셋에서 이미지 품질이 향상되었으며(PSNR +14.5%, SSIM +8.6%, LPIPS -14.3%), TUM-RGBD 데이터셋에서도 마찬가지였다(PSNR +11.7%, SSIM +7.8%, LPIPS -21.6%). 품질-속도 구성을 통해 비교 가능하거나 우수한 프레임 레이트를 달성하였으며, VLM 객체 인식률 88%를 기록하였다.
VGGT와 같은 최근의 3D 기하학적 기반 모델(foundation model)은 입력 이미지로부터 카메라 포즈와 3D 장면 포인트를 직접 예측하는 견고한 피드포워드(feed-forward) 3D 재구성을 제공합니다. 그러나 이러한 모델의 결과는 여전히 부정확하며, 긴 시퀀스나 대규모 비정렬 이미지 집합으로 확장할 때 일반적으로 청크 단위 처리가 필요하여 드리프트(drift)와 불일치가 발생할 수 있습니다. 본 논문에서는 3D 기반 모델 위에 구축된 전역 SfM 방식의 재구성 방법인 Glob3R을 제안합니다. 핵심 아이디어는 피드포워드 기하학적 예측을 명시적으로 최적화하는 것입니다. 이를 위해 동결된 Pi3X 백본에 경량 밀집 매칭 헤드(dense matching head)를 추가하여 선택된 기준 프레임과 인접 뷰 사이의 이미지 와프(warp)를 예측합니다. 이 밀집 와프는 희소하지만 신뢰할 수 있는 다중 뷰 특징 트랙(feature track)으로 변환되어 전역 최적화를 위한 대응 제약 조건을 제공합니다. 또한 트랙과 상대 포즈를 중첩 윈도우 전반에 걸쳐 전파하는 키프레임 기반 슬라이딩 윈도우 연관 전략을 도입하여 확장 가능한 재구성을 가능하게 합니다. 마지막으로 전역 모션 평균화(motion averaging)와 번들 조정(bundle adjustment)을 수행하여 카메라 포즈를 정제하고, 스케일 불일치를 줄이며, 밀집 장면 기하구조를 복원합니다. 실내, 실외, 대규모 주행, 비정렬 SfM 벤치마크에 대한 광범위한 실험을 통해 Glob3R이 견고하고 정확한 재구성을 달성함을 입증합니다. 피드포워드 기반 모델 베이스라인과 최근의 확장 가능한 재구성 방법 대비 일관된 성능 향상을 보이며, 고전적인 SfM 파이프라인보다 더 강건합니다. 또한 정제된 포즈는 더 높은 품질의 뉴럴 렌더링(neural rendering)으로 이어지며, 이는 기반 모델 사전 지식과 전역 기하학적 최적화를 결합하는 이점을 검증합니다. 프로젝트 페이지: https://junyuandeng.github.io/Glob3r
헤드 마운트 스테레오 카메라를 이용한 자아중심(egocentric) 3D 인체 자세 추정은 어안 왜곡, 심각한 자기 폐색, 카메라 시야 밖으로 빈번하게 잘리는 신체 관절로 인해 어려운 과제이다. 최근 스테레오 자아중심 방법들은 히트맵 리프팅, 스테레오 대응, 트랜스포머 기반 정제를 통해 성능을 향상시켰지만, 프레임 단위의 로컬 증거에 과도하게 의존하거나 시간적 정보를 보조적인 자세 수준의 컨텍스트로만 활용하는 경우가 많다. 이는 현재 프레임의 스테레오 단서가 약하거나, 폐색되거나, 모호한 경우 견고성을 저해한다. 우리는 단기 모션 증거와 투영 유도 특징 샘플링을 결합한 시간 유도 스테레오 프레임워크인 TSR-Ego를 제안한다. 본 모델은 먼저 인과적 깊이별 분리 가능 시간 합성곱(causal depthwise-separable temporal convolution)을 사용하여 밀집 스테레오 특징 맵을 풍부하게 만들어, 변형 가능한 교차 어텐션(deformable cross-attention) 이전에 과거 시각적 증거가 특징 공간에 영향을 미칠 수 있도록 한다. 이어서 단일 단계 인과적 스테레오 디코더가 시간적 자기 어텐션, 관절 자기 어텐션, 어안 변형 가능 스테레오 교차 어텐션을 통해 학습된 3D 관절 쿼리를 정제하며, 진화하는 자세 추정값을 활용하여 2D 샘플링 참조를 생성한다. 자세 예측 이후에 시간적 추론을 주로 적용하는 방법들과 달리, TSR-Ego는 미래 프레임 없이 온라인 추론을 유지하면서 모션 컨텍스트를 활용하여 샘플링된 스테레오 특징과 관절 표현 모두를 형성한다. UnrealEgo2 및 UnrealEgo-RW에 대한 실험에서 최첨단 성능을 달성하였으며, 특히 실제 환경 시퀀스에서 두드러진 성능 향상을 보였다.