자동화된 LOD3 건물 모델링은 일반적으로 목적에 맞게 설계된 기하학적 또는 학습 기반 파이프라인에 의존하여, 이질적인 건물과 입력 증거 조건 전반에서의 유연성을 제한한다. 본 연구는 범용 다중 모달 파운데이션 모델 Astra가 제한된 자율성 하의 에이전트 프레임워크 안에서 LOD3 건물 모델을 제로샷으로 재구성함으로써 이러한 한계를 극복할 수 있는지 조사한다. AstraLOD3는 다중 시점 이미지, 보정된 카메라, 필터링된 희소 SfM 포인트 클라우드를 자연어 재구성 명세와 결합하며, Astra 에이전트는 Python과 Blender를 사용해 계산 절차를 동적으로 선택하고 실행한다. 24개 벤치마크 건물을 포함한 35회 실행에서 AstraLOD3는 평균 FRDS 0.9647을 달성했으며, 기하학적 일치도는 이전의 목적 특화 방법과 유사한 수준이었다. 통제된 ablation은 재구성 가이던스, 증거 모달리티, 모델 구성, 실행 간 변동성의 영향을 추가로 밝혔다. 결과는 구조화된 LOD3 재구성이 고정된 파이프라인이 아니라 제약된 에이전트 과정으로 공식화될 수 있음을 보여준다. 향후 연구에서는 적응적 정제, 사용자 주도 수정, 과제 특화 전문화, 손상 인식 재구성을 탐구할 예정이다.
Structure-from-Motion (SfM) is a fundamental technique for recovering camera poses and scene structure from multi-view imagery, serving as a critical upstream component for applications ranging from 3D reconstruction to modern neural scene representations such as 3D Gaussian Splatting. However, most mature SfM systems remain CPU-centric and built upon traditional optimization toolchains, creating a growing mismatch with modern GPU-based, learning-driven pipelines and limiting scalability in large-scale scenes. While recent advances in GPU-accelerated bundle adjustment (BA) have demonstrated the potential of parallel sparse optimization, extending these techniques to build a complete global SfM system remains challenging due to unresolved issues in metric scale recovery and numerical robustness. In this paper, we implement a fully GPU-based and PyTorch-compatible global SfM system, named InstantSfM, to integrate seamlessly with modern learning pipelines. InstantSfM embeds metric depth priors directly into both global positioning and BA through a depth-constrained Jacobian structure, thereby resolving scale ambiguity within the optimization framework. To ensure numerical stability, we employ explicit filtering of under-constrained variables for the Jacobian matrix in an optimized GPU-friendly manner. Extensive experiments on diverse datasets demonstrate that InstantSfM achieves state-of-the-art efficiency while maintaining reconstruction accuracy comparable to both established classical pipelines and recent learning-based methods, showing up to ${\sim40\times}$ speedup over COLMAP on large-scale scenes.
우리는 극심한 모션 블러가 있는 이미지로부터의 블라인드 3D 장면 재구성이라는 역문제를 다루며, 이는 전통적인 SfM(Structure-from-Motion) 파이프라인이 실패하는 시나리오이다. 기존 접근법들은 일반적으로 비실용적인 선명한 이미지 지도학습에 의존함으로써 이 병목을 우회한다. 본 연구에서 우리는 심각하게 열화된 입력으로부터 직접 강인한 재구성을 가능하게 하는 통합 프레임워크인 PRISM3D를 소개한다. 신뢰할 수 있는 출발점의 부재를 극복하기 위해, 특징(feature) 매칭이 실패하는 환경에서 전역 위상을 복원하고자 심층 밀집 추적 방법(VGGSfM)을 활용하는 강인한 초기화(Robust Initialization) 전략을 제안한다. 우리가 아는 한, 극심한 모션 블러로부터 3D Gaussian Splatting을 부트스트랩하기 위해 이 패러다임을 효과적으로 활용한 것은 최초이다. 그러나 이 초기화는 강인하더라도 희소하고 잡음이 많은 기하구조를 생성하여 결정론적 최적화가 발산하는 원인이 된다. 이를 해결하기 위해, 우리는 확률과 물리학에 의해 구동되는 결합 솔루션을 제안한다: 희소한 사전 정보를 강인하게 채우기 위해 마르코프 연쇄 몬테카를로(MCMC)를 통한 기하학적 조밀화에 확률적 공식화를 채택하는 동시에, 연속적인 베지어 궤적(Bezier Trajectories)을 통해 물리적 이미지 형성을 모델링한다. 나아가 PRISM3D가 고도로 강인한 독립형 파이프라인을 구성하는 한편, 상보적인 이벤트 스트림의 활용 가능성은 재구성 충실도를 더욱 끌어올릴 기회를 제공한다. 이를 활용하기 위해, 기하학적 복원을 극대화하고자 높은 시간 해상도의 이벤트를 구조적 사전 정보로 원활하게 통합하는 멀티모달(RGB + Events) 확장인 PRISM3D-E를 소개한다. 기존 데이터셋은 이러한 심각한 열화 조건 하에서 쌍으로 구성된 이벤트 스트림이 부족하므로, 엄격한 평가를 촉진하기 위해 PRISM3D-E 벤치마크를 함께 기여한다. 광범위한 실험을 통해 독립형 RGB 프레임워크와 그 멀티모달 확장 모두 새로운 최첨단 성능을 달성함을 입증한다.
인간의 시각 지각은 움직임 기반 장면 해석의 계산 원리를 이해하는 데 귀중한 통찰을 제공한다. 인간은 희박한 움직이는 점, 질감이 있는 표면, 자연주의적 장면을 관찰하는 경우에도, 독립적으로 움직일 수 있는 물질 덩어리를 구성하는 움직이는 개체를 견고하게 탐지하고 분할한다. 이와 대비하여, 기존 컴퓨터 비전(CV) 시스템은 이러한 다양한 설정에서 작동하는 통합적 접근법을 갖추지 못한다. 인간 지각의 원리에서 영감을 받아, 우리는 저수준 움직임 단서와 고수준 외관 특징을 파티클(국소 물질을 나타내는 작은 가우시안)로 계층적으로 묶고, 파티클을 일관되게 그리고 독립적으로 움직일 수 있는 물리적 개체를 포착하는 클러스터로 묶는 생성 모델을 제안한다. 우리는 안정적인 파티클 움직임과 그룹핑을 복원하기 위해 병렬화된 블록 Gibbs 샘플링(block Gibbs sampling)에 기반한 하드웨어 가속 추론 알고리즘을 개발한다. 우리 모델은 다양한 종류의 입력(랜덤 도트, 스타일화된 질감, 자연주의적 RGB 비디오)에서 동작하며, 생물학적 시각은 성공하지만 기존 컴퓨터 비전 접근법은 그렇지 못한 설정에서도 작동할 수 있게 한다. 우리는 이 통합 프레임워크를 세 영역에서 검증한다: 2D 랜덤 도트 키네마토그램(random dot kinematogram)에서는, 우리 접근법이 모호한 조건에서의 단계적 불확실성을 포함하여 인간의 객체 지각을 포착한다; 위장된 회전 객체로 구성된 게슈탈트(Gestalt) 영감 데이터셋에서는, 우리 접근법이 움직임으로부터 올바른 3D 구조를 복원하고 이를 통해 정확한 2D 객체 분할을 이룬다; 자연주의적 RGB 비디오에서는, 우리 모델이 변형되는 객체를 구성하는 움직이는 3D 물질을 추적하여 견고한 객체 수준 장면 이해를 가능하게 한다. 이 연구는 인간 시각의 원리에 기반한 움직임 기반 지각을 위한 일반적 프레임워크를 확립한다.
동작 구조(Structure from Motion, SfM)는 다중 뷰 3D 재구성에 필수적이지만, 그 정확도는 이미지 매칭의 정확도에 크게 의존한다. 최근 대응 매칭(correspondence matching) 방법인 MASt3R은 도전적인 조건에서도 견고한 매칭을 가능하게 하지만, 겹치지 않는(non-overlapping) 이미지 쌍에 대해서는 잘못된 대응을 생성하는 경향이 있다. 그 결과 MASt3R-SfM과 같이 MASt3R을 사용하는 기존 SfM 방법들은 이러한 신뢰할 수 없는 매칭을 최적화에 직접 포함하기 때문에 자세(pose) 추정 정확도가 크게 저하된다. 이를 해결하기 위해 우리는 두 가지 핵심 모듈을 통해 견고성을 높이는 새로운 SfM 파이프라인인 G-MASt3R-SfM을 제안한다. 먼저 그래프 기반 뷰 가지치기(Graph-based View Pruning, GVP) 모듈은 매칭 신뢰도로부터 장면 그래프(scene graph)를 구성하고 기하학적으로 이상치(outlier) 뷰를 가지치기한다. 둘째, 다단계 최적화(Multi-Stage Optimization, MSO) 모듈은 최적화 범위를 국소 일관성(local consistency)에서 전역 일관성(global consistency)으로 점진적으로 확장하면서 카메라 매개변수를 점진적으로 정제(refine)한다. ETH3D 데이터셋에 대한 실험에서 우리 방법은 카메라 자세 추정과 3D 재구성 모두에서 최첨단(state-of-the-art) 정확도를 달성하며, 이상치로 인한 노이즈를 효과적으로 억제한다.
본문은 희소(sparse) SfM, fitted depth, 의미 분할(semantic segmentation)로부터 구조화된 3D 와이어프레임 재구성을 위한 S23DR 2026 챌린지의 우승 솔루션을 제시한다. 해당 방법은 정점(vertices)을 조건부 집합으로 취급하고, Perceiver 스타일의 장면 토큰을 조건으로 하는 flow-matching DiT로 64개의 정점 토큰을 디노이즈한다. 전역 패스(global pass)가 거친 구조를 예측하고, hull-cropped 두 번째 패스가 이를 정제하며, 소규모 다중 샘플 합의(consensus) 단계가 확률적 샘플러(stochastic sampler)를 안정적으로 유지한다. 최종 시스템은 private 리더보드에서 1위를 차지했으며, HSS = 0.654를 달성했다.