Any2Building: 공유 공간 쿼리로 점군과 영상을 통합하는 건물 재구성
Any2Building: Unifying Point Clouds and Images for Building Reconstruction via Shared Spatial Queries
한국어 초록
제한된 관측에서 구조화된 건물 모델을 만드는 일은 3D 도시 모델링과 디지털 트윈에 필수적이다. 같은 건물을 관측한 부분 점군은 불완전한 3D 표면 측정값을 제공한다. 상공 영상은 건물의 평면 윤곽, 지붕 기하 구조, 옥상 구조물에 관한 시각적 단서를 제공한다. 따라서 기하 및 시각 단서를 3D 공간에서 정렬해 한 모달리티나 두 모달리티 모두에서 건물을 재구성하는 통합 프레임워크를 만들 수 있다. 이 연관성을 바탕으로 부분 점군, 상공 영상, 또는 둘 모두로 상세 수준 2(LoD2)의 건물을 재구성하는 통합 모델 Any2Building을 제안한다. 필요하면 대략적인 기하 사전 정보를 추가할 수 있다. 핵심은 점유 정보를 기반으로 한 공유 공간 쿼리 표현이며, 사용 가능한 관측을 공통 3D 격자 안에 배치한다. 완전한 건물 표면 복셀로 지도한 쿼리는 관측 근거를 목표 형상과 연결한다. 이를 바탕으로 공유 생성기가 여러 과제에 공통된 구조 사전 정보를 학습할 수 있으며, 누락된 구조를 복원할 때 쓸 공간 단서를 얻는다. 이후 학습된 복셀 조건부 표면 생성과 저폴리곤 메시 재구성 파이프라인이 예측한 구조를 간결한 LoD2 건물 모델로 변환한다. 이 프레임워크를 지원하기 위해 18개 도시의 부분 점군, 상공 영상, LoD2 건물 모델을 서로 짝지은 표본 약 100만 건으로 구성한 BuildingWorld-Image를 소개한다. 여러 벤치마크에서 Any2Building은 단일 및 다중 모달리티 점군 완성, 단일 영상에서의 건물 생성, 사전 정보를 활용한 생성에서 기존 방법보다 기하 재구성 정확도가 높았다. 점군 입력의 품질이 낮아져도 세부 구조를 안정적으로 복원했다.
원문 초록
Abstracting structured buildings from limited observations is essential for 3D urban modeling and digital twins. Partial point clouds and overhead images of the same building provide incomplete 3D surface measurements and visual cues to its footprint, roof geometry, and rooftop structures, respectively. This motivates a unified framework that aligns geometric and visual cues in 3D and reconstructs buildings from either or both modalities. Building on this connection, we present Any2Building, a unified model for Level of Detail 2 (LoD2) building reconstruction from partial point clouds, overhead images, or both, with optional coarse geometric priors. At its core is an occupancy-grounded shared spatial queries representation that organizes available observations within a common 3D grid. Supervised by complete building surface voxels, these queries connect observational evidence to target geometry, enabling a shared generator to learn structural priors across tasks and providing spatial guidance for recovering missing structure. A trained voxel conditional surface-generation and low-poly remeshing pipeline then converts the predicted structure into compact LoD2 building models. To support this framework, we introduce BuildingWorld-Image, comprising approximately one million paired samples of partial point clouds, overhead images, and LoD2 building models across 18 cities. Experiments on multiple benchmarks demonstrate that Any2Building outperforms existing methods in geometric reconstruction accuracy across unimodal and multimodal point-cloud completion, single-image building generation, and prior-assisted generation, while maintaining detailed and robust recovery when point cloud input modality is degraded.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23187v2제출 시각 미확인
- arXiv:2611.23187v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.