arXiv:2608.29992v1 cs.CV

SVI2LoD3: 대규모 언어 및 시각 모델을 이용한 자원봉사형 스트리트 뷰 영상으로부터 시맨틱 3D 도시 모델의 LoD3 외관 개구부 에이전트 기반 재구성

SVI2LoD3: Agent-Driven Reconstruction of LoD3 Facade Openings in Semantic 3D City Models from Volunteered Street View Imagery using Large Language and Visual Models

Elmehdi Kanna, Lukas Arzoumanidis, Huynh Duc An Son Nguyen, Youness Dehbi

제출 2026-08-30

한국어 초록

본 논문은 3D 도시 모델에서 외관 개구부의 LoD3 재구성을 위한 end-to-end 에이전트 기반 파이프라인을 제안하며, 바로 사용 가능한 CityGML 준수 출력을 생성한다. 지도 학습 기반 시맨틱 분할에 의존하여 대량의 수동 주석 학습 데이터가 필요한 기존 접근과 달리, 제안 방법은 제로샷 분할 전략을 사용한다. 이를 통해 주석 작업을 크게 줄이면서도 eTRIMS 데이터셋 벤치마크에서 강한 성능을 달성한다. 또 다른 핵심 기여는 올바른 partonomic 계층을 강제함으로써 CityGML 준수 LoD3 건물 모델을 생성하는 것이다. 재구성 파이프라인 자체를 넘어, 본 연구는 외관 재구성을 위한 새로운 평가 지표인 Facade Feature Distance(FFD)를 도입한다. 픽셀 단위 겹침을 주로 통해 유사성을 평가하는 mIoU나 FRDS 같은 기존 지표와 달리, FFD는 비전 트랜스포머에서 유도된 고수준 특징 공간에서의 거리를 측정한다. 이를 통해 시맨틱 정확성과 건축적 배치를 모두 포착하여, 외관 재구성 품질에 더 적합한 평가를 제공한다. 제안 파이프라인과 평가 전략은 함께, 시맨틱이 풍부한 3D 도시 모델의 자동 생성 및 분석을 향한 실용적이고 확장 가능한 기여를 제공한다. 개발된 코드는 https://github.com/hcu-cml/citydb-SVI2LoD3-ai 에 공개되어 있다.

원문 초록

This paper presents an end-to-end, agent-driven pipeline for the LoD3 reconstruction of facade openings in 3D city models, producing directly usable CityGML-conform outputs. In contrast to existing approaches that rely on supervised semantic segmentation and therefore require large amounts of manually annotated training data, the proposed method employs a zero-shot segmentation strategy. This substantially reduces the annotation effort while still achieving strong performance in our benchmark on the eTRIMS dataset. A further key contribution is the enforcement of correct partonomic hierarchies, thereby producing CityGML-conform LoD3 building models. Beyond the reconstruction pipeline itself, this work also introduces a novel evaluation metric for facade reconstruction, termed Facade Feature Distance (FFD). Unlike conventional metrics such as mIoU or FRDS, which assess similarity primarily through pixel-wise overlap, FFD measures distance in a high-level feature space derived from a vision transformer. In doing so, it captures both semantic correctness and architectural layout, providing a more suitable assessment of facade reconstruction quality. The proposed pipeline and evaluation strategy together offer a practical and scalable contribution toward the automated generation and analysis of semantically enriched 3D city models. The developed code is published at: https://github.com/hcu-cml/citydb-SVI2LoD3-ai.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.29992v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.