arXiv:2606.19383v1 cs.RO

3D 장면 그래프: 남은 과제와 향후 방향

3D Scene Graphs: Open Challenges and Future Directions

Dennis Rotondi, Francesco Argenziano, Sebastian Koch, Nathan Hughes, Martin Buechner, Johanna Wald, Lukas Rosenberger Schmid, Daniele Nardi, Abhinav Valada, Liam Paull, Federico Tombari, Luca Carlone, Kai O. Arras

제출 2026-06-15

한국어 초록

3D 장면 그래프(3DSGs)는 환경의 기하학적 그라운딩과 의미론적 및 관계형 추상화를 결합하여 공간 AI(spatial AI)를 위한 강력한 표현으로 등장했습니다. 이들의 표현력 덕분에 조작, 내비게이션, 작업 계획, 장면 이해 등 로봇공학 및 컴퓨터 비전의 광범위한 문제에 적용될 수 있게 되었습니다. 그러나 해당 분야는 여전히 파편화되어 있습니다. 서로 다른 커뮤니티가 상이한 정형화, 구축 파이프라인, 평가 프로토콜을 채택하고 있어, 방법 간 비교, 공통 가정 식별, 그리고 강건한 실제 환경 배치를 위한 남은 과제 파악이 어렵습니다. 본 조사는 3DSGs에 대한 통합적이고 비판적인 검토를 제공하며, 특히 남은 과제와 향후 방향에 중점을 둡니다. 먼저 공통 정의에 따라 3DSGs를 형식화하고, 노드 및 엣지 속성, 계층 구조, 동적 장면 표현, 어포던스 인식 확장 등 기존 정형화의 특징을 나타내는 주요 모델링 선택지를 분석합니다. 이어서 3DSGs가 원시 감각 데이터로부터 구축되는 방식을 검토하며, 가장 일반적인 용어, 규약, 기법에 대해 논의합니다. 마지막으로, 내재적 그래프 품질부터 작업 수준 성능에 이르기까지 다운스트림 응용 및 평가 전략을 살펴봅니다. 또한 커뮤니티를 지원하기 위해 조사된 내용을 정리하고 확장한 전용 웹사이트(https://3dscenegraphs.com/)를 제공합니다.

원문 초록

3D Scene Graphs (3DSGs) have emerged as a powerful representation for spatial AI by combining geometric grounding with semantic and relational abstractions of the environment. Their expressiveness has made them relevant to a broad range of problems in robotics and computer vision, including manipulation, navigation, task planning, scene understanding, and many others. However, the field remains fragmented: different communities adopt distinct formulations, construction pipelines, and evaluation protocols, making it difficult to compare methods, identify common assumptions, and assess remaining challenges for robust real-world deployment. This survey provides a unified and critical review of 3DSGs, with particular emphasis on open challenges and future directions. We first formalize 3DSGs under a common definition and analyze the principal modeling choices that characterize existing formulations, including node and edge attributes, hierarchical structure, dynamic scene representations, and affordance-aware extensions. We then review how 3DSGs are built from raw sensory observations, discussing the most common terminologies, conventions, and techniques. Finally, we examine downstream applications and evaluation strategies, from intrinsic graph quality to task-level performance. To support the community, we also provide a dedicated website that organizes and extends the surveyed content, accessible at https://3dscenegraphs.com/.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19383v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2608.28733v2cs.RO공통 태그 Scene Understanding, 3d scene graphs

자기회귀 확산 모델을 통한 3D 장면 그래프 내 고수준 개념 생성

Generation of High-Level Concepts in 3D Scene Graphs via Autoregressive Diffusion

실내 3D 장면 그래프(3DSG)는 관측된 기하학적 프리미티브(예: 평면)를 더 높은 수준의 미터법-의미론적(metric-semantic) 개념(예: 방, 층, 건물)과 연결하는 다층 계층 구조로 환경을 표현하여 로봇 인지 및 SLAM을 위한 점진적 공간 추론을 가능하게 합니다. 그러나 기존의 고수준 개념 생성 방식은 특정 개념 클래스에 대한 수작업 규칙에 의존하며, 학습 기반 방법은 그래프 구조와 공간 노드 특징(예: 중심점)에 대해 별도의 모델을 요구하므로 새로운 클래스 및 더 복잡한 계층 구조로의 확장성이 제한됩니다. 본 논문에서는 구조와 특징을 함께 학습하고 관측된 수직 평면으로부터 임의의 계층 깊이에 걸쳐 완전한 3DSG를 상향식(bottom-up)으로 구축하는 통합 자기회귀 확산 기반 그래프 생성 모델을 제안합니다. 제안하는 방법은 합성 장면, 실제 건축 평면도, 로봇 센서 데이터를 아우르고 레이아웃 복잡도와 계층 깊이가 다양한 3DSG 데이터셋 전반에서 모든 학습 기반 및 무작위 베이스라인을 일관되게 능가하며, 가장 큰 계층 구조 및 실제 단층 데이터에서 목표 그래프 크기에 대한 오라클 접근 권한을 가진 원샷(one-shot) 모델을 능가합니다. 마지막으로, 생성된 3DSG를 정답(ground truth)과 비교하여 원칙적인 그래프 수준 평가를 수행하기 위한 Fused Gromov--Wasserstein 거리의 적응 방식을 제안합니다.

arXiv:2609.27076v1cs.CV공통 태그 Scene Understanding, robotics

Pro-Bench: 실세계 이종 환경 전반의 프롬프트 강건 오픈어휘 시각적 그라운딩

Pro-Bench: Prompt-Robust Open-Vocabulary Visual Grounding Across Real-World Heterogeneous Environments

오픈어휘 시각적 그라운딩(visual grounding)은 사전 정의된 지각 분류체계(taxonomy)에 의존하지 않고 자연어 쿼리로부터 과제 관련 개체의 위치를 특정함으로써 로봇이 작업할 수 있게 한다. 그러나 기존 벤치마크는 대부분 짧은 카테고리 라벨과 웹에서 수집한 이미지에 의존하여, 오픈어휘 모델이 실제 배포 환경에서 다양한 쿼리와 시각적 조건 하에 견고하게 그라운딩할 수 있는지는 불분명하다. 본 논문은 이종의 실세계 환경에서 오픈어휘 시각적 그라운딩을 위한 프롬프트 조건 벤치마크인 Pro-Bench를 제안한다. Pro-Bench는 독립적인 로봇 도메인(지하, 산업, 실내, 실외, 도시)의 $13k+$ RGB 프레임, $74.5k$ 수동 인스턴스 어노테이션, 범주적·속성·관계·affordance·상태·부분-전체·부정·합성 의미를 아우르는 $515$개 타깃 쿼리를 포함한다. $16$개 오픈어휘 모델 구성을 엄격한 제로샷 추론으로 벤치마킹하여 IoU 임곗값별 위치 특정 정확도, end-to-end 추론 지연, 프롬프트에 따른 성능 변동, 타깃 복구 일관성을 측정했다. 결과에 따르면 프롬프트 강건성은 아키텍처에 강하게 의존한다. 대부분의 모델 구성($10/16$)은 짧은 카테고리 라벨에서 최고 성능을 보이는 반면, 자유 형식 쿼리가 최고 정확도를 내는 경우는 하나뿐이다. 또한 유사한 집계 mAP가 쿼리 재표현에 따른 일관된 타깃 복구의 상당한 차이를 가릴 수 있다. Pro-Bench는 이러한 격차를 체계적으로 평가할 수 있게 하며 프롬프트 강건 시각적 그라운딩을 지원한다. Pro-Bench: https://pro-bench.github.io/.

arXiv:2609.27890v1cs.CV공통 태그 Knowledge Graphs, Scene Understanding

RelCheck: VLM 환각 보정을 위한 이중 증거 공간 그라운딩

RelCheck: Dual-Evidence Spatial Grounding for VLM Hallucination Correction

멀티모달 대규모 언어 모델(MLLM)은 입력 이미지와 일치하지 않는 텍스트를 자주 생성한다. 객체 및 속성 수준의 환각은 상당한 관심을 받아 왔지만, 관계적 환각(객체 간 공간적 또는 상호작용적 관계에 대한 부정확한 기술)은 기존 사후(post-hoc) 보정 방법으로는 대부분 다루어지지 않았다. 우리는 RelCheck를 제안한다. 이는 학습 없이 동작하는 사후 보정 파이프라인으로, 객체 수준 시각적 그라운딩을 이중 관계 증거로 보강한다: RelTR에서 얻은 학습된 장면 그래프(scene-graph) 트리플과 바운딩 박스(bounding-box) 기하에서 도출한 결정적 공간 술어(spatial predicates)이다. 이들은 Woodpecker 스타일 객체 주장(claim) 층과 결합하여 3층 시각 지식 베이스를 형성하며, 언어 모델 보정기가 이를 사용해 환각 텍스트를 재작성한다. LLaVA v1 13B에서 평가한 결과, RelCheck는 MME 환각 점수 총합 630.0을 달성했으며, Woodpecker 스타일 기준선의 585.0 대비 우수하다. position 하위 과제에서 가장 큰 향상(+31.7점, accuracy+가 0.367에서 0.600으로 개선)을 보였다. 4가지 구성 ablation이 두 관계 층이 독립적으로 기여함을 확인한다(McNemar p = 0.025). 이러한 결과는 구조화된 관계 증거가 현재 MLLM이 가장 취약한 공간 추론 하위 과제에서 사후 환각 보정을 유의미하게 개선함을 보여준다.

arXiv:2609.28154v1cs.CV공통 태그 Survey, Scene Understanding

지리 및 정착 맥락에 걸친 전역 건물·정착지 데이터셋 비교 평가

A comparative assessment of global building and settlement datasets across geographic and settlement contexts

전역 건물 및 정착지 데이터셋은 인구 매핑, 노출 평가, 도시 모니터링, 기타 건축 환경(built environment) 분석을 점점 더 지원하지만, 제품, 지리적 지역, 참조 데이터셋, 공간 스케일, 평가 방법에 걸쳐 비교 근거는 여전히 파편화되어 있다. 본 연구는 Overture Maps, Global Building Atlas, 3D-GloBFP, Google Open Buildings 2.5D Temporal(OBT), Microsoft TEMPO, GHSL, WSF Tracker를 포함한 7개의 전역 또는 준전역 제품을 135개 연구 구역에 걸친 조화된 참조 footprint에 대해 벤치마킹한다. 평가는 탐지(detection), 기하학적 일치, 집계량 정확도에 대한 상보적 척도와 함께 정착 특성에 대한 계층화 분석 및 오류 크기와 시간 정렬에 대한 진단 실험을 결합한다. Overture는 도시 수준 벡터 F1의 중앙값이 가장 높았다(0.786). 래스터 순위는 해상도에 따라 달라졌다. OBT는 10m에서 중앙값 F1이 최고(0.642)였고, WSF Tracker는 100m에서 최고(0.862)였다. 그러나 WSF Tracker는 건축 면적(built-up area)을 상당히 과대 추정했으며, 래스터 제품을 사용할 때 해당 래스터가 건물만 식별하는지 아니면 추가 불투수 표면(impervious surfaces)을 포함하는지 사용자가 이해하는 것이 중요함을 강조한다. 래스터 정확도는 건물 밀도와 일관되게 증가했고(Spearman ρ = 0.58–0.75), 소형 후보 건물은 벡터 제품에서 거짓 양성(false positives)과 불균형하게 연관되었다. WSF Tracker를 참조 영상과 시간적으로 정렬하면 평균 F1이 0.060(중앙값 +0.037) 증가했으며, 이는 보고된 정확도가 급속히 성장하는 지역에서 보수적임을 나타낸다. 본 연구는 지리 및 정착 맥락에 걸친 이질적인 전역 도시 및 정착지 층(layer) 데이터셋을 비교하기 위한 재현 가능한 벤치마크를 제시한다.

arXiv:2609.22353v1cs.AI공통 태그 Scene Understanding, robotics

PAANI: 강 로봇 시뮬레이션을 위한 온디바이스 시각적 증거 융합 및 설명 가능한 가이던스

PAANI : On Device Visual Evidence Fusion and Explainable Guidance for River Robot Simulation

이동형 하천 모니터링 로봇은 지리적 웨이포인트만으로는 설명할 수 없는 장애물과 수역 경계를 해석해야 한다. 자원이 제한된 플랫폼에서는 불완전한 시각 예측을 시의적절하고 검사 가능한 가이던스로 바꾸는 것이 별도의 과제이다. 객체 레이블이나 조향 명령만으로는 어떤 증거가 결정을 뒷받침하는지, 그 증거가 언제 신뢰할 수 없는지 설명되지 않는다. 우리는 프로젝트에서 학습한 YOLO11n 검출기와 맞춤형 MobileNetV3 Small 의미 분할기를 Arduino UNO Q에서 타임스탬프 정렬 증거 융합과 결합한, 온디바이스 지각-가이던스 아키텍처인 PAANI를 제시한다. bounded tracking은 객체 지속성을 제공하고, 명시적 통로(corridor) 정책은 수면 레이블, 수용된 검출, 긴급도, 마스크 불확실성을 결합한다. 각 최종 권고는 기여한 증거와 정책 근거를 노출한다. ROS 2 인터페이스는 로컬 AI 파이프라인을 별도의 Gazebo 선박, 위치 추정 및 제어 테스트베드와 연결한다. 학습에는 4클래스 검출용 WaterScenes 이미지 10,000장과 분할용 MaSTr1325 이미지 1,127장(분할 검증 이미지 198장 포함)을 사용한다. 선택한 FP32 ONNX 모델은 14.817 MB를 차지한다. 검출기 체크포인트 테스트 mAP(0.5 IoU)는 0.7388이며, 별도로 평가한 직사각형 ONNX 내보내기의 검증 mAP(0.5 IoU)는 0.7367이다. 분할 ONNX 검증 mIoU는 0.9750이다. 5분간 UNO Q 녹화에서 구성된 0.5 Hz 주기로 파이프라인 지연의 중앙값과 95백분위는 각각 467.8 ms와 580.3 ms였다. 평가에서는 검은 입력 오분류와, 진단용 겉보기 운동(apparent motion) 추정기가 충분한 증거를 수집하지 못하게 하는 샘플링 속도 불일치도 확인했다. 이 결과는 모델 정확도 및 온보드 실행과 검증된 수상 충돌 회피를 명확히 구분하면서, 검사 가능하고 재사용 가능한 엣지 로보틱스 기반을 뒷받침한다.

arXiv:2609.22351v1cs.CV공통 태그 Scene Understanding, 3d scene graphs

3D 장면 그래프에서 의미적 불확실성의 계층적 집약

Hierarchical Aggregation of Semantic Uncertainty in 3D Scene Graphs

오픈 어휘(open-vocabulary) 3D 장면 그래프(3DSG)는 각 객체 노드를 비전-언어 임베딩에 그라운딩하지만, 모든 항목을 동등하게 확실한 것으로 기록하기 때문에, 지도를 조회하는 로봇은 어떤 항목이 신뢰할 수 없는지 구별할 수 없다. 의미적 불확실성 추정기가 그 구별을 제공할 수 있지만, 모델의 반복 샘pling, 학습, 또는 홀드아웃 레이블이 필요하며, 이는 모두 쿼리 시점에 배포된 시스템에서 사용할 수 없다. 우리는 검출기 신뢰도(detector confidence)와 3DSG가 이미 저장하고 있는 임베딩을 활용하여, 항목이 올바를 확률로 변환하고, 그 확률을 포함(containment) 계층을 통해 전파하여 어떤 방이 조회된 클래스를 포함한다는 믿음(belief)으로 만드는 프레임워크를 제시한다. 각각이 나타내는 객체 수준 오류와 짝을 이루는 네 가지 신호는 비전-언어 모델이 학습한 로짓 스케일에서 확률로 변환되며, 추가적인 지각(perception)이나 학습 없이 닫힌 형식(closed form)으로 결합된다. 동일한 검출기와 어휘를 공유하는 객체들은 함께 실패하므로, 프레임워크는 완전 상관(fully correlated) 극한에서 이들을 집약하며, 독립 가정 하의 집약은 하나의 반복된 오류를 반복된 증거로 취급할 것이다. HM3DSem에서 최신(state-of-the-art) 3DSG 시스템과 비교하여 평가한 결과, 프레임워크는 객체 검색을 개선하고 읽는 그래프의 방 수준 단언(room-level assertions)의 오류를 낮춘다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.