arXiv:2607.05543v1 cs.RO

GEM-Occ: 시각적 기하학 증거에서 구현된 에이전트의 의미론적 점유 메모리로

GEM-Occ: From Visual Geometry Evidence to Embodied Semantic Occupancy Memory

Hu Zhu, Bohan Li, Xianda Guo, Hongsi Liu, Baorui Peng, Mingqi Yuan, Xin Jin, Wenjun Zeng, Chang Wen Chen

제출 2026-07-06

한국어 초록

의미론적 점유(semantic occupancy)는 점유 영역, 관측된 자유 공간, 미지 영역, 객체 의미론을 함께 표현함으로써 실내 구현 에이전트(embodied indoor agent)를 위한 구조화된 공간 메모리를 제공한다. 그러나 기존의 실내 점유 벤치마크 및 방법들은 단일 뷰 예측이나 방 단위 온라인 인식에 주로 집중하여, 연결된 실내 공간 전반에 걸친 장거리 의미론적 매핑은 충분히 탐구되지 않은 상태이다. 우리는 HIOcc를 소개한다. HIOcc는 ScanNet, ScanNet++, Matterport3D를 공통의 희소 의미론적 점유 포맷으로 통합하는 계층적 실내 점유 벤치마크로, 퍼스펙티브 RGB-D 프레임과 파노라마 중심 관측 그룹을 포함한 각 데이터셋 고유의 관측 기하학을 보존한다. HIOcc는 세 가지 상보적 평가 체계를 지원한다: 로컬 의미론적 점유 예측, 방 단위 온라인 점유 매핑, 연결된 파노라마 환경 전반에 걸친 건물 단위 매핑. 우리는 나아가 의미론적 점유 매핑을 위한 가우시안 증거 메모리(Gaussian Evidence Memory) 프레임워크인 GEM-Occ를 제안한다. GEM-Occ는 포인트맵을 영속적인 맵 상태로 사용하는 대신, 로컬 시각적 기하학 예측을 일시적 증거로 취급하여 이를 의미론적 가우시안 점유 증거 및 자유 공간 광선 증거로 변환하고, 가시성 및 불확실성 인식 인과적 업데이트를 통해 영속적 계층 메모리에 융합한다. 이 메모리는 로컬 캐시, 방 단위 서브맵, 건물 단위 그래프로 구성되며, 가우시안-점유 스플래팅(Gaussian-to-occupancy splatting)을 통해 언제든지 질의할 수 있다. HIOcc에서의 실험 결과, GEM-Occ는 기존 실내 점유 및 가우시안 기반 매핑 베이스라인 대비 로컬 점유 예측, 온라인 맵 안정성, 자유 공간 추론, 재방문 일관성, 건물 단위 확장성에서 성능 향상을 보임을 확인하였다.

원문 초록

Semantic occupancy provides a structured spatial memory for embodied indoor agents by jointly representing occupied regions, observed free space, unknown areas, and object semantics. However, existing indoor occupancy benchmarks and methods mainly focus on single-view prediction or room-level online perception, leaving long-horizon semantic mapping across connected indoor spaces underexplored. We introduce HIOcc, a hierarchical indoor occupancy benchmark that unifies ScanNet, ScanNet++, and Matterport3D under a common sparse semantic occupancy format while preserving their native observation geometries, including perspective RGB-D frames and pano-centric observation groups. HIOcc supports three complementary evaluation regimes: local semantic occupancy prediction, room-level online occupancy mapping, and building-level mapping across connected panoramic environments. We further propose GEM-Occ, a Gaussian Evidence Memory framework for semantic occupancy mapping. Rather than using pointmaps as persistent map states, GEM-Occ treats local visual geometry predictions as transient evidence, converts them into semantic Gaussian occupancy evidence and free-space ray evidence, and fuses them into a persistent hierarchical memory through visibility- and uncertainty-aware causal updates. The memory is organized into local caches, room-level submaps, and a building-level graph, and can be queried at any time through Gaussian-to-occupancy splatting. Experiments on HIOcc show that GEM-Occ improves local occupancy prediction, online map stability, free-space reasoning, revisit consistency, and building-level scalability over prior indoor occupancy and Gaussian-based mapping baselines.

요약

실내 에이전트의 장거리 의미론적 점유(semantic occupancy) 매핑을 위해 ScanNet, ScanNet++, Matterport3D를 통합한 계층적 벤치마크 HIOcc와, 로컬 시각적 기하학 예측을 일시적 증거로 변환해 가시성·불확실성 인식 인과 업데이트로 영속적 계층 메모리에 융합하는 GEM-Occ 프레임워크를 제안한다. HIOcc 실험에서 GEM-Occ는 기존 실내 점유 및 가우시안 기반 매핑 베이스라인 대비 로컬 점유 예측, 온라인 맵 안정성, 자유 공간 추론, 재방문 일관성, 건물 단위 확장성 전반에서 성능 향상을 달성하였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.05543v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24825v1cs.CV공통 태그 Semantic Segmentation, 3D Reconstruction, Depth Estimation, Scene Understanding

ZVeC: 인스턴스 수준 차량 추출 및 생성적 포인트 클라우드 완성을 위한 제로샷 프레임워크

ZVeC: A Zero-Shot Framework for Instance-Level Vehicle Extraction and Generative Point Cloud Completion

지하 환경에서 획득한 LiDAR 포인트 클라우드는 가림과 제한된 센서 시점으로 인해 심각한 기하학적 불완전성을 보이며, 대규모 지도 학습 데이터셋 없이는 신뢰할 수 있는 포인트 클라우드 완성이 어렵다. 우리는 장면 수준 완성을 구성적 객체 수준 재구성으로 재정식화하는 제로샷, 인스턴스 기반 프레임워크인 ZVeC를 제안한다. 장면을 의미론적 객체 인스턴스로 분해함으로써 ZVeC는 복잡한 환경에서 재구성 모호성을 줄이면서 시나리오별 학습의 필요성을 제거한다. 분할된 각 차량은 일반화된 기하학적 사전을 활용하는 depth 및 3D Gaussian 조건 diffusion 모델로 독립적으로 완성되며, 이후 재구성된 인스턴스들이 원래 장면에 다시 합성된다. 우리 접근법을 평가하기 위해 지하 주차 환경의 실세계 밀집 LiDAR 벤치마크를 구축한다. 실험 결과는 정량적 지표와 시각적 품질 모두에서 대표적인 장면 수준 baseline 대비 일관된 개선을 보여준다. 완성된 포인트 클라우드는 측정 입력과 실질적으로 다르지만(평균 KL divergence ~ 2.1), 입력을 원래 LiDAR 측정치의 1%만으로 줄여도 완성된 재구성은 미미하게만 변한다(KL divergence < 0.50). 이는 ZVeC가 극단적인 입력 희소성 하에서도 기하학적으로 일관된 완성을 생성함을 보여준다.

arXiv:2609.24850v2cs.CV공통 태그 3D Reconstruction, Depth Estimation, Scene Understanding

Revisiting Multi-View Stereo: A Sequence-to-Sequence Formulation

다중 뷰 이미지로부터 정확한 기하를 계산하는 것은 컴퓨터 비전(CV)의 근본적인 문제이다. 최근 feed-forward(FF) 모델은 3D 기하와 카메라 파라미터를 공동으로 추정하지만, 정답(ground-truth) 카메라 파라미터가 주어져도 재구성 모호성으로 인한 기하 왜곡을 일반적으로 겪는다. 본 논문에서는 알려진 카메라 파라미터를 갖는 다중 뷰 스테레오(MVS) 문제를 연구하고, 기존 MVS와 FF 방법을 잇는 새로운 접근법을 제안한다. MVS를 단일 기준 뷰에 대해서만 깊이를 예측하는 시퀀스-투-원(sequence-to-one) 매핑으로 두는 대신, FF 모델과 유사하게 모든 입력 뷰에 대한 기하를 공동으로 예측하는 시퀀스-투-시퀀스 과제로 재공식화한다. 카메라로 유도된 사전지식(prior)을 명시적으로 활용하는 두 구성 요소를 갖춘 전역 트랜스포머 기반 아키텍처를 도입한다: 카메라 파라미터를 이미지 패치 토큰에 주입하여 트랜스포머를 camera-aware하게 만드는 ray-map 임베딩(embedding), 그리고 기존의 뷰별 cost volume을 대체하여 모든 뷰에 걸쳐 3D 구조를 공동으로 포착하는 통합 전역 cost volume. 여러 공개 벤치마크에 대한 광범위한 실험 결과, 제안 방법은 MVS 및 FF 재구성 기준선을 모두 능가하는 최신(state-of-the-art) 성능을 달성함을 보여준다.

arXiv:2610.00970v1cs.CV공통 태그 Semantic Segmentation, 3D Reconstruction, Scene Understanding

RelationVGGT: 3차원 공간 관계 분할을 위한 시각 기하 트랜스포머

RelationVGGT: Visual Geometry Transformers for 3D Spatial Relation Segmentation

최근 3차원 재구성(3D reconstruction) 분야는 장면별 최적화(per-scene optimization) 방식에서 피드포워드 추론(feed-forward inference) 방식으로 발전해 왔으며, 의미론적 장면 이해(semantic scene understanding) 또한 이러한 흐름을 따라왔다. 그러나 기존 방법들은 여전히 객체 중심 인식(object-centric perception)에 국한되어 있어 객체 간의 공간적 관계(spatial relation)를 간과하고 있다. 본 연구에서는 피드포워드 방식이면서 포즈 정보가 필요 없는(pose-free) 멀티뷰(multi-view) 환경에서 3차원 공간 관계 분할(3D spatial relation segmentation) 문제를 정식화한다: 시각적으로 지정된 주체(subject)와 관계를 나타내는 텍스트 질의(relational text query)가 주어졌을 때, 모델은 대상의 범주명(category name)을 입력받지 않고도 여러 뷰에 걸쳐 해당 대상을 분할한다. 이를 위해 우리는 RelationVGGT를 제안한다. 이는 시각 파운데이션 모델(visual foundation model)의 의미론적 특징(semantic feature)과 3차원 기하 파운데이션 모델(3D geometry foundation model)의 기하 인지 표현(geometry-aware representation)을 통합하고, 관계 트랜스포머(relation transformer)를 활용하여 주체 조건부(subject-conditioned) 교차 뷰(cross-view) 관계 예측을 수행하는 새로운 피드포워드 프레임워크이며, 장면별 최적화나 알려진 카메라 포즈(camera pose)를 필요로 하지 않는다. 또한 우리는 VLM과 LLM을 활용하여 ScanNet++ 기반의 완전 자동화된 주석(annotation) 파이프라인을 제공함으로써, 이 새로운 과제(task)에 대한 확장 가능한 학습 데이터 생성을 가능하게 한다.

arXiv:2610.01205v1cs.CV공통 태그 Semantic Segmentation, Depth Estimation, Scene Understanding

현미경 스테레오 비디오에서의 의미론적 RGB-깊이 기반 수술 숙련도 평가

Semantic RGB--Depth Based Surgical Skill Assessment in Microscopic Stereo Videos

미세수술 기술 숙련도에 대한 객관적 평가는 역량 기반 훈련과 품질 보증에 필수적이지만, 기존의 비디오 기반 접근 방식은 주로 RGB 이미지에 의존하므로 기구와 해부학적 구조 간의 상호작용을 특징짓는 3D 공간적 관계를 간과합니다. 비록 입체 수술 현미경이 상호보완적인 깊이(depth) 정보를 제공하지만, 기존의 스테레오 매칭 알고리즘은 고배율 이미징 환경에서 희소하고 신뢰할 수 없는 깊이 추정치를 생성할 수 있어 자동 숙련도 평가에 활용하는 데 한계가 있습니다. 본 연구에서는 현미경 스테레오 비디오로부터 수술 숙련도를 평가하기 위한 의미론적(semantic) RGB-깊이 프레임워크를 제시합니다. 회귀 기반 깊이 융합 방법은 희소한 미터법 스테레오 깊이와 조밀한 단안 깊이 추정치를 결합하여 수술 장면의 조밀한 기하학적 표현을 생성합니다. 이 표현은 개별 수술 기구 및 주변 해부학적 구조에 해당하는 의미론적으로 분해된 RGB 스트림과 통합됩니다. 계층적 어텐션(attention) 아키텍처는 이러한 스트림들을 공동 인코딩하여 서로 다른 수련 수준의 외과의 전반에 걸친 기구 사용 및 기구-해부학적 구조 상호작용의 변별력 있는 패턴을 포착합니다. 제안된 프레임워크는 전임의(attending surgeons)와 레지던트로 구성된 6명의 외과의가 수행한 33건의 생체 외(ex vivo) 경구강 미세후두 수술을 대상으로 외과의 1인 제외 교차 검증(leave-one-surgeon-out cross-validation)을 통해 평가되었습니다. 제안된 의미론적 RGB-깊이 모델은 숙련도 수준 분류에서 F1 점수 0.938을 달성하여, 의미론적 RGB의 0.696 및 의미론적 깊이의 0.929와 비교되었습니다. 이러한 결과는 기하학적 정보가 현미경 스테레오 비디오 기반의 자동 수술 숙련도 평가를 향상시킬 수 있음을 시사합니다. 또한 학습된 공간, 시간 및 의미론적 어텐션 패턴은 모델이 강조한 장면 영역, 비디오 세그먼트 및 의미론적 스트림에 대한 정성적 분석을 뒷받침합니다.

arXiv:2610.01286v1cs.CV공통 태그 3D Reconstruction, Depth Estimation, Scene Understanding

Dyna3: 심도 파운데이션 모델 기반 VLM 유도형 무학습 4D 재구성

Dyna3: VLM-Guided Training-Free 4D Reconstruction via Depth Foundation Models

Depth Anything 3(DA3)와 같은 최신 심도 파운데이션 모델은 뛰어난 다중 뷰 심도 추정을 달성하지만 정적 3D 장면을 가정하므로 실제 동적 환경에 대한 적용 가능성이 제한됩니다. Easi3R 및 VGGT4D와 같은 기존 무학습 4D 기법들은 어텐션이 프레임 간 매칭을 인코딩하는 대응점 학습 기반 백본에 의존하지만, DA3와 같은 심도 전용 모델에는 이러한 특성이 없습니다. 본 논문에서는 미세조정 없이도 4D 동적 장면 재구성을 위해 DA3를 확장하는 무학습 프레임워크인 Dyna3를 제안합니다. 핵심 통찰은 DA3의 교차 뷰 특징이 심도 일관성만을 위해 학습되었음에도 불구하고, 프레임 간 최적 매칭 특징 검색과 결합될 때 모션 구별 신호를 암시적으로 인코딩한다는 점입니다. 정적 표면은 전역적으로 일관된 매칭을 찾는 반면, 동적 객체는 그렇지 못합니다. 나아가 비전-언어 모델(VLM)을 채택하여 SAM 3를 위한 장면별 의미론적 프롬프트를 자동으로 생성함으로써, 존재하는 객체와 움직이는 객체를 구분하는 정밀한 인스턴스 수준 분할을 가능하게 합니다. 재구성을 위해 장면을 프레임 간 정렬된 정적 배경과 프레임별 동적 포인트 클라우드로 분리합니다. 4개 데이터셋에 대한 실험을 통해 Dyna3는 동적 객체 분할에서 최고 성능인 VGGT4D 대비 J-Mean 기준 +5.5%p 향상으로 대응점 학습 기반 방법들을 능가하는 동시에, 4~8배 낮은 메모리로 최대 13배 빠른 포즈 추정과 3배 빠른 4D 재구성을 달성함을 입증합니다. 따라서 Dyna3는 이전 방법들이 지원할 수 없었던 훨씬 더 조밀한 시간적 샘플링을 가능하게 할 수 있습니다.

arXiv:2609.27509v1cs.CV공통 태그 Semantic Segmentation, Depth Estimation, Scene Understanding

Know-Your-Scene (KYS)-SLAM: 스테레오 시각적 SLAM의 특징 매칭을 위한 계층적 의미-움직임 사전 확률

Know-Your-Scene (KYS)-SLAM: Hierarchical Semantic-Motion Priors for Feature Matching in Stereo Visual SLAM

지역 기술자(local descriptor) 기반의 스테레오 시각적 SLAM(stereo visual SLAM) 시스템은 의미적 모호성, 인스턴스 수준의 혼동, 독립적으로 움직이는 객체로 인해 데이터 연관이 손상되고 궤적 드리프트(trajectory drift)가 누적되는 문제를 겪습니다. 기존의 의미론적 및 동적 SLAM 방식은 이진 특징 기각(binary feature rejection)을 통해 이를 해결하려 하므로, 이상치 억제를 위해 대응점 밀도를 희생시킵니다. 본 논문에서는 문맥적 개연성 부족을 배제 기준보다는 점진적인 양으로 표현하는 것이 더 낫다고 주장합니다. 이에 따라 특징 기각을 연속적인 대응점 조절로 대체하는 ORB-SLAM3의 모듈형 확장인 Know-Your-Scene (KYS)-SLAM을 제안합니다. 본 연구의 기여는 기하학적 백엔드를 수정하지 않은 채 특징 매칭 내에 적용되는 대응점 비용으로서 문맥적 증거를 재구성한 점입니다. 각 키포인트는 계층적 호환성 수식을 통해 융합된 의미론적, 팬옵틱(panoptic), 움직임 사전 확률로 보강되며, 여기서 의미론적 클래스와 인스턴스 식별자는 구조적 개연성을 강제하고 제로샷(zero-shot) 움직임 점수는 독립적으로 움직이는 객체의 특징 가중치를 낮춥니다. 해당 점수는 배경 옵티컬 플로우(optical flow)에 깊이 인식 자기-움직임(ego-motion) 모델을 피팅하고 자체 보정 및 커버리지 인식 임계값을 통해 팬옵틱 세그먼트를 분류하는 학습(training) 불필요 모듈에서 도출되므로, 충분한 움직임 증거가 있는 세그먼트에만 페널티가 부여되고 정적 구조에는 페널티가 부여되지 않습니다. 대응점을 폐기하기보다 페널티를 부여함으로써 번들 조정(bundle adjustment)이 의존하는 기하학적 지지를 보존합니다. 시퀀스나 데이터셋별로 계수를 재조정하지 않은 단일 고정 구성 하에서, KYS-SLAM은 성능 저하 없이 21개 스테레오 시퀀스 전반에 걸쳐 시퀀스당 ATE RMSE를 실외 KITTI에서 17.4%, 실내 EuRoC에서 27.7% 감소시켰으며, KITTI Tracking의 동적 하위 집합에서 6.6%, Virtual KITTI 2에서 17.8%(최대 31.2%) 감소시켜 단일 상수 세트로 실외 주행, 실내 비행 및 합성 영상 전반에 걸친 크로스 도메인 전이를 달성했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.