arXiv:2609.27850v1 cs.CV

GaussianDS: 장면 이해를 위한 깊이 지도 의미 Gaussian Splatting

GaussianDS: Depth-supervised Semantic Gaussian Splatting for Scene Understanding

Yufei Zhang, Chenlu Zhan, Hongwei Wang

제출 2026-09-24

한국어 초록

3D Gaussian Splatting(3DGS)은 3D 재구성을 위한 효율적인 표현을 제공하며, 최근 확장은 개방 어휘(open-vocabulary) 장면 이해를 위해 가우시안에 의미 속성을 부착한다. 그러나 시점 의존적 2D foundation model 출력을 3D 공간으로 끌어올리면(lifting) 뷰 간 불일치와 약한 기하학적 그라운딩이 생겨 심각한 의미 표류(semantic drift)와 경계 누출(boundary leakage)이 발생한다. 본 논문은 의미 lifting을 지도 정렬(supervision-alignment) 문제로 다루고 RGB 외관, 렌더링 깊이, 압축된 의미를 처음부터 공동 최적화하는 깊이 지도 의미 3DGS 프레임워크 GaussianDS를 제안한다. 구체적으로 GaussianDS는 순서 없는 다중 뷰 이미지를 포즈 인식(pose-aware) 의사 비디오 궤적으로 구성하여 SAM2로 뷰 일관 마스크를 전파한다. 공동 최적화 동안 scale-shift 정렬 단안 깊이 지도와 깊이 전체 변분(total-variation) 정규화가 가우시안 기하를 안정화하고, 깊이 경계 인식 정제 손실이 의미 전이를 물리적 기하 불연속면에 명시적으로 고정한다. 광범위한 평가에서 본 end-to-end 프레임워크는 고충실도 3D 재구성과 실시간 렌더링을 유지할 뿐 아니라 우수한 의미 이해를 달성함을 보인다. GaussianDS는 의미 누출을 완화하면서 LERF에서 60.5% mIoU, 3D-OVS에서 97.79% mIoU 및 90.28% mBIoU로 새로운 최고(state-of-the-art) 성능을 기록하며, 하류 3D 객체 제거를 원활히 지원한다.

원문 초록

3D Gaussian Splatting provides an efficient representation for 3D reconstruction, and recent extensions attach semantic attributes to Gaussians for open-vocabulary scene understanding. However, lifting view-dependent 2D foundation-model outputs into 3D space introduces cross-view inconsistencies and weak geometric grounding, leading to severe semantic drift and boundary leakage. We propose GaussianDS, a depth-supervised semantic 3DGS framework that treats semantic lifting as a supervision-alignment problem and jointly optimizes RGB appearance, rendered depth, and compact semantics from scratch. Specifically, GaussianDS organizes unordered multi-view images into a pose-aware pseudo-video trajectory to propagate view-consistent masks via SAM2. During joint optimization, scale-shift-aligned monocular depth supervision and depth total-variation regularization stabilize Gaussian geometry, while a depth-edge-aware refinement loss explicitly anchors semantic transitions onto physical geometric discontinuities. Extensive evaluations show that our end-to-end framework not only retains high-fidelity 3D reconstruction and real-time rendering, but also establishes superior semantic understanding. GaussianDS sets new state-of-the-art performance on LERF (60.5% mIoU) and 3D-OVS (97.79% mIoU, 90.28% mBIoU) by mitigating semantic leakage, while seamlessly facilitating downstream 3D object removal.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27850v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24850v2cs.CV공통 태그 3D Reconstruction, Depth Estimation, Scene Understanding

Revisiting Multi-View Stereo: A Sequence-to-Sequence Formulation

다중 뷰 이미지로부터 정확한 기하를 계산하는 것은 컴퓨터 비전(CV)의 근본적인 문제이다. 최근 feed-forward(FF) 모델은 3D 기하와 카메라 파라미터를 공동으로 추정하지만, 정답(ground-truth) 카메라 파라미터가 주어져도 재구성 모호성으로 인한 기하 왜곡을 일반적으로 겪는다. 본 논문에서는 알려진 카메라 파라미터를 갖는 다중 뷰 스테레오(MVS) 문제를 연구하고, 기존 MVS와 FF 방법을 잇는 새로운 접근법을 제안한다. MVS를 단일 기준 뷰에 대해서만 깊이를 예측하는 시퀀스-투-원(sequence-to-one) 매핑으로 두는 대신, FF 모델과 유사하게 모든 입력 뷰에 대한 기하를 공동으로 예측하는 시퀀스-투-시퀀스 과제로 재공식화한다. 카메라로 유도된 사전지식(prior)을 명시적으로 활용하는 두 구성 요소를 갖춘 전역 트랜스포머 기반 아키텍처를 도입한다: 카메라 파라미터를 이미지 패치 토큰에 주입하여 트랜스포머를 camera-aware하게 만드는 ray-map 임베딩(embedding), 그리고 기존의 뷰별 cost volume을 대체하여 모든 뷰에 걸쳐 3D 구조를 공동으로 포착하는 통합 전역 cost volume. 여러 공개 벤치마크에 대한 광범위한 실험 결과, 제안 방법은 MVS 및 FF 재구성 기준선을 모두 능가하는 최신(state-of-the-art) 성능을 달성함을 보여준다.

arXiv:2610.01286v1cs.CV공통 태그 3D Reconstruction, Depth Estimation, Scene Understanding

Dyna3: 심도 파운데이션 모델 기반 VLM 유도형 무학습 4D 재구성

Dyna3: VLM-Guided Training-Free 4D Reconstruction via Depth Foundation Models

Depth Anything 3(DA3)와 같은 최신 심도 파운데이션 모델은 뛰어난 다중 뷰 심도 추정을 달성하지만 정적 3D 장면을 가정하므로 실제 동적 환경에 대한 적용 가능성이 제한됩니다. Easi3R 및 VGGT4D와 같은 기존 무학습 4D 기법들은 어텐션이 프레임 간 매칭을 인코딩하는 대응점 학습 기반 백본에 의존하지만, DA3와 같은 심도 전용 모델에는 이러한 특성이 없습니다. 본 논문에서는 미세조정 없이도 4D 동적 장면 재구성을 위해 DA3를 확장하는 무학습 프레임워크인 Dyna3를 제안합니다. 핵심 통찰은 DA3의 교차 뷰 특징이 심도 일관성만을 위해 학습되었음에도 불구하고, 프레임 간 최적 매칭 특징 검색과 결합될 때 모션 구별 신호를 암시적으로 인코딩한다는 점입니다. 정적 표면은 전역적으로 일관된 매칭을 찾는 반면, 동적 객체는 그렇지 못합니다. 나아가 비전-언어 모델(VLM)을 채택하여 SAM 3를 위한 장면별 의미론적 프롬프트를 자동으로 생성함으로써, 존재하는 객체와 움직이는 객체를 구분하는 정밀한 인스턴스 수준 분할을 가능하게 합니다. 재구성을 위해 장면을 프레임 간 정렬된 정적 배경과 프레임별 동적 포인트 클라우드로 분리합니다. 4개 데이터셋에 대한 실험을 통해 Dyna3는 동적 객체 분할에서 최고 성능인 VGGT4D 대비 J-Mean 기준 +5.5%p 향상으로 대응점 학습 기반 방법들을 능가하는 동시에, 4~8배 낮은 메모리로 최대 13배 빠른 포즈 추정과 3배 빠른 4D 재구성을 달성함을 입증합니다. 따라서 Dyna3는 이전 방법들이 지원할 수 없었던 훨씬 더 조밀한 시간적 샘플링을 가능하게 할 수 있습니다.

arXiv:2609.23910v1cs.RO공통 태그 3D Reconstruction, Depth Estimation, Scene Understanding

ReVeal: VLA 정책 평가를 위한 재구성 인식 리얼-투-심 프레임워크

ReVeal: A Reconstruction-Aware Real-to-Sim Framework for VLA Policy Evaluation

시뮬레이션 기반 평가는 비전-언어-행동(VLA) 정책의 실세계 평가에 대한 확장 가능하고 반복 가능한 대안을 제공한다. 그러나 재구성 오류는 시뮬레이션에서의 정책 성능이 실세계 성능과 어긋나게 할 수 있어, 하류 VLA 정책 평가를 위해 재구성된 환경을 평가할 필요가 있다. 우리는 작업 공간 재구성, 재구성 수준 평가, 및 대응되는 폐루프(closed-loop) 정책 평가를 결합한 리얼-투-심 평가 프레임워크 ReVeal을 제안한다. Novel-View Mesh Fidelity(NVMF)와 Annotated Planar Geometry Fidelity(APGF)는 각각 관측 및 평면 기하학적 충실도(fidelity)를 평가한다. 또한 다시점 시각 단서가 제한적인 영역에서 기하를 개선하기 위해 단안 깊이 지도(monocular depth supervision)를 통합한 재구성 파이프라인 PGSR-D를 개발한다. 8개의 평가 장면에 걸쳐 NVMF와 APGF는 2DGS, PGSR, PGSR-D의 충실도를 일관되게 구별한다. 8개의 휴머노이드 조작 과제에 대한 GR00T, SmolVLA, pi0.5의 대응 평가는 파이프라인 전반에 걸쳐 재구성 충실도와 리얼-심 성능 일치 사이에 일관된 순서 관계를 보여준다. 평가 작업 공간에 대한 추가 분석은 더 높은 충실도가 더 강한 리얼-심 일치와 연관됨을 보여준다.

arXiv:2609.23049v1cs.CV공통 태그 3D Reconstruction, Scene Understanding, gaussian splatting

VDGS: 항공 장면 재구성을 위한 가시성 기반 대규모 3D 가우시안 스플래팅

VDGS: Visibility-Driven Large-Scale 3D Gaussian Splatting for Aerial Scene Reconstruction

대규모 장면 재구성은 3D 매핑, 자율주행과 같은 로봇 자율 시스템에서 핵심적인 기반 기술이다. 최근 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)은 시각적 품질과 연산 효율성 모두에서 뛰어난 장점을 보이며, 대규모 장면 재구성을 위한 유망한 표현 방식으로 자리 잡았다. 그러나 대규모 장면에서는 과도한 메모리 소비와 UAV(무인 항공기) 촬영으로 인한 불균일한 시점 커버리지 등의 문제가 여전히 남아 있어 실제 응용을 제한하고 있다. 이를 해결하기 위해, 우리는 카메라 분포를 장면 모델링에 통합한 새로운 3DGS 프레임워크인 VDGS를 제안한다. VDGS는 감독(supervision) 강도를 정량화하기 위해 장면 앵커(anchor)에 대한 가시성 기반 통계를 도입한다. 이 통계는 장면 분할과 최적화가 부족한 영역에 대한 그래디언트 보정에 추가로 활용되어, 서로 다른 영역 간 균형 잡힌 최적화를 촉진한다. 여러 대규모 항공 장면 데이터셋에 대한 광범위한 실험을 통해, VDGS는 불균형한 시점 분포 상황에서 기존 방법들을 일관되게 능가하면서도, 시점 분포가 더 균일한 시나리오에서도 경쟁력 있는 성능을 유지함을 입증하였다.

arXiv:2609.23182v1cs.CV공통 태그 3D Reconstruction, Scene Understanding, gaussian splatting

GrapeSplat: 피드포워드 3D 가우시안 스플래팅을 위한 통합 포즈 불요 인코딩 기반 기하학적 그라운딩 재구성

GrapeSplat: Geometry-Grounded Reconstruction via Amalgamated Pose-Free Encoding for Feed-Forward 3D Gaussian Splatting

피드포워드(feed-forward) 3D 가우시안 스플래팅(3D Gaussian Splatting)은 이제 포즈가 없고 캘리브레이션되지 않은 이미지로부터 렌더링 가능한 장면을 재구성합니다. 그러나 대부분의 모델은 측광 일관성(photometric consistency)만을 지도 학습하고 픽셀 단위로 가우시안을 예측하므로, 전역 구조가 취약해지며 프리미티브 수가 이미지 해상도 및 시점 수에 종속됩니다. 이를 해결하기 위해, GrapeSplat은 다중 시점 단서들을 복셀 정렬 장면 표현으로 통합하고 학습된 그리드로부터 직접 가우시안을 디코딩하여 장면별 최적화(optimization)나 후처리를 필요로 하지 않습니다. Atlas Encoder는 모든 시점을 예측된 3D 포인트에 고정된 픽셀 단위 기하학 및 외형 특징으로 변환합니다. PEACH-Vox는 정확한 닫힌 형태의 역함수(closed-form inverse)를 갖는 매끄러운 축별 매핑을 통해 무한한 장면을 유계된 희소 그리드로 압축-신장(compand)합니다. 이후 Sparse Decoder는 희소 합성곱(sparse convolution)으로 그리드를 통합하고 전체 장면을 점유된 셀당 다수의 가우시안으로 디코딩합니다. 이러한 통합 표현은 희소 복셀 점유를 활용하며, 여기서 가우시안 수는 점유된 셀을 따르고 시점이 장면을 커버함에 따라 포화되는 반면, 그리드 해상도가 그 상한을 설정합니다. GrapeSplat은 단 한 번의 순전파(forward pass)만으로 포즈 없는 이미지들을 렌더링 가능한 가우시안 장면으로 변환합니다. 8개 시점 시퀀스에서 2D 및 3D 지도 학습으로 훈련된 이 모델은 실내 및 무한한 장면에 걸쳐 4개에서 64개 시점까지 제로샷(zero-shot)으로 일반화됩니다. 코드와 학습된 가중치는 https://github.com/VAISR/GrapeSplat 에서 확인할 수 있습니다.

arXiv:2609.23425v1cs.CV공통 태그 3D Reconstruction, Depth Estimation, Scene Understanding

교실 내 CFD 기반 기류 분석을 위한 360도 비디오 기반 실내 형상 반자동 복원

Semi-automated reconstruction of indoor geometry from 360-degree video for CFD-based airflow analysis in classrooms

전산유체역학(CFD)은 재실 건물의 환기 및 오염 물질 이송을 평가하는 데 널리 사용되지만, 값비싼 스캐닝 하드웨어나 수동 CAD 모델링 없이 실내 형상을 획득하는 문제, 장면을 개별적으로 조작 가능한 객체로 분해하는 문제, 그리고 실내를 다시 촬영하지 않고도 대체 레이아웃에 맞춰 해당 객체들을 재구성하는 문제라는 세 가지 병목 현상으로 인해 대규모 배포가 제한됩니다. 본 연구에서는 단일 360도 실내 비디오를 개별 편집 및 시뮬레이션이 가능한 형상 에셋으로 변환하는 반자동 워크플로우를 제시합니다. 뉴럴 래디언스 필드(NeRF)를 사용해 조밀한 포인트 클라우드를 복원하고, 텍스트 프롬프트 기반 SAM 3 세그멘테이션으로 얻은 2D 인스턴스 마스크를 다중 뷰 일관성 및 심도 대역 필터링을 통해 3D로 투영합니다. 포인트들은 옥트리(octree)를 통해 객체 인스턴스로 분리되며, 가려짐으로 인한 결손 영역은 연결성 그래프를 통해 보충됩니다. 의자 템플릿은 ICP(Iterative Closest Point) 정렬을 통해 피팅되고, 테이블 형상은 절차적으로 생성됩니다. 브라우저 기반 에디터는 품질 보증과 대체 레이아웃 구성의 신속한 구축을 지원합니다. 이후 정상 상태 레이놀즈 평균(Reynolds-averaged) OpenFOAM 솔루션이 비정상 수동 스칼라 이송을 구동하며, 해당 설정은 격자 민감도 연구를 통해 검증되고 IEA Annex 20 벤치마크를 바탕으로 유효성이 입증됩니다. 본 워크플로우를 두 곳의 대학교 강의실과 계단식 계단 강의실에 적용했습니다. 캡처에서 형상 생성까지의 과정은 소비자용 워크스테이션에서 실당 2~5시간이 소요됩니다. 한 강의실에서 진행된 제어된 장애물 추가 시퀀스에서 가구가 추가됨에 따라 모델링된 반감 제거 시간(half-clearance time)은 비단조적으로 변하며, 공간 간 비교 결과 제거 특성을 공간 간에 신뢰성 있게 외삽할 수 없음을 보여줌으로써 공간별 형상 획득의 필요성을 입증합니다. 본 워크플로우는 이러한 형상 획득을 저비용으로 가능하게 함으로써 교실과 같은 공간에 대해 형상이 상세히 반영된 비교 환기 연구를 실용적으로 수행할 수 있도록 합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.