원문 초록
Recent advances in 3D scene editing have leveraged iterative diffusion models to update input views. However, this process is computationally expensive and struggles to produce sharp details. Meanwhile, ``hallucination drift'' frequently introduces multi-view inconsistencies, leading to structural artifacts when rendering novel viewpoints. To address this problem, we present 3D-GIMP (3D Gaussian Inpainting Meets Patch Matching), a novel hybrid paradigm designed for high-fidelity object removal in 3D Gaussian Splatting. Instead of diffusing every view, 3D-GIMP performs a single generative inpainting on a key reference view, which serves as an appearance prior. We then introduce a 3D-aware PatchMatch algorithm to propagate these reference textures across all remaining views via correspondence matching, effectively bypassing the stochastic nature of frame-by-frame diffusion. By prioritizing reconstructive consistency over iterative generation, 3D-GIMP maintains high-frequency details across arbitrary resolutions while ensuring a mathematically consistent 3D reconstruction. Our experiments demonstrate that 3D-GIMP not only achieves competitive inpainting quality as previous methods using diffusion in multiple views, but also outperforms these methods in rendering speed and view consistency.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.20789v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GaussianDS: 장면 이해를 위한 깊이 지도 의미 Gaussian Splatting
GaussianDS: Depth-supervised Semantic Gaussian Splatting for Scene Understanding
3D Gaussian Splatting(3DGS)은 3D 재구성을 위한 효율적인 표현을 제공하며, 최근 확장은 개방 어휘(open-vocabulary) 장면 이해를 위해 가우시안에 의미 속성을 부착한다. 그러나 시점 의존적 2D foundation model 출력을 3D 공간으로 끌어올리면(lifting) 뷰 간 불일치와 약한 기하학적 그라운딩이 생겨 심각한 의미 표류(semantic drift)와 경계 누출(boundary leakage)이 발생한다. 본 논문은 의미 lifting을 지도 정렬(supervision-alignment) 문제로 다루고 RGB 외관, 렌더링 깊이, 압축된 의미를 처음부터 공동 최적화하는 깊이 지도 의미 3DGS 프레임워크 GaussianDS를 제안한다. 구체적으로 GaussianDS는 순서 없는 다중 뷰 이미지를 포즈 인식(pose-aware) 의사 비디오 궤적으로 구성하여 SAM2로 뷰 일관 마스크를 전파한다. 공동 최적화 동안 scale-shift 정렬 단안 깊이 지도와 깊이 전체 변분(total-variation) 정규화가 가우시안 기하를 안정화하고, 깊이 경계 인식 정제 손실이 의미 전이를 물리적 기하 불연속면에 명시적으로 고정한다. 광범위한 평가에서 본 end-to-end 프레임워크는 고충실도 3D 재구성과 실시간 렌더링을 유지할 뿐 아니라 우수한 의미 이해를 달성함을 보인다. GaussianDS는 의미 누출을 완화하면서 LERF에서 60.5% mIoU, 3D-OVS에서 97.79% mIoU 및 90.28% mBIoU로 새로운 최고(state-of-the-art) 성능을 기록하며, 하류 3D 객체 제거를 원활히 지원한다.
VDGS: 항공 장면 재구성을 위한 가시성 기반 대규모 3D 가우시안 스플래팅
VDGS: Visibility-Driven Large-Scale 3D Gaussian Splatting for Aerial Scene Reconstruction
대규모 장면 재구성은 3D 매핑, 자율주행과 같은 로봇 자율 시스템에서 핵심적인 기반 기술이다. 최근 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)은 시각적 품질과 연산 효율성 모두에서 뛰어난 장점을 보이며, 대규모 장면 재구성을 위한 유망한 표현 방식으로 자리 잡았다. 그러나 대규모 장면에서는 과도한 메모리 소비와 UAV(무인 항공기) 촬영으로 인한 불균일한 시점 커버리지 등의 문제가 여전히 남아 있어 실제 응용을 제한하고 있다. 이를 해결하기 위해, 우리는 카메라 분포를 장면 모델링에 통합한 새로운 3DGS 프레임워크인 VDGS를 제안한다. VDGS는 감독(supervision) 강도를 정량화하기 위해 장면 앵커(anchor)에 대한 가시성 기반 통계를 도입한다. 이 통계는 장면 분할과 최적화가 부족한 영역에 대한 그래디언트 보정에 추가로 활용되어, 서로 다른 영역 간 균형 잡힌 최적화를 촉진한다. 여러 대규모 항공 장면 데이터셋에 대한 광범위한 실험을 통해, VDGS는 불균형한 시점 분포 상황에서 기존 방법들을 일관되게 능가하면서도, 시점 분포가 더 균일한 시나리오에서도 경쟁력 있는 성능을 유지함을 입증하였다.
GrapeSplat: 피드포워드 3D 가우시안 스플래팅을 위한 통합 포즈 불요 인코딩 기반 기하학적 그라운딩 재구성
GrapeSplat: Geometry-Grounded Reconstruction via Amalgamated Pose-Free Encoding for Feed-Forward 3D Gaussian Splatting
피드포워드(feed-forward) 3D 가우시안 스플래팅(3D Gaussian Splatting)은 이제 포즈가 없고 캘리브레이션되지 않은 이미지로부터 렌더링 가능한 장면을 재구성합니다. 그러나 대부분의 모델은 측광 일관성(photometric consistency)만을 지도 학습하고 픽셀 단위로 가우시안을 예측하므로, 전역 구조가 취약해지며 프리미티브 수가 이미지 해상도 및 시점 수에 종속됩니다. 이를 해결하기 위해, GrapeSplat은 다중 시점 단서들을 복셀 정렬 장면 표현으로 통합하고 학습된 그리드로부터 직접 가우시안을 디코딩하여 장면별 최적화(optimization)나 후처리를 필요로 하지 않습니다. Atlas Encoder는 모든 시점을 예측된 3D 포인트에 고정된 픽셀 단위 기하학 및 외형 특징으로 변환합니다. PEACH-Vox는 정확한 닫힌 형태의 역함수(closed-form inverse)를 갖는 매끄러운 축별 매핑을 통해 무한한 장면을 유계된 희소 그리드로 압축-신장(compand)합니다. 이후 Sparse Decoder는 희소 합성곱(sparse convolution)으로 그리드를 통합하고 전체 장면을 점유된 셀당 다수의 가우시안으로 디코딩합니다. 이러한 통합 표현은 희소 복셀 점유를 활용하며, 여기서 가우시안 수는 점유된 셀을 따르고 시점이 장면을 커버함에 따라 포화되는 반면, 그리드 해상도가 그 상한을 설정합니다. GrapeSplat은 단 한 번의 순전파(forward pass)만으로 포즈 없는 이미지들을 렌더링 가능한 가우시안 장면으로 변환합니다. 8개 시점 시퀀스에서 2D 및 3D 지도 학습으로 훈련된 이 모델은 실내 및 무한한 장면에 걸쳐 4개에서 64개 시점까지 제로샷(zero-shot)으로 일반화됩니다. 코드와 학습된 가중치는 https://github.com/VAISR/GrapeSplat 에서 확인할 수 있습니다.
동적 열화상 가우시안: 멀티모달 4D 가우시안 스플래팅
Dynamic Thermal Gaussians: Multimodal 4D Gaussian Splatting
열화상(thermography)은 군사 및 보다 폭넓은 열 분석(thermal analysis) 응용 분야에서 중요한 역할을 한다. 최근 3D 열 재구성(3D thermal reconstruction) 분야의 발전으로 온도 분석이 2D에서 3D 공간으로 확장되었지만, 기존 연구 대부분은 정적인 온도 분포를 가정하여 실제 환경에서 발생하는 열 전달의 시간적 동역학을 간과하고 있다. 이러한 한계를 해결하기 위해, 우리는 복잡한 장면을 위한 최초의 동적 RGB-열화상(RGB-Thermal) 재구성 프레임워크를 제안한다. 우리의 방법은 RGB 외형(appearance), 열화상 관측값, 그리고 장면 기하 구조(geometry)가 시간에 따라 변화하는 양상을 공동으로 모델링한다. 구체적으로, 우리는 색상(color)과 열화상 모달리티(modality)를 공유된 기하학적 기반(shared geometric substrate)에 고정하여 시공간적 변형(spatiotemporal deformation) 하에서도 두 모달리티 간 일관성을 보장하는 멀티모달 동적 장면 표현(multimodal dynamic scene representation)을 도입한다. 또한 각 모달리티의 움직임 표현력(motion expressiveness)을 향상시키기 위해 멀티모달 임베딩(multimodal embedding)을 설계하고, 기하학적 백본(geometric backbone)으로서 통합된 공유 멀티모달 가우시안(multimodal Gaussian) 집합을 유지하면서도 각 개별 모달리티의 디테일이 풍부한 영역에서 표현 능력을 강화하기 위해 모달리티별 가우시안을 적응적으로 생성하는 멀티모달 라우팅 메커니즘(multimodal routing mechanism)을 제안한다. 이에 더해, 4D 재구성 평가를 용이하게 하기 위해 고빈도 온도 변화를 특징으로 하는 새로운 벤치마크 데이터셋을 제공한다. 광범위한 실험을 통해 우리의 방법이 외형과 온도 모두에 대해 높은 충실도의 시공간적 재구성을 달성함을 입증한다. 코드와 데이터셋은 https://github.com/LinLif1869/DTG 에서 확인할 수 있다.
고�급 거리 수준 영상을 활용한 시각적 위치 추정의 정확도 잠재력
Accuracy potential of visual localization exploiting high-end street-level imagery
Revisiting Multi-View Stereo: A Sequence-to-Sequence Formulation
다중 뷰 이미지로부터 정확한 기하를 계산하는 것은 컴퓨터 비전(CV)의 근본적인 문제이다. 최근 feed-forward(FF) 모델은 3D 기하와 카메라 파라미터를 공동으로 추정하지만, 정답(ground-truth) 카메라 파라미터가 주어져도 재구성 모호성으로 인한 기하 왜곡을 일반적으로 겪는다. 본 논문에서는 알려진 카메라 파라미터를 갖는 다중 뷰 스테레오(MVS) 문제를 연구하고, 기존 MVS와 FF 방법을 잇는 새로운 접근법을 제안한다. MVS를 단일 기준 뷰에 대해서만 깊이를 예측하는 시퀀스-투-원(sequence-to-one) 매핑으로 두는 대신, FF 모델과 유사하게 모든 입력 뷰에 대한 기하를 공동으로 예측하는 시퀀스-투-시퀀스 과제로 재공식화한다. 카메라로 유도된 사전지식(prior)을 명시적으로 활용하는 두 구성 요소를 갖춘 전역 트랜스포머 기반 아키텍처를 도입한다: 카메라 파라미터를 이미지 패치 토큰에 주입하여 트랜스포머를 camera-aware하게 만드는 ray-map 임베딩(embedding), 그리고 기존의 뷰별 cost volume을 대체하여 모든 뷰에 걸쳐 3D 구조를 공동으로 포착하는 통합 전역 cost volume. 여러 공개 벤치마크에 대한 광범위한 실험 결과, 제안 방법은 MVS 및 FF 재구성 기준선을 모두 능가하는 최신(state-of-the-art) 성능을 달성함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.