arXiv:2401.10709

Dense 3D Reconstruction Through Lidar: A Comparative Study on Ex-vivo Porcine Tissue

Guido Caccianiga, Julian Nubert, Marco Hutter, Katherine J. Kuchenbecker

제출 2024-01-19

원문 초록

New sensing technologies and more advanced processing algorithms are transforming computer-integrated surgery. While researchers are actively investigating depth sensing and 3D reconstruction for vision-based surgical assistance, it remains difficult to achieve real-time, accurate, and robust 3D representations of the abdominal cavity for minimally invasive surgery. Thus, this work uses quantitative testing on fresh ex-vivo porcine tissue to thoroughly characterize the quality with which a 3D laser-based time-of-flight sensor (lidar) can perform anatomical surface reconstruction. Ground-truth surface shapes are captured with a commercial laser scanner, and the resulting signed error fields are analyzed using rigorous statistical tools. When compared to modern learning-based stereo matching from endoscopic images, time-of-flight sensing demonstrates higher precision, lower processing delay, higher frame rate, and superior robustness against sensor distance and poor illumination. Furthermore, we report on the potential negative effect of near-infrared light penetration on the accuracy of lidar measurements across different tissue samples, identifying a significant measured depth offset for muscle in contrast to fat and liver. Our findings highlight the potential of lidar for intraoperative 3D perception and point toward new methods that combine complementary time-of-flight and spectral imaging.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.04203v2cs.CV공통 태그 3D Reconstruction, Stereo Matching, Surface Reconstruction

Sparse-GS2Mesh: 희소 시점 표면 재구성을 위한 새로운 스테레오 시점 및 2DGS 기반 3D 가우시안 스플래팅

Sparse-GS2Mesh: 3D Gaussian Splatting Guided by Novel Stereo Views and 2DGS for Sparse View Surface Reconstruction

희소 시점(sparse-view) 환경에서의 표면 재구성(surface reconstruction)은 제한적인 기하학적 단서로 인해 여전히 어려운 과제로 남아 있습니다. 부호화 거리 함수(SDF) 기반의 볼륨 렌더링 방식은 지나치게 매끄러운 표면을 생성하는 경향이 있는 반면, 3D 가우시안 스플래팅(3DGS)은 시간 효율적이지만 신뢰할 수 있는 깊이 감독(depth supervision)의 부재와 주어진 입력 시점에서만 최적화된다는 한계로 인해 불완전한 기하학적 구조를 갖는 문제가 있습니다. 본 논문에서는 희소 시점으로부터의 표면 재구성을 위한 스테레오 인식 프레임워크인 Sparse-GS2Mesh를 제안합니다. 3DGS와 스테레오 매칭은 밀집 시점 환경에서 표면 재구성에 활용되어 왔으나, 본 연구에서는 3DGS의 과적합(overfitting) 문제를 완화하기 위해 에피폴라 깊이 사전확률(epipolar depth priors)을 사용해 3DGS를 먼저 초기화한 후 세 가지 핵심 요소를 적용함으로써 희소 시점 조건에서도 효과적으로 작동하도록 확장합니다: (I) 적응형 기준선(baseline) 선택, (II) 스테레오 매칭 네트워크를 활용한 미세조정(fine-tuning), 그리고 (III) 2D/3D 공동 정규화(regularization) 미세조정입니다. 에피폴라 깊이로 초기화되어 웜업된 3DGS가 주어지면, 적응형 기준선 선택 모듈은 각 희소 시점에 대해 합성할 기준선을 자동으로 결정합니다. 그런 다음 스테레오 매칭 네트워크로부터 깊이 정제 그래디언트를 역전파하여 3DGS를 미세조정함으로써, 스테레오 매칭에 특화되도록 3DGS를 효과적으로 조정합니다. 2D/3D 공동 정규화는 가까운 스테레오 시점에서의 취약한 기하학적 단서 문제를 해결하여 안정적인 재구성을 얻을 수 있도록 돕습니다. Sparse-GS2Mesh는 중첩이 거의 없는 설정에서 최고 수준(SOTA)의 방법들 대비 15%의 성능 향상을 달성하며, 중첩이 큰 설정에서도 대등한 결과를 보여줍니다. 코드는 공개될 예정입니다.

arXiv:2610.11011v1cs.CV공통 태그 3D Reconstruction, Surface Reconstruction

PCAsplat: 국소 PCA 정규화를 적용한 가우시안 스플래팅

PCAsplat: Gaussian Splatting with Local PCA Regularization

가우시안 스플래팅(Gaussian splatting)은 포즈가 지정된 이미지로부터 3D 재구성(3D reconstruction)을 수행하기 위한 유연한 표현 방식으로 부상했습니다. 그러나 기존 방법들은 주로 래스터화 기반 손실을 사용하여 최적화되므로, 샘플링된 카메라 광선에 기여할 때만 스플랫을 지도(supervise)합니다. 따라서 가려지거나 샘플링된 시점에 거의 기여하지 않는 가우시안은 기하학적 그래디언트를 약하게 받거나 전혀 받지 못해 기저 표면에서 벗어나 표류하면서 원치 않는 부유물(floater)을 생성할 수 있습니다. 본 연구에서는 미분 가능한 국소 주성분 분석(PCA)에 기반한 가우시안 스플래팅용 기하학 인지 정규화 프레임워크인 PCAsplat을 제안합니다. 제안하는 PCA 정규화기는 가우시안 중심의 이웃에 직접 작용하므로 현재 학습 뷰에 기여하지 않는 가우시안도 업데이트할 수 있습니다. 또한 PCA 고윳값을 정규화하여 가우시안이 등방성 접평면 커버리지를 가지며 기저 표면으로 이동하도록 유도합니다. 아울러 각 가우시안 법선을 PCA로 추정한 이웃 법선과 정렬하여 일관된 방향성을 강제합니다. DTU, Tanks and Temples, NeRF Synthetic 데이터셋에 대한 실험 결과, PCAsplat으로 생성된 스플랫은 원치 않는 부유물을 대폭 줄이면서도 참조 표면의 샘플을 더 잘 근사함을 보여줍니다. 이렇게 표면에 정렬된 스플랫은 포인트 클라우드 분할(segmentation) 및 직접 포아송 재구성을 포함한 다운스트림 기하학 처리 작업을 가능하게 합니다. 또한 PCAsplat은 기존의 신규 시점 합성(novel view synthesis) 및 메시 추출 작업에서도 경쟁력을 유지합니다. 코드는 공개될 예정입니다.

arXiv:2610.03308v1cs.CV공통 태그 3D Reconstruction, Surface Reconstruction

T3lescope: 이미지로부터 임의 해상도의 고충실도 생성형 표면 재구성

T3lescope: Arbitrary-Resolution High-Fidelity Generative Surface Reconstruction from Images

본 논문에서는 단일 객체부터 대규모 야외 장면에 이르는 다양한 규모에서, 장면별 최적화(per-scene optimization) 없이 자세가 추정된 다중 시점(posed multi-view) 이미지로부터 고충실도 3D 장면 메시를 재구성합니다. 장면별 최적화 방식은 관측이 희소하거나 표면이 번쩍이거나(glossy) 투명할 때 필요한 학습된 3D 사전 분포(prior)가 부족합니다. 기존 생성형 방식들은 이러한 사전 분포를 활용하여 희소하게 관측된 영역의 형상을 완성하지만, 일반적으로 제한된 공간 범위에 걸쳐 고정된 해상도로 동작하므로 공간적 커버리지와 디테일 사이에 상충 관계(trade-off)가 발생합니다. 따라서 대규모 장면을 재구성하려면 독립적으로 처리되는 중첩된 국소 영역들로 분할해야 하는 경우가 많아, 전역적 기하학적 일관성을 유지하기 어렵습니다. 이러한 문제를 해결하기 위해, 추론(inference) 시점에 coarse-to-fine 캐스케이드 형태로 장면 스케일에 걸쳐 단일 고정 해상도 생성기를 적용하는 T3lescope를 제안합니다. coarse 단계에서 장면 배치를 설정하고, finer 단계에서는 표면 디테일을 복원하기 위해 점진적으로 더 미세해지는 공간 셀 내에서 coarser 단계로부터 물려받은 형상을 섭동(perturb) 및 디노이징합니다. 이 모델(model)은 여러 스케일의 개별 셀에서 학습(training)되며 모든 레벨에서 가중치를 공유하므로 학습 중에는 어떠한 계층 구조도 고정되지 않으며, 레벨 수, 셀 스케일, 셀 위치는 추론 시점에 결정됩니다. 실내, 야외, 도시 규모 장면에 걸쳐 T3lescope는 피드포워드 및 생성형 베이스라인보다 우수한 성능을 보이며, 장면별 최적화 방식과 대등하거나 능가하고, 번쩍이거나 투명한 표면뿐만 아니라 미세한 구조까지 복원합니다. 이러한 결과는 제안하는 방법이 다양한 장면, 시점 수, 이미지 해상도 전반에 걸쳐 일반화됨을 보여줍니다. 프로젝트 페이지: https://pfnet-research.github.io/t3lescope/

arXiv:2610.01707v1cs.CV공통 태그 3D Reconstruction, Surface Reconstruction

MEGA: 공간 시각 증류를 통한 3D 가우시안 스플래팅 기반 객체 수준 메시 추출

MEGA: Object-Level Mesh Extraction from 3D Gaussian Splatting via Spatial Visual Distillation

3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS) 기반의 메시 추출은 3D 가우시안에 정확한 기하학적 구조를 부여하여 명시적이고 정밀한 3D 점유 공간(occupancy)을 표현하는 것을 목표로 합니다. 그러나 기존 방법들은 주로 장면 수준의 메시 추출에 집중되어 있어 객체 수준의 점유 공간을 표현하지 못하며, 종종 닫히지 않은(non-watertight) 표면을 생성합니다. 이러한 한계를 극복하기 위해, 본 논문에서는 복잡한 3DGS 장면에서 객체 수준의 닫힌(watertight) 메시를 추출하는 '분할 후 메시 생성(segment-then-mesh)' 프레임워크인 MEGA(Mesh Extraction from GAussians)를 제안합니다. MEGA의 핵심은 공간 시각 증류(Spatial Visual Distillation, SVD)와 마스크 기반 신경망 표면 재구성 모듈입니다. SVD는 3DGS 모델을 교사(teacher)로 취급하여 다양한 카메라 포즈를 샘플링하고 분할된 각 객체의 해당 뷰를 렌더링합니다. 이후 이러한 관측 결과는 광도적 감독(photometric supervision)을 통해 메시 재구성 모델을 학습하는 데 사용됩니다. 널리 사용되는 여러 벤치마크에 대한 광범위한 실험을 통해 MEGA가 정확한 객체 수준 3D 점유 공간 복원에서 최고 수준의 성능을 달성함을 입증합니다. 나아가 MEGA는 기하학적 점유 공간을 위한 고품질 객체 수준 메시와 사실적인 렌더링을 위한 3DGS 표현을 결합함으로써 복잡한 물리적 상호작용을 가능하게 합니다.

arXiv:2609.27442v1cs.CV공통 태그 3D Reconstruction, Stereo Matching

SatUnreal: Unreal Engine 기반 위성 스테레오 매칭을 위한 고정밀 합성 데이터셋

SatUnreal: A High-Precision Synthetic Dataset for Satellite Stereo Matching via Unreal Engine

위성 영상을 이용한 3D 재구성은 대규모 지형 분석에 필수적이지만, 정확한 가림(occlusion) 라벨을 갖춘 고충실도 학습 데이터셋이 부족한 것이 여전히 주요 병목이다. US3D, WHU-Stereo 같은 기존 벤치마크는 시공간 불일치—다시점 촬영 사이의 환경 변화와 그림자 위치 변화—라는 근본적 난제에 직면하며, LiDAR 희소성 때문에 가려진 영역에서 모호한 그라운드 트루스(ground truth)를 제공한다. 본 논문에서는 Unreal Engine 기반 시뮬레이션 파이프라인으로 이러한 한계를 근본적으로 극복하도록 설계된 고정밀 합성 데이터셋 SatUnreal을 제안한다. SatUnreal은 고해상도(0.3m GSD) 스테레오 쌍 10,000쌍을 제공하며, (1) 물리 기하 시뮬레이션(Physical Geometry Simulation)—기선(baseline)과 방위각(azimuth)을 체계적으로 변화시켜 현실적인 위성 궤도를 재현, (2) 시공간 일관성(Spatio-temporal Consistency)—고정 가상 환경으로 시간적 노이즈 제거, (3) 지형 다양성(Topographic Diversity)—밀집 도심 협곡부터 저텍스처 자연 지형까지, (4) 수학적 라벨 무결성(Mathematical Label Integrity)—새로운 2단계 linetrace 알고리즘으로 결함 없는 가림 마스크 생성—의 특징을 갖는다. SOTA 반복(iterative) 모델을 사용한 실험 결과, SatUnreal만으로 학습한 모델이 실데이터셋으로 학습한 모델보다 실세계 벤치마크(US3D, WHU-Stereo)에서 더 우수한 제로샷(zero-shot) 전이 성능을 보였다. 우리 결과는 물리적으로 정확한 합성 데이터가 복잡한 실세계 관측보다 기하학적 특징 학습에 더 효과적인 지도 신호를 제공함을 보여 주며, 지구 관측(Earth Observation)에서 Sim-to-Real 전이의 새로운 패러다임을 제시한다. 코드와 데이터셋은 https://github.com/jmp-Telepix/SatUnreal_A_High-Precision_Synthetic_Dataset_for_Satellite_Stereo_Matching_via_UnrealEngine 에서 이용할 수 있다.

arXiv:2607.24024v1cs.CV공통 태그 3D Reconstruction, Stereo Matching

시차 및 표면 법선을 위한 통합 스테레오 기하 추정 프레임워크

A Unified Stereo Geometry Estimation Framework for Disparity and Surface Normal

스테레오 매칭과 표면 법선 추정은 3D 비전에서 기본적인 과제이다. 그러나 기존 피드포워드(feed-forward) 스테레오 방법은 강력한 기하 사전(prior)의 부족으로 인해 어려운 영역에서 신뢰할 수 있는 예측을 생성하는 데 여전히 어려움을 겪는다. 본 논문에서는 강력한 diffusion 사전을 활용하여 시차와 표면 법선을 공동으로 예측하는 통합 스테레오 기하 추정 프레임워크인 GeoStereo를 제안한다. 구체적으로, GeoStereo는 피드포워드 스테레오 매칭 파이프라인과 diffusion 기반 법선 추정 분기(branch)를 결합한다. 두 과제 간 효과적인 상호작용을 가능하게 하기 위해, 시차에서 법선으로의 초기화 전략을 도입하고 diffusion 과정을 위한 왼쪽 뷰(left-view) 조건으로의 warp를 구성한다. 이 결합 설계는 diffusion 분기가 ill-posed 영역에서 시차 추정을 향상시키는 강력한 구조적 사전을 제공하는 동시에, 피드포워드 분기가 정확한 법선 예측을 위한 신뢰할 수 있는 기하적 안내를 제공하도록 한다. 광범위한 실험 결과, GeoStereo는 저조도 환경, 고반사 표면, 투명 물체 등 어려운 시나리오에서도 안정적으로 동작함을 보여준다. 제로샷(zero-shot) 설정에서 KITTI, NYUv2 등 여러 벤치마크에서 시차 추정 Rank-1을 달성하며, iBims-1, ScanNet 등 다수의 실내 벤치마크에서 최고의 법선 추정 정확도를 제공한다. Project page: https://qz-wei.github.io/GeoStereo.github.io/

토론

이 논문과 연결된 포럼 글이 아직 없습니다.