Dynamic Depth-Supervised NeRF for Multi-View RGB-D Operating Room Images
원문 초록
The operating room (OR) is an environment of interest for the development of sensing systems, enabling the detection of people, objects, and their semantic relations. Due to frequent occlusions in the OR, these systems often rely on input from multiple cameras. While increasing the number of cameras generally increases algorithm performance, there are hard limitations to the number and locations of cameras in the OR. Neural Radiance Fields (NeRF) can be used to render synthetic views from arbitrary camera positions, virtually enlarging the number of cameras in the dataset. In this work, we explore the use of NeRF for view synthesis of dynamic scenes in the OR, and we show that regularisation with depth supervision from RGB-D sensor data results in higher image quality. We optimise a dynamic depth-supervised NeRF with up to six synchronised cameras that capture the surgical field in five distinct phases before and during a knee replacement surgery. We qualitatively inspect views rendered by a virtual camera that moves 180 degrees around the surgical field at differing time values. Quantitatively, we evaluate view synthesis from an unseen camera position in terms of PSNR, SSIM and LPIPS for the colour channels and in MAE and error percentage for the estimated depth. We find that NeRFs can be used to generate geometrically consistent views, also from interpolated camera positions and at interpolated time intervals. Views are generated from an unseen camera pose with an average PSNR of 18.2 and a depth estimation error of 2.0%. Our results show the potential of a dynamic NeRF for view synthesis in the OR and stress the relevance of depth supervision in a clinical setting.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
교실 내 CFD 기반 기류 분석을 위한 360도 비디오 기반 실내 형상 반자동 복원
Semi-automated reconstruction of indoor geometry from 360-degree video for CFD-based airflow analysis in classrooms
전산유체역학(CFD)은 재실 건물의 환기 및 오염 물질 이송을 평가하는 데 널리 사용되지만, 값비싼 스캐닝 하드웨어나 수동 CAD 모델링 없이 실내 형상을 획득하는 문제, 장면을 개별적으로 조작 가능한 객체로 분해하는 문제, 그리고 실내를 다시 촬영하지 않고도 대체 레이아웃에 맞춰 해당 객체들을 재구성하는 문제라는 세 가지 병목 현상으로 인해 대규모 배포가 제한됩니다. 본 연구에서는 단일 360도 실내 비디오를 개별 편집 및 시뮬레이션이 가능한 형상 에셋으로 변환하는 반자동 워크플로우를 제시합니다. 뉴럴 래디언스 필드(NeRF)를 사용해 조밀한 포인트 클라우드를 복원하고, 텍스트 프롬프트 기반 SAM 3 세그멘테이션으로 얻은 2D 인스턴스 마스크를 다중 뷰 일관성 및 심도 대역 필터링을 통해 3D로 투영합니다. 포인트들은 옥트리(octree)를 통해 객체 인스턴스로 분리되며, 가려짐으로 인한 결손 영역은 연결성 그래프를 통해 보충됩니다. 의자 템플릿은 ICP(Iterative Closest Point) 정렬을 통해 피팅되고, 테이블 형상은 절차적으로 생성됩니다. 브라우저 기반 에디터는 품질 보증과 대체 레이아웃 구성의 신속한 구축을 지원합니다. 이후 정상 상태 레이놀즈 평균(Reynolds-averaged) OpenFOAM 솔루션이 비정상 수동 스칼라 이송을 구동하며, 해당 설정은 격자 민감도 연구를 통해 검증되고 IEA Annex 20 벤치마크를 바탕으로 유효성이 입증됩니다. 본 워크플로우를 두 곳의 대학교 강의실과 계단식 계단 강의실에 적용했습니다. 캡처에서 형상 생성까지의 과정은 소비자용 워크스테이션에서 실당 2~5시간이 소요됩니다. 한 강의실에서 진행된 제어된 장애물 추가 시퀀스에서 가구가 추가됨에 따라 모델링된 반감 제거 시간(half-clearance time)은 비단조적으로 변하며, 공간 간 비교 결과 제거 특성을 공간 간에 신뢰성 있게 외삽할 수 없음을 보여줌으로써 공간별 형상 획득의 필요성을 입증합니다. 본 워크플로우는 이러한 형상 획득을 저비용으로 가능하게 함으로써 교실과 같은 공간에 대해 형상이 상세히 반영된 비교 환기 연구를 실용적으로 수행할 수 있도록 합니다.
PanoImager: 희소 파노라마 뷰로부터의 기하학 유도 신규 뷰 합성 및 재구성
PanoImager: Geometry-Guided Novel View Synthesis and Reconstruction from Sparse Panoramic Views
파노라마 감지는 넓은 시야(field-of-view) 범위를 제공하지만, 회전이 지배적이고 시차(parallax)가 약한 움직임 하에서는 희소 파노라마로부터의 3D 재구성이 여전히 어렵다. 이러한 조건에서는 SfM/SLAM 초기화가 종종 불안정 조건(ill-conditioned)이며 신뢰할 수 없다. 본 논문은 피드포워드(feed-forward) 포즈/깊이 사전(prior), 기하학 조건화(geometry-conditioned) diffusion 뷰 완성(view completion), 깊이 유도(depth-guided) 3DGS 최적화를 결합한 SfM-free 프레임워크인 PanoImager를 제시한다. 소수의 파노라마 이미지만 주어졌을 때 PanoImager는 이를 지역 원근(perspective) 뷰로 분해하고, 희소한 증거를 보강하기 위해 보조 관측을 합성하며, 교차 뷰 일관성 향상을 위해 Gaussian 최적화를 안정화한다. 여러 벤치마크에서의 실험은 극단적 희소성 하에서 개선된 안정성을 보여주며, SfM/SLAM이 초기화에 실패할 때 지도 정제를 위한 오프라인/백그라운드 구성요소로서 PanoImager를 시사한다.
희소 시점 신경 재구성을 위한 신뢰도 인식 단안 깊이 지도학습
Reliability-Aware Monocular Depth Supervision for Sparse-View Neural Reconstruction
희소 시점 신경 재구성은 카메라가 좁은 전방 주행 궤적을 따라 이동하며 다중 시점 중첩이 제한적인 실외 주행 장면에서 특히 어렵다. 단안 깊이 추정기(monocular depth estimator)는 밀집된 기하학적 사전 정보를 제공할 수 있으나, 그 예측값은 노이즈가 많고 이미지 영역에 따라 신뢰도가 균일하지 않다. 본 연구에서는 희소 시점 신경 재구성을 위한 단안 깊이 지도학습을 연구한다. 밀집 단안 깊이 사전 모델로 Depth Anything V2를 사용하고, 스케일-시프트 피팅(scale-shift fitting)을 통해 예측값을 메트릭 깊이에 정렬한 뒤, RGB 전용 기준선 모델에서 생성된 광도 마스크(photometric mask)를 통해 선택적으로 깊이 지도학습을 적용한다. 이 전략을 두 가지 대표적인 장면 표현 방식인 Mip-NeRF-360과 Splatfacto에서 평가한다. every2 희소 시점 설정 하의 KITTISeq02에서, 마스크 기반 단안 깊이 지도학습은 Mip-NeRF-360의 렌더링 성능을 미미하게 향상시키는 데 그치며 메트릭 기하학을 개선하지 못한다. 반면 Splatfacto는 보다 명확한 이점을 얻어 PSNR이 14.903에서 15.932로 향상되고 RMSE가 0.542에서 0.100으로 감소한다. 추가적인 KITTISeq05 실험과 비율 매칭 마스크 제거 실험(ablation)을 통해, Splatfacto의 성능 향상이 단순히 깊이 지도학습 픽셀 수를 줄이는 것이 아니라 신뢰도가 높은 저오차 영역을 선택하는 데서 비롯됨을 추가로 확인한다. Bicycle 장면에 대한 추가 실험은 다중 시점 커버리지가 이미 충분한 경우 깊이 지도학습이 기하학을 개선하면서 RGB 렌더링 품질을 저하시킬 수 있음을 보여준다. 전반적으로, 본 결과는 단안 깊이 사전 정보가 제약이 부족한 희소 시점 재구성에 유용하지만, 선택적이고 적절한 가중치로 적용되어야 함을 시사한다.
3D 기반 모델로 초기화한 고속 3D 가우시안 스플래팅
Fast 3D Foundation Model Initialized Gaussian Splatting
본 논문은 전통적인 Structure-from-Motion(SfM) 없이 고품질 3D 가우시안 스플래팅(3DGS) 재구성을 수행하는 고속 방법을 제안한다. 제안 방식은 카메라 포즈와 포인트 클라우드 초기화에 3D 기반 모델(3DFM)을 활용하고, 깊이 가이드 손실 함수를 사용하여 카메라 포즈와 가우시안 프리미티브를 공동 최적화한다. 이를 통해 50~60장의 입력 뷰만으로도 거친 초기화에서 빠른 수렴이 가능하다. 희소 뷰 시나리오에서 재구성 품질을 더욱 향상시키기 위해, 기반 모델의 깊이 가이드 감독과 함께 MLP 기반 포즈 정제 모듈을 도입한다. Mip-NeRF 360, Tanks and Temples, RobustNeRF에 대한 광범위한 실험을 통해 제안 방법이 장면당 약 3분의 학습 시간으로 경쟁력 있는 재구성 품질(PSNR 23.61 dB, LPIPS 0.19)을 달성함을 입증한다. 제안 방법은 기존 파이프라인에 비해 훨씬 짧은 시간 안에 바로 사용 가능한 3DGS 모델을 생성하여, 로보틱스, VR, 자율 주행과 같은 근실시간 응용에 적합하다.
법선 사전 정보를 활용한 고신뢰도 깊이 전파 기반 가우시안 스플래팅을 이용한 희소 뷰 표면 복원
Sparse-View Surface Reconstruction using Gaussian Splatting through High-Confidence Depth Propagation with Normal Priors
희소 뷰에서의 3D 복원은 3D 컴퓨터 비전(CV)에서 어려운 과제입니다. 3D 가우시안 스플래팅(3DGS)에 관한 최근 연구들은 희소 뷰 신규 뷰 합성에서 뛰어난 성과를 거두었으나, 제한된 기하학적 단서와 가우시안의 이산성으로 인해 희소 뷰에서 고품질 기하학적 표면을 복원하는 것은 여전히 난제로 남아 있습니다. 본 논문에서는 희소 뷰로부터 고충실도 표면 복원을 위한 새로운 3DGS 기반 방법을 제안합니다. 핵심 아이디어는 법선 기반 깊이 전파 접근법을 도입하는 것으로, 이를 통해 고신뢰도 영역의 깊이 정보를 저신뢰도 영역의 깊이 추정에 제약 조건으로 확장할 수 있습니다. 또한 가우시안의 이산성으로 인한 깊이 불연속 문제를 해결하기 위해 비정상 깊이 에지 인식 정규화(regularization)를 제안합니다. DTU 및 Tanks-and-Temples 데이터셋에 대한 광범위한 실험을 통해 본 방법이 희소 뷰 표면 복원에서 최신 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://hanl2010.github.io/DP-GS.
GADA: 이미지 기반 가우시안 스플래팅을 위한 기하학 인식 변형 집계
GADA: Geometry-Aware Deformable Aggregation for Image-Based Gaussian Splatting
가우시안 스플래팅(Gaussian Splatting)은 워핑(warping) 기반 기법을 도입함으로써 상당한 성능 향상을 이루었다. 그러나 이러한 방법들은 불확실한 기하학으로 인해 픽셀 수준의 부정확성 문제를 겪는다. 이 불확실성은 워핑된 이미지에서 공간적 불일치를 유발하며, 워핑 기반 방법에서 사용되는 잔차 학습(residual learning)을 방해하고 특히 얇은 구조물과 고주파 세부 정보에서 보정 효과를 근본적으로 제한한다. 유용한 시각적 단서가 손실되는 것이 아니라 약간의 변위 하에서 국소적으로 보존된다는 통찰을 바탕으로, 우리는 기하학 인식 변형 집계(GADA, Geometry-Aware Deformable Aggregation)를 제안한다. 이 방법은 변형 가능한 오프셋(deformable offsets)을 활용하는 반복적 정제 모듈을 도입하여 공간적 불일치를 능동적으로 보정하고 변위된 단서를 복원한다. 나아가, 가시성 검사(즉, 임계값 처리)가 유효한 픽셀을 자주 폐기하고 다중 시점 워핑 이미지 융합이 단순 평균 집계에 의존하는 표준 파이프라인의 한계를 해결하기 위해, 우리의 모듈은 신뢰할 수 없는 증거를 선택적으로 억제하는 암묵적 신뢰도 가중 메커니즘과 결합된다. 결과적으로, 우리의 접근법은 기존의 워핑 기반 가우시안 스플래팅을 능가하며, 고주파 품질을 유지하면서 2.13배 빠른 FPS를 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.