arXiv:1708.01234

Real-time Geometry-Aware Augmented Reality in Minimally Invasive Surgery

Long Chen, Wen Tang, Nigel W. John

제출 2017-08-03

원문 초록

The potential of Augmented Reality (AR) technology to assist minimally invasive surgeries (MIS) lies in its computational performance and accuracy in dealing with challenging MIS scenes. Even with the latest hardware and software technologies, achieving both real-time and accurate augmented information overlay in MIS is still a formidable task. In this paper, we present a novel real-time AR framework for MIS that achieves interactive geometric aware augmented reality in endoscopic surgery with stereo views. Our framework tracks the movement of the endoscopic camera and simultaneously reconstructs a dense geometric mesh of the MIS scene. The movement of the camera is predicted by minimising the re-projection error to achieve a fast tracking performance, while the 3D mesh is incrementally built by a dense zero mean normalised cross correlation stereo matching method to improve the accuracy of the surface reconstruction. Our proposed system does not require any prior template or pre-operative scan and can infer the geometric information intra-operatively in real-time. With the geometric information available, our proposed AR framework is able to interactively add annotations, localisation of tumours and vessels, and measurement labelling with greater precision and accuracy compared with the state of the art approaches.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.04203v2cs.CV공통 태그 Stereo Matching, Surface Reconstruction

Sparse-GS2Mesh: 희소 시점 표면 재구성을 위한 새로운 스테레오 시점 및 2DGS 기반 3D 가우시안 스플래팅

Sparse-GS2Mesh: 3D Gaussian Splatting Guided by Novel Stereo Views and 2DGS for Sparse View Surface Reconstruction

희소 시점(sparse-view) 환경에서의 표면 재구성(surface reconstruction)은 제한적인 기하학적 단서로 인해 여전히 어려운 과제로 남아 있습니다. 부호화 거리 함수(SDF) 기반의 볼륨 렌더링 방식은 지나치게 매끄러운 표면을 생성하는 경향이 있는 반면, 3D 가우시안 스플래팅(3DGS)은 시간 효율적이지만 신뢰할 수 있는 깊이 감독(depth supervision)의 부재와 주어진 입력 시점에서만 최적화된다는 한계로 인해 불완전한 기하학적 구조를 갖는 문제가 있습니다. 본 논문에서는 희소 시점으로부터의 표면 재구성을 위한 스테레오 인식 프레임워크인 Sparse-GS2Mesh를 제안합니다. 3DGS와 스테레오 매칭은 밀집 시점 환경에서 표면 재구성에 활용되어 왔으나, 본 연구에서는 3DGS의 과적합(overfitting) 문제를 완화하기 위해 에피폴라 깊이 사전확률(epipolar depth priors)을 사용해 3DGS를 먼저 초기화한 후 세 가지 핵심 요소를 적용함으로써 희소 시점 조건에서도 효과적으로 작동하도록 확장합니다: (I) 적응형 기준선(baseline) 선택, (II) 스테레오 매칭 네트워크를 활용한 미세조정(fine-tuning), 그리고 (III) 2D/3D 공동 정규화(regularization) 미세조정입니다. 에피폴라 깊이로 초기화되어 웜업된 3DGS가 주어지면, 적응형 기준선 선택 모듈은 각 희소 시점에 대해 합성할 기준선을 자동으로 결정합니다. 그런 다음 스테레오 매칭 네트워크로부터 깊이 정제 그래디언트를 역전파하여 3DGS를 미세조정함으로써, 스테레오 매칭에 특화되도록 3DGS를 효과적으로 조정합니다. 2D/3D 공동 정규화는 가까운 스테레오 시점에서의 취약한 기하학적 단서 문제를 해결하여 안정적인 재구성을 얻을 수 있도록 돕습니다. Sparse-GS2Mesh는 중첩이 거의 없는 설정에서 최고 수준(SOTA)의 방법들 대비 15%의 성능 향상을 달성하며, 중첩이 큰 설정에서도 대등한 결과를 보여줍니다. 코드는 공개될 예정입니다.

arXiv:2411.15723v4cs.CV공통 태그 Surface Reconstruction공식 코드 · Papers with Code

GSurf: 고품질 3D 재구성을 위한 불투명 가우시안 스플래팅으로부터 부호 거리 필드 학습

GSurf: Learning Signed Distance Fields from Splatting Opaque Gaussians for High-quality 3D Reconstruction

다중 시점 이미지로부터의 고충실도 표면 재구성은 3D 컴퓨터 비전의 핵심 문제이다. SDF와 같은 신경 암시적 표면(neural implicit surface)은 부드러운 기하 구조를 제공하지만, 볼륨 렌더링의 높은 연산 비용이 병목으로 작용한다. 반면 3D 가우시안 스플래팅(3DGS)은 빠른 학습을 제공하지만 기하 연속성이 부족하여 종종 분절된 표면을 야기한다. 본 논문은 부호 거리 필드(Signed Distance Field, SDF)를 스플래팅 파이프라인에 직접 통합하는 새로운 프레임워크를 제안한다. SDF의 연속적 특성을 활용하여 가우시안 프리미티브를 정규화함으로써, 본 방법은 희소 포인트 클라우드에 내재된 기하학적 구멍을 효과적으로 채우고 노이즈를 억제한다. 무거운 볼륨 샘플링에 의존하는 하이브리드 방식과 달리, 본 접근법은 스플래팅의 효율성을 활용하여 더 빠른 수렴을 달성한다. 광범위한 평가를 통해 본 방법이 상당히 적은 수의 프리미티브로 고품질 표면을 생성하며, 실내외 환경 모두에 대해 더 간결하고 효율적인 표현을 제공함을 입증한다.

arXiv:2411.17392v3cs.CV공통 태그 Surface Reconstruction공식 코드 · Papers with Code

NumGrad-Pull: 포인트 클라우드에서의 표면 재구성을 위한 수치 그래디언트 가이드 트라이-플레인 표현

NumGrad-Pull: Numerical Gradient Guided Tri-plane Representation for Surface Reconstruction from Point Clouds

방향 및 순서 정보가 없는 3D 포인트에서 연속 표면을 재구성하는 것은 컴퓨터 비전 및 그래픽스에서의 근본적인 과제입니다. 최근 연구들은 신경망이 예측한 부호 거리와 해석적(analytical) 그래디언트를 따라 3D 위치 쿼리를 표면 위의 가장 가까운 점으로 끌어당기도록 신경 부호 거리 함수(neural signed distance function, SDF)를 학습시킴으로써 이 문제를 해결합니다. 본 논문에서는 트라이-플레인(tri-plane) 구조의 표현 능력을 활용하여 SDF 학습을 가속화하고 표면 재구성에서 로컬 세부 사항의 충실도를 높이는 NumGrad-Pull을 소개합니다. 그리드 기반 트라이-플레인의 학습 안정성을 더욱 향상시키기 위해, 기존의 해석적 계산을 대체하는 수치 그래디언트(numerical gradient) 활용을 제안합니다. 또한, SDF의 빠른 수렴을 촉진하는 점진적 플레인 확장 전략을 제시하고, 재구성 아티팩트를 완화하기 위한 데이터 샘플링 전략을 설계합니다. 이러한 구성 요소들은 트라이-플레인 기반의 통합된 풀링(pulling) 프레임워크에 시너지적으로 통합되며, 수치 그래디언트, 점진적 확장, 상보적 샘플링이 방향 없는 포인트 클라우드에서의 SDF 학습에서 발생하는 지역성 및 희소성(sparsity) 문제를 공동으로 해결합니다. 다양한 벤치마크에 걸친 광범위한 실험을 통해 본 접근법의 효과성과 견고성을 입증합니다. 코드는 https://github.com/cuiruikai/numgrad-pull 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.