Intraoperative Registration by Cross-Modal Inverse Neural Rendering
원문 초록
We present in this paper a novel approach for 3D/2D intraoperative registration during neurosurgery via cross-modal inverse neural rendering. Our approach separates implicit neural representation into two components, handling anatomical structure preoperatively and appearance intraoperatively. This disentanglement is achieved by controlling a Neural Radiance Field's appearance with a multi-style hypernetwork. Once trained, the implicit neural representation serves as a differentiable rendering engine, which can be used to estimate the surgical camera pose by minimizing the dissimilarity between its rendered images and the target intraoperative image. We tested our method on retrospective patients' data from clinical cases, showing that our method outperforms state-of-the-art while meeting current clinical standards for registration. Code and additional resources can be found at https://maxfehrentz.github.io/style-ngp/.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
NeuMesh++: 분리된 신경망 메시 기반 암시적 필드를 통한 다용도 및 효율적인 체적 편집
NeuMesh++: Towards Versatile and Efficient Volumetric Editing with Disentangled Neural Mesh-based Implicit Field
최근 신경망 암시적 렌더링 기술은 빠르게 발전하여 새로운 시점 합성(novel view synthesis)과 3D 장면 재구성에서 상당한 이점을 보여주었습니다. 그러나 편집 목적의 기존 신경망 렌더링 방법은 강체 변환(rigid transformation)이나 카테고리 특정 편집과 같은 제한된 기능만을 제공합니다. 본 논문에서는 메시 정점에 분리된 기하학, 텍스처, 의미론적(semantic) 코드로 신경 방사장(neural radiance field)을 인코딩하는 새로운 메시 기반 표현을 제시합니다. 이는 메시 안내 기하학 편집, 텍스처 교환, 채우기 및 페인팅 작업을 포함한 지정된 텍스처 편집, 그리고 의미론적 안내 편집을 포함하는 효율적이고 포괄적인 편집 기능 세트를 가능하게 합니다. 이를 위해 렌더링 품질과 학습(training) 안정성을 향상시키기 위한 새로운 로컬 공간 파라미터화(local space parameterization), 텍스처 편집의 충실도를 높이기 위한 정점 학습 가능 수정 색상, 정밀한 텍스처 편집을 실현하기 위한 공간 인식 최적화 전략, 그리고 암시적 필드 편집의 번거로운 주석 작업을 줄이기 위한 의미론적 보조 영역 선택 기법을 개발했습니다. 실제 데이터셋과 합성 데이터셋 모두에 대한 광범위한 실험과 편집 예제는 표현 품질과 편집 능력에 있어 우리 방법의 우수성을 입증합니다. 프로젝트 페이지: https://zju3dv.github.io/neumeshplusplus/
R3eVision: A Survey on Robust Rendering, Restoration, and Enhancement for 3D Low-Level Vision
Adversarial Disentanglement by Backpropagation with Physics-Informed Variational Autoencoder
Dual-View Disentangled Multi-Intent Learning for Enhanced Collaborative Filtering
Instruction-Tuned Video-Audio Models Elucidate Functional Specialization in the Brain
Unifying Appearance Codes and Bilateral Grids for Driving Scene Gaussian Splatting
토론
이 논문과 연결된 포럼 글이 아직 없습니다.