arXiv:2403.12198

FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos

Florian Philipp Stilz, Mert Asim Karaoglu, Felix Tristram, Nassir Navab, Benjamin Busam, Alexander Ladikos

제출 2024-03-18

원문 초록

Reconstruction of endoscopic scenes is an important asset for various medical applications, from post-surgery analysis to educational training. Neural rendering has recently shown promising results in endoscopic reconstruction with deforming tissue. However, the setup has been restricted to a static endoscope, limited deformation, or required an external tracking device to retrieve camera pose information of the endoscopic camera. With FLex we adress the challenging setup of a moving endoscope within a highly dynamic environment of deforming tissue. We propose an implicit scene separation into multiple overlapping 4D neural radiance fields (NeRFs) and a progressive optimization scheme jointly optimizing for reconstruction and camera poses from scratch. This improves the ease-of-use and allows to scale reconstruction capabilities in time to process surgical videos of 5,000 frames and more; an improvement of more than ten times compared to the state of the art while being agnostic to external tracking information. Extensive evaluations on the StereoMIS dataset show that FLex significantly improves the quality of novel view synthesis while maintaining competitive pose accuracy.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09225v1cs.CV공통 태그 Novel View Synthesis, Neural Rendering

Glob3R: 3D 기반 모델을 활용한 전역 Structure-from-Motion

Glob3R: Global Structure-from-Motion with 3D Foundation Models

VGGT와 같은 최근의 3D 기하학적 기반 모델(foundation model)은 입력 이미지로부터 카메라 포즈와 3D 장면 포인트를 직접 예측하는 견고한 피드포워드(feed-forward) 3D 재구성을 제공합니다. 그러나 이러한 모델의 결과는 여전히 부정확하며, 긴 시퀀스나 대규모 비정렬 이미지 집합으로 확장할 때 일반적으로 청크 단위 처리가 필요하여 드리프트(drift)와 불일치가 발생할 수 있습니다. 본 논문에서는 3D 기반 모델 위에 구축된 전역 SfM 방식의 재구성 방법인 Glob3R을 제안합니다. 핵심 아이디어는 피드포워드 기하학적 예측을 명시적으로 최적화하는 것입니다. 이를 위해 동결된 Pi3X 백본에 경량 밀집 매칭 헤드(dense matching head)를 추가하여 선택된 기준 프레임과 인접 뷰 사이의 이미지 와프(warp)를 예측합니다. 이 밀집 와프는 희소하지만 신뢰할 수 있는 다중 뷰 특징 트랙(feature track)으로 변환되어 전역 최적화를 위한 대응 제약 조건을 제공합니다. 또한 트랙과 상대 포즈를 중첩 윈도우 전반에 걸쳐 전파하는 키프레임 기반 슬라이딩 윈도우 연관 전략을 도입하여 확장 가능한 재구성을 가능하게 합니다. 마지막으로 전역 모션 평균화(motion averaging)와 번들 조정(bundle adjustment)을 수행하여 카메라 포즈를 정제하고, 스케일 불일치를 줄이며, 밀집 장면 기하구조를 복원합니다. 실내, 실외, 대규모 주행, 비정렬 SfM 벤치마크에 대한 광범위한 실험을 통해 Glob3R이 견고하고 정확한 재구성을 달성함을 입증합니다. 피드포워드 기반 모델 베이스라인과 최근의 확장 가능한 재구성 방법 대비 일관된 성능 향상을 보이며, 고전적인 SfM 파이프라인보다 더 강건합니다. 또한 정제된 포즈는 더 높은 품질의 뉴럴 렌더링(neural rendering)으로 이어지며, 이는 기반 모델 사전 지식과 전역 기하학적 최적화를 결합하는 이점을 검증합니다. 프로젝트 페이지: https://junyuandeng.github.io/Glob3r

arXiv:2604.01204v3cs.CV공통 태그 Novel View Synthesis, Neural Rendering

고품질 프리미티브 기반 신경 재구성을 위한 신경 조화 텍스처

Neural Harmonic Textures for High-Quality Primitive Based Neural Reconstruction

3D 가우시안 스플래팅(3D Gaussian Splatting)과 같은 프리미티브 기반 방법은 최근 새로운 시점 합성(novel-view synthesis) 및 관련 재구성 태스크에서 최첨단 기술로 자리잡았다. 신경 필드(neural fields)와 비교하여 이러한 표현 방식은 더 유연하고 적응적이며 대규모 장면에 대한 확장성이 뛰어나다. 그러나 개별 프리미티브의 표현력 한계로 인해 고주파 세부 정보를 모델링하는 것이 어렵다. 본 논문에서는 신경 조화 텍스처(Neural Harmonic Textures)를 소개한다. 이는 각 프리미티브를 둘러싸는 가상 스캐폴드(scaffold)에 잠재 특징(feature) 벡터를 고정하는 신경 표현 접근법이다. 이러한 특징은 광선 교차점에서 프리미티브 내부에 보간된다. 푸리에 분석에서 영감을 받아 보간된 특징에 주기적 활성화 함수를 적용함으로써, 알파 블렌딩을 조화 성분의 가중 합산으로 변환한다. 결과 신호는 소규모 신경망(neural network)을 사용한 단일 지연 패스(deferred pass)에서 디코딩되어 계산 비용을 크게 줄인다. 신경 조화 텍스처는 실시간 새로운 시점 합성에서 최첨단 성능을 달성하는 동시에 프리미티브 기반 재구성과 신경 필드 기반 재구성 간의 격차를 줄인다. 본 방법은 3DGUT, Triangle Splatting, 2DGS 등 기존 프리미티브 기반 파이프라인에 원활하게 통합된다. 또한 2D 이미지 피팅 및 의미론적 재구성(semantic reconstruction)에 대한 응용을 통해 방법의 범용성을 추가로 입증한다.

arXiv:2606.26715v2cs.CV공통 태그 Novel View Synthesis, Neural Rendering

다중 뷰 이미지에서 신경 재질 추출

Extracting Neural Materials from Multi-view Images

신경 재질은 압축적이고 범용적인 기저로 복잡한 정반사 반사와 산란 효과를 표현할 수 있다. 그러나 이러한 재질을 획득하고 작성하는 것은 여전히 어려운 일이다. 우리는 이미지에서 공간적으로 변하는 신경 재질을 추출하는 미분 가능 역렌더링 방법인 NeuMatEx를 제안한다. 신경 재질 잠재 공간의 비선형 구조는 단순한 역렌더링으로 최적화를 수행하는 것을 불가능하게 만든다. 이를 해결하기 위해, 우리는 이미지에서 초기 베이스 컬러, 신경 재질 잠재 변수, 알레아토릭 불확실성 가이드를 직접 예측하는 대규모 재질 재구성 모델(LMRM)을 학습한다. 이 재질 사전(prior)은 좋은 초기화를 제공하고 역 경로 추적을 이용한 후속 최적화를 더 잘 제약한다. 예측된 불확실성은 또한 높은 확신의 영역을 LMRM 예측에 더 강하게 고정하여, 조명과 복잡한 정반사 효과가 재질에 굳어지는 것을 방지한다는 점에서 추가로 도움이 된다. 합성 및 실제 에셋에 대한 실험은 NeuMatEx가 PBR 기반 방법보다 더 나은 시각 품질과 재질 분해를 통해 복잡한 재질을 추출함을 보여준다.

arXiv:2606.19316v1cs.CV공통 태그 Novel View Synthesis, Neural Rendering

NeuMesh++: 분리된 신경망 메시 기반 암시적 필드를 통한 다용도 및 효율적인 체적 편집

NeuMesh++: Towards Versatile and Efficient Volumetric Editing with Disentangled Neural Mesh-based Implicit Field

최근 신경망 암시적 렌더링 기술은 빠르게 발전하여 새로운 시점 합성(novel view synthesis)과 3D 장면 재구성에서 상당한 이점을 보여주었습니다. 그러나 편집 목적의 기존 신경망 렌더링 방법은 강체 변환(rigid transformation)이나 카테고리 특정 편집과 같은 제한된 기능만을 제공합니다. 본 논문에서는 메시 정점에 분리된 기하학, 텍스처, 의미론적(semantic) 코드로 신경 방사장(neural radiance field)을 인코딩하는 새로운 메시 기반 표현을 제시합니다. 이는 메시 안내 기하학 편집, 텍스처 교환, 채우기 및 페인팅 작업을 포함한 지정된 텍스처 편집, 그리고 의미론적 안내 편집을 포함하는 효율적이고 포괄적인 편집 기능 세트를 가능하게 합니다. 이를 위해 렌더링 품질과 학습(training) 안정성을 향상시키기 위한 새로운 로컬 공간 파라미터화(local space parameterization), 텍스처 편집의 충실도를 높이기 위한 정점 학습 가능 수정 색상, 정밀한 텍스처 편집을 실현하기 위한 공간 인식 최적화 전략, 그리고 암시적 필드 편집의 번거로운 주석 작업을 줄이기 위한 의미론적 보조 영역 선택 기법을 개발했습니다. 실제 데이터셋과 합성 데이터셋 모두에 대한 광범위한 실험과 편집 예제는 표현 품질과 편집 능력에 있어 우리 방법의 우수성을 입증합니다. 프로젝트 페이지: https://zju3dv.github.io/neumeshplusplus/

arXiv:2606.11314v1cs.CV공통 태그 Novel View Synthesis, Neural Rendering

TRON: 3D 가우시안 재구성을 위한 뉴럴 렌더러 조율을 위한 광선 추적

TRON: Tracing Rays to Orchestrate a Neural Renderer for 3D Gaussian Reconstructions

우리는 3D 가우시안 레이 트레이싱(ray tracing)과 뉴럴 렌더링(neural rendering)을 결합하여 새로운 조명, 동적 객체 움직임, 객체 삽입 및 재질 편집 하에서 실제 3D 장면의 사실적이고 제어 가능한 렌더링을 가능하게 하는 렌더링 프레임워크인 TRON을 소개합니다. 가우시안 표현의 물리 기반 렌더링(PBR)에만 의존하는 기존 접근 방식은 재구성된 기하학, 재질 추정치 및 광 전송(light transport) 추정의 불완전성으로 인해 사실적인 재조명(relighting)을 달성하는 데 어려움을 겪습니다. 동시에 뉴럴 렌더링 방법은 명시적인 장면 표현이 종종 부족하여, 세밀한 조작이 포함된 대화형 편집을 지원하는 능력을 제한합니다. TRON은 이 두 가지 패러다임을 연결합니다. 우리는 학습된 역 렌더링(inverse rendering) 모델의 내적 분해(intrinsic decomposition) 사전(priors)을 사용하여 가우시안 필드의 재질 속성을 정규화하고, 최종 픽셀이 아닌 방사측정적(radiometric) 지침을 제공하도록 레이 트레이서(ray tracer)를 재목적화합니다. 이 출력을 구조화된 3D 스캐폴드(scaffold)로 처리함으로써, 셰이딩 모델 제약 추정치와 포토리얼리스틱(photorealistic) 출력 사이의 도메인 격차를 해소하도록 가벼운 뉴럴 렌더러를 강화합니다. 우리의 핵심 통찰은 명시적인 3D 지식과 강력한 재질 사전(priors)의 결합이 속도와 제어 가능성을 제공하는 반면, 뉴럴 렌더링은 포토리얼리스틱 이미지의 합성을 가능하게 한다는 것입니다. 실제 시나리오를 지원하기 위해, 우리는 3D 재구성에서 렌더링된 210만 개의 합성 및 실제 프레임으로 구성된 새로 구축된 데이터셋(dataset)에 대한 대규모 사전학습(pretraining)과 목표 지향 미세조정(fine-tuning)으로 구성된 다단계 전략으로 뉴럴 렌더러를 학습시킵니다. TRON은 사실성 면에서 가우시안 기반 재조명 방법을, 편집 가능성과 속도 면에서 기존 뉴럴 렌더러를 능가합니다. 우리가 아는 한, TRON은 동적인 기하학, 조명 및 재질 조건 하에서 사실적인 외관을 제공하면서 캡처된 3D 환경에서 실용적인 대화형 애플리케이션을 가능하게 하는 최초의 방법입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.