arXiv:2401.13352

EndoGaussians: Single View Dynamic Gaussian Splatting for Deformable Endoscopic Tissues Reconstruction

Yangsen Chen, Hao Wang

제출 2024-01-24

원문 초록

The accurate 3D reconstruction of deformable soft body tissues from endoscopic videos is a pivotal challenge in medical applications such as VR surgery and medical image analysis. Existing methods often struggle with accuracy and the ambiguity of hallucinated tissue parts, limiting their practical utility. In this work, we introduce EndoGaussians, a novel approach that employs Gaussian Splatting for dynamic endoscopic 3D reconstruction. This method marks the first use of Gaussian Splatting in this context, overcoming the limitations of previous NeRF-based techniques. Our method sets new state-of-the-art standards, as demonstrated by quantitative assessments on various endoscope datasets. These advancements make our method a promising tool for medical professionals, offering more reliable and efficient 3D reconstructions for practical applications in the medical field.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13757v1cs.CV공통 태그 3D Reconstruction, NeRF

관찰된 정보로 반사를 안내하는 가우시안 스플래팅

Gaussian Splatting with Reflections Guided by What is Seen

NeRF(Neural Radiance Fields)와 3DGS(3D Gaussian Splatting)와 같은 새로운 시점 합성(novel view synthesis) 방법들은 일반적인 장면에서 인상적인 성능을 보여주었지만, 시점 의존적인(view-dependent) 반사(specular) 효과, 특히 근거리 반사(near-field reflection)를 포착하는 데 어려움을 겪는 경우가 많다. 기존 방법들은 무한히 먼 곳의 광원만을 표현하는 환경 맵(environment map)이나, 반사로부터의 간접적인 감독(supervision)에만 의존하는 환경 가우시안(environment Gaussian)을 활용하지만, 이러한 효과를 정확하게 모델링하기에는 충분하지 않다. 본 논문에서는 입력 이미지에서 직접 관찰 가능한 환경 정보를 활용하는 2DGS(2D Gaussian Splatting) 기반 프레임워크를 제안한다. 또한 본 접근법은 하이브리드 반사 외관 표현과 시점 의존적인 반사 모델링을 통합한다. 공개 벤치마크와 새롭게 구축한 근거리 반사 데이터셋에 대한 실험을 통해 본 방법이 우수한 렌더링 품질과 기하학적 정확도를 달성함을 입증한다.

arXiv:2609.37605v2cs.CV공통 태그 Medical Image Analysis, 3D Reconstruction

TomoTransformer: CT 재구성을 위한 파운데이션 모델을 향하여

TomoTransformer: Towards a Foundation Model for CT Reconstruction

지도 심층 학습(supervised deep learning)은 희소 뷰 단층 촬영 재구성(sparse-view tomographic reconstruction) 분야를 발전시켰습니다. 그러나 일반적으로 여과 역투영(FBP) 이미지나 사이노그램(sinogram)을 깨끗한 재구성 이미지로 매핑하는 기존 모델들은 분포 변화(distribution shift)에 취약합니다. 투영 횟수 및 각도, 검출기 해상도 또는 데이터 분포가 변경될 때마다 재학습이 필요하기 때문에, 실제 응용 분야에서의 배포는 여전히 제한적입니다. 이를 해결하기 위해 본 논문에서는 각 국소(local) 여과 투영을 개별 토큰으로 취급하고 셀프 어텐션(self-attention)을 통해 누락된 뷰를 예측하는 트랜스포머 기반 아키텍처인 TomoTransformer를 소개합니다. 결정적으로, TomoTransformer는 공간적 위치 전반에 걸쳐 투영을 분리하는 역투영 공간(back-projection space)에서 작동하므로, 뷰 보간이 기하학적으로 적절한 조건(well-posed)을 갖추고 검출기 크기에 불변하도록 만듭니다. 이러한 설계를 통해 재학습 없이도 임의의 각도 위치 및 검출기 크기에서 임의의 개수의 입력 투영을 처리하고, 임의의 개수의 목표 각도를 쿼리할 수 있는 단일 파운데이션 모델이 구현됩니다. 다양한 의료 CT 해부학적 구조와 자연 이미지를 포괄하는 대규모 데이터셋으로 학습된 TomoTransformer는 여러 해부학적 구조, 재료 및 해상도 전반에 걸쳐 효과적으로 일반화됩니다. 여러 벤치마크 희소 뷰 데이터셋에 대한 광범위한 평가 결과에 따르면, TomoTransformer는 ViewTrans와 같은 동시대의 다목적 모델을 크게 능가하며, 입력 및 목표 투영 수에 완전히 구애받지 않으면서도 강력한 특정 프로토콜 전용 베이스라인과 대등하거나 이를 능가하는 성능을 보입니다. 나아가 이 모델은 X선 방사광 가속기에서 수집된 실제 실험 나노스케일 뇌 데이터에서 강력한 제로샷(zero-shot) 일반화를 입증하여 실제 응용 분야에서의 실용성을 보여줍니다.

arXiv:2610.02343v1cs.CV공통 태그 Medical Image Analysis, 3D Reconstruction

SCOPE-4D: 내시경 4D 기하학 파운데이션 모델

SCOPE-4D: Endoscopic 4D Geometry Foundation Models

기하학적 이해는 내시경 내비게이션과 로봇 보조를 뒷받침하지만, 신뢰할 수 있는 내시경 기하학을 학습하는 것은 기하학적 주석의 부족과 카메라 움직임과 조직 변형 간의 모호성이라는 두 가지 과제에 직면해 있습니다. 본 논문에서는 단안 RGB 비디오로부터 단일 순전파(forward pass)만으로 카메라 파라미터, 조밀한 기하학, 3D 조직 궤적을 공동으로 예측하는 내시경 4D 기하학 파운데이션 모델인 SCOPE-4D를 제시합니다. 본 연구의 큐레이션 및 주석 파이프라인은 실제 및 합성 위장 내시경과 복강경을 아우르는 약 5,000개 클립 모음인 SCOPE-5K를 구축합니다. 이 컬렉션은 풍부한 기하학적 감독을 제공하며, 새롭게 수집된 팬텀 및 실제 대장 내시경 평가 세트를 포함합니다. SCOPE-5K에 대한 기하학 지도 미세조정(supervised fine-tuning)은 내시경 사전 지식(prior)을 학습하여 카메라 및 깊이 추정을 향상시킵니다. 공통-잔차 모션(Common--Residual Motion, CRM)은 공통 조직 움직임에 상대적인 국소 변형을 추가로 제약합니다. 기하학적 감독과 더불어, CRM 및 궤적 감독은 기하학 미세조정(fine-tuning) 단독 대비 카메라 및 깊이 추정을 더욱 향상시키는 동시에 조밀한 3D 조직 추적을 가능하게 합니다. 공개 벤치마크 및 새로 수집된 벤치마크에 대한 평가는 도메인 내 및 도메인 외 기하학에서의 강력한 성능, 우수한 3D 추적, 그리고 보다 안정적인 긴 시퀀스 대장 재구성을 입증합니다. 맹검 사용자 연구는 실제 임상 비디오에서 체감 재구성 품질을 추가로 뒷받침합니다. 이러한 결과는 공동 기하학 추정 및 조직 추적을 위한 대규모 내시경 감독과 모션 제약의 가치를 종합적으로 입증합니다.

arXiv:2610.02755v1cs.CV공통 태그 Medical Image Analysis, 3D Reconstruction

FiberGeoText: 천부 백질의 집단 수준 체계화를 위한 비전-언어 모델

FiberGeoText: A Vision-Language Model for Population- Level Organization of Superficial White Matter

생애 전반에 걸친 인지 및 뇌 질환에 중요한 뇌 영역인 천부 백질(SWM, superficial white matter)에는 풍부한 단거리 연합 섬유가 포함되어 있으나, 짧은 궤적과 변동성이 큰 대뇌 피질 주름으로 인해 개체 간 대응이 어려워 그 구조가 완전히 규명되지 않았습니다. 해부학적으로 상응하는 연결은 개체 간에 공간적 위치가 다를 수 있으므로 기하학적 근접성만으로는 적절히 정의되지 않을 수 있습니다. 본 연구에서는 초고해상도 확산 MRI로부터 재구성된 단거리 천부 백질(SWM) 신경로(streamline)를 집단 수준의 클러스터로 체계화하기 위한 비전-언어(vision-language) 모델(VLM)인 FiberGeoText(FGT)를 소개합니다. FGT는 각 신경로의 세 가지 상호보완적 특성인 3차원 궤적, 피질 해부학적 컨텍스트, 형태를 공동으로 표현합니다. 여러 구획화(parcellation) 체계의 피질 종단점 정보는 텍스트로 표현되고 사전학습된 대규모 언어 모델(LLM)을 사용하여 인코딩되므로, 이종의 해부학적 기술이 공통의 연속적 표현에 기여할 수 있습니다. 밀리미터 미만인 0.76mm 확산 MRI 데이터를 통해 FGT를 평가했습니다. 최신(SOTA) 방법들과 비교했을 때, FGT는 훨씬 더 높은 피질 구획 일관성, 클러스터 내 형태 일관성, 클러스터 크기 일관성, 피험자 간 대응성을 달성했습니다. 또한 학습된 모델은 학습된 5,000개 클러스터 중 평균 96.7%를 복구하며 미확인 피험자에 대해서도 우수한 일반화 성능을 보였고, 학습 데이터와 테스트 데이터 간의 클러스터 구조 일관성도 높았습니다. 이러한 결과는 VLM 모델을 통해 멀티모달 딥 임베딩(embedding)을 학습함으로써 기하학적, 해부학적, 형태 정보를 통합하는 것이 개체 간 해부학적 변동성에도 불구하고 집단 수준에서 일관된 SWM 구조를 강건하게 학습할 수 있음을 입증합니다.

arXiv:2610.03332v1cs.CV공통 태그 Medical Image Analysis, 3D Reconstruction

SBF-SEM에서 3D 수상돌기 인스턴스 분할을 위한 완전 자동화 파이프라인

A Fully Automatic Pipeline for 3D Dendrite Instance Segmentation in SBF-SEM

연속 블록면 주사전자현미경(SBF-SEM)에서 개별 수상돌기(dendrite)의 정확한 3차원(3D) 재구성은 뇌의 구조적 가소성을 정량화하는 데 필수적이지만, 대규모 수작업 어노테이션은 실현하기 어렵습니다. 본 논문에서는 다운샘플링된 슬라이스에 대한 YOLOv6 유도 기반 Segment Anything Model(SAM) 프롬프팅, 반복적 2차원 마스크 정제, 랜덤 포레스트(random forest) 기반 3D 인스턴스 연결, 그리고 원본 해상도에서 nnU-Net을 활용한 인스턴스 인지 고해상도 정제를 하나의 시스템으로 통합하여 추론 시 수동 프롬프팅이 전혀 필요하지 않은 3D 수상돌기 인스턴스 분할(instance segmentation) 완전 자동화 파이프라인을 제시합니다. 대조군 쥐와 필로카르핀 유도 간질 모델 쥐의 해마 CA1 SBF-SEM 데이터셋에 적용한 결과, 본 파이프라인은 높은 의미론적 정확도(Dice 0.93 및 0.91)와 대조군 조직에서의 우수한 인스턴스 수준 성능으로 일관되고 잘 분리된 수상돌기를 재구성하는 한편, 더 까다로운 간질 조직 분석을 통해 밀집 영역에서의 인스턴스 인식이 주요 잔여 한계점임을 밝혀냈습니다. 고해상도 정제 단계는 얇은 수상돌기 돌출부를 복원하여 후속 가시(spine) 수준 분석의 기반을 제공합니다. 코드는 https://github.com/ZE-WEN/dendrite-3d-instance-seg 에서 확인할 수 있습니다.

arXiv:2609.22849v1cs.CV공통 태그 Medical Image Analysis, 3D Reconstruction

LINGO: 3D Gaussian Splatting을 활용한 희소 각도 X-ray 신규 시점 합성 및 CT 재구성을 위한 잠재 초기화와 그래디언트 최적화

LINGO: Latent Initialization and Gradient Optimization for Sparse-view X-ray Novel View Synthesis and CT Reconstruction with 3D Gaussian Splatting

신규 시점 합성(novel view synthesis) 및 희소 각도(sparse-view) X-ray 영상 기반 컴퓨티드 단층 촬영(Computed Tomography, CT) 재구성에서는 각도 커버리지가 부족하면 구조적 모호성과 누적 노이즈가 발생한다. 3D Gaussian Splatting(3DGS)을 X-ray 흡수 물리와 결합하면 유망한 결과를 얻을 수 있으나, 노이즈가 많은 초기화, 위치 민감도 부족, 저밀도 영역에서의 약한 그래디언트 문제가 있다. 본 논문에서는 이를 해결하기 위해 잠재 초기화 및 그래디언트 최적화(Latent Initialization and Gradient Optimization, LINGO) 통합 프레임워크를 제안한다. LINGO는 잠재 마스크 공간 초기화와 동적 그래디언트 최적화를 결합해 포인트 클라우드의 구조적 완전성을 높이면서 학습을 가속한다. X-ray 마스크로부터 voxel 수준 3D 필터를 구성해 배경 노이즈를 견고하게 억제하고 신뢰할 수 있는 기하학적 prior를 제공한다. 적응형 voxel 스케일링 전략과 동적 손실 스케일링을 통해 공간 해상도를 조절하고 저밀도 구조에서 그래디언트를 명시적으로 증폭한다. 초기화 품질 평가를 위해 Initialization Point Cloud Structural Deviation(IPSD) 지표를 도입한다. X3D 데이터셋 실험에서 신규 시점 합성 과제는 동일한 희소 각도 설정에서 baseline 대비 평균 PSNR(Peak Signal-to-Noise Ratio) 0.72, SSIM(Structural Similarity Index) 0.0039를 각각 개선했으며, 보통 30k 반복으로 학습되는 최신(state-of-the-art) 모델과 유사한 재구성 품질을 5k step 내에 달성했다. CT 재구성 과제에서도 평균 PSNR·SSIM이 각각 0.36, 0.0134만큼 향상되는 등 일관된 개선을 보였다. 이는 다양한 희소 각도 영상 시나리오에서 학습 가속과 재구성 품질 향상 모두에 LINGO가 효과적임을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.