arXiv:2307.08535

Multi-class point cloud completion networks for 3D cardiac anatomy reconstruction from cine magnetic resonance images

Marcel Beetz, Abhirup Banerjee, Julius Ossenberg-Engels, Vicente Grau

제출 2023-07-17

원문 초록

Cine magnetic resonance imaging (MRI) is the current gold standard for the assessment of cardiac anatomy and function. However, it typically only acquires a set of two-dimensional (2D) slices of the underlying three-dimensional (3D) anatomy of the heart, thus limiting the understanding and analysis of both healthy and pathological cardiac morphology and physiology. In this paper, we propose a novel fully automatic surface reconstruction pipeline capable of reconstructing multi-class 3D cardiac anatomy meshes from raw cine MRI acquisitions. Its key component is a multi-class point cloud completion network (PCCN) capable of correcting both the sparsity and misalignment issues of the 3D reconstruction task in a unified model. We first evaluate the PCCN on a large synthetic dataset of biventricular anatomies and observe Chamfer distances between reconstructed and gold standard anatomies below or similar to the underlying image resolution for multiple levels of slice misalignment. Furthermore, we find a reduction in reconstruction error compared to a benchmark 3D U-Net by 32% and 24% in terms of Hausdorff distance and mean surface distance, respectively. We then apply the PCCN as part of our automated reconstruction pipeline to 1000 subjects from the UK Biobank study in a cross-domain transfer setting and demonstrate its ability to reconstruct accurate and topologically plausible biventricular heart meshes with clinical metrics comparable to the previous literature. Finally, we investigate the robustness of our proposed approach and observe its capacity to successfully handle multiple common outlier conditions.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.04203v2cs.CV공통 태그 3D Reconstruction, Surface Reconstruction

Sparse-GS2Mesh: 희소 시점 표면 재구성을 위한 새로운 스테레오 시점 및 2DGS 기반 3D 가우시안 스플래팅

Sparse-GS2Mesh: 3D Gaussian Splatting Guided by Novel Stereo Views and 2DGS for Sparse View Surface Reconstruction

희소 시점(sparse-view) 환경에서의 표면 재구성(surface reconstruction)은 제한적인 기하학적 단서로 인해 여전히 어려운 과제로 남아 있습니다. 부호화 거리 함수(SDF) 기반의 볼륨 렌더링 방식은 지나치게 매끄러운 표면을 생성하는 경향이 있는 반면, 3D 가우시안 스플래팅(3DGS)은 시간 효율적이지만 신뢰할 수 있는 깊이 감독(depth supervision)의 부재와 주어진 입력 시점에서만 최적화된다는 한계로 인해 불완전한 기하학적 구조를 갖는 문제가 있습니다. 본 논문에서는 희소 시점으로부터의 표면 재구성을 위한 스테레오 인식 프레임워크인 Sparse-GS2Mesh를 제안합니다. 3DGS와 스테레오 매칭은 밀집 시점 환경에서 표면 재구성에 활용되어 왔으나, 본 연구에서는 3DGS의 과적합(overfitting) 문제를 완화하기 위해 에피폴라 깊이 사전확률(epipolar depth priors)을 사용해 3DGS를 먼저 초기화한 후 세 가지 핵심 요소를 적용함으로써 희소 시점 조건에서도 효과적으로 작동하도록 확장합니다: (I) 적응형 기준선(baseline) 선택, (II) 스테레오 매칭 네트워크를 활용한 미세조정(fine-tuning), 그리고 (III) 2D/3D 공동 정규화(regularization) 미세조정입니다. 에피폴라 깊이로 초기화되어 웜업된 3DGS가 주어지면, 적응형 기준선 선택 모듈은 각 희소 시점에 대해 합성할 기준선을 자동으로 결정합니다. 그런 다음 스테레오 매칭 네트워크로부터 깊이 정제 그래디언트를 역전파하여 3DGS를 미세조정함으로써, 스테레오 매칭에 특화되도록 3DGS를 효과적으로 조정합니다. 2D/3D 공동 정규화는 가까운 스테레오 시점에서의 취약한 기하학적 단서 문제를 해결하여 안정적인 재구성을 얻을 수 있도록 돕습니다. Sparse-GS2Mesh는 중첩이 거의 없는 설정에서 최고 수준(SOTA)의 방법들 대비 15%의 성능 향상을 달성하며, 중첩이 큰 설정에서도 대등한 결과를 보여줍니다. 코드는 공개될 예정입니다.

arXiv:2610.11011v1cs.CV공통 태그 3D Reconstruction, Surface Reconstruction

PCAsplat: 국소 PCA 정규화를 적용한 가우시안 스플래팅

PCAsplat: Gaussian Splatting with Local PCA Regularization

가우시안 스플래팅(Gaussian splatting)은 포즈가 지정된 이미지로부터 3D 재구성(3D reconstruction)을 수행하기 위한 유연한 표현 방식으로 부상했습니다. 그러나 기존 방법들은 주로 래스터화 기반 손실을 사용하여 최적화되므로, 샘플링된 카메라 광선에 기여할 때만 스플랫을 지도(supervise)합니다. 따라서 가려지거나 샘플링된 시점에 거의 기여하지 않는 가우시안은 기하학적 그래디언트를 약하게 받거나 전혀 받지 못해 기저 표면에서 벗어나 표류하면서 원치 않는 부유물(floater)을 생성할 수 있습니다. 본 연구에서는 미분 가능한 국소 주성분 분석(PCA)에 기반한 가우시안 스플래팅용 기하학 인지 정규화 프레임워크인 PCAsplat을 제안합니다. 제안하는 PCA 정규화기는 가우시안 중심의 이웃에 직접 작용하므로 현재 학습 뷰에 기여하지 않는 가우시안도 업데이트할 수 있습니다. 또한 PCA 고윳값을 정규화하여 가우시안이 등방성 접평면 커버리지를 가지며 기저 표면으로 이동하도록 유도합니다. 아울러 각 가우시안 법선을 PCA로 추정한 이웃 법선과 정렬하여 일관된 방향성을 강제합니다. DTU, Tanks and Temples, NeRF Synthetic 데이터셋에 대한 실험 결과, PCAsplat으로 생성된 스플랫은 원치 않는 부유물을 대폭 줄이면서도 참조 표면의 샘플을 더 잘 근사함을 보여줍니다. 이렇게 표면에 정렬된 스플랫은 포인트 클라우드 분할(segmentation) 및 직접 포아송 재구성을 포함한 다운스트림 기하학 처리 작업을 가능하게 합니다. 또한 PCAsplat은 기존의 신규 시점 합성(novel view synthesis) 및 메시 추출 작업에서도 경쟁력을 유지합니다. 코드는 공개될 예정입니다.

arXiv:2610.03308v1cs.CV공통 태그 3D Reconstruction, Surface Reconstruction

T3lescope: 이미지로부터 임의 해상도의 고충실도 생성형 표면 재구성

T3lescope: Arbitrary-Resolution High-Fidelity Generative Surface Reconstruction from Images

본 논문에서는 단일 객체부터 대규모 야외 장면에 이르는 다양한 규모에서, 장면별 최적화(per-scene optimization) 없이 자세가 추정된 다중 시점(posed multi-view) 이미지로부터 고충실도 3D 장면 메시를 재구성합니다. 장면별 최적화 방식은 관측이 희소하거나 표면이 번쩍이거나(glossy) 투명할 때 필요한 학습된 3D 사전 분포(prior)가 부족합니다. 기존 생성형 방식들은 이러한 사전 분포를 활용하여 희소하게 관측된 영역의 형상을 완성하지만, 일반적으로 제한된 공간 범위에 걸쳐 고정된 해상도로 동작하므로 공간적 커버리지와 디테일 사이에 상충 관계(trade-off)가 발생합니다. 따라서 대규모 장면을 재구성하려면 독립적으로 처리되는 중첩된 국소 영역들로 분할해야 하는 경우가 많아, 전역적 기하학적 일관성을 유지하기 어렵습니다. 이러한 문제를 해결하기 위해, 추론(inference) 시점에 coarse-to-fine 캐스케이드 형태로 장면 스케일에 걸쳐 단일 고정 해상도 생성기를 적용하는 T3lescope를 제안합니다. coarse 단계에서 장면 배치를 설정하고, finer 단계에서는 표면 디테일을 복원하기 위해 점진적으로 더 미세해지는 공간 셀 내에서 coarser 단계로부터 물려받은 형상을 섭동(perturb) 및 디노이징합니다. 이 모델(model)은 여러 스케일의 개별 셀에서 학습(training)되며 모든 레벨에서 가중치를 공유하므로 학습 중에는 어떠한 계층 구조도 고정되지 않으며, 레벨 수, 셀 스케일, 셀 위치는 추론 시점에 결정됩니다. 실내, 야외, 도시 규모 장면에 걸쳐 T3lescope는 피드포워드 및 생성형 베이스라인보다 우수한 성능을 보이며, 장면별 최적화 방식과 대등하거나 능가하고, 번쩍이거나 투명한 표면뿐만 아니라 미세한 구조까지 복원합니다. 이러한 결과는 제안하는 방법이 다양한 장면, 시점 수, 이미지 해상도 전반에 걸쳐 일반화됨을 보여줍니다. 프로젝트 페이지: https://pfnet-research.github.io/t3lescope/

arXiv:2610.01707v1cs.CV공통 태그 3D Reconstruction, Surface Reconstruction

MEGA: 공간 시각 증류를 통한 3D 가우시안 스플래팅 기반 객체 수준 메시 추출

MEGA: Object-Level Mesh Extraction from 3D Gaussian Splatting via Spatial Visual Distillation

3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS) 기반의 메시 추출은 3D 가우시안에 정확한 기하학적 구조를 부여하여 명시적이고 정밀한 3D 점유 공간(occupancy)을 표현하는 것을 목표로 합니다. 그러나 기존 방법들은 주로 장면 수준의 메시 추출에 집중되어 있어 객체 수준의 점유 공간을 표현하지 못하며, 종종 닫히지 않은(non-watertight) 표면을 생성합니다. 이러한 한계를 극복하기 위해, 본 논문에서는 복잡한 3DGS 장면에서 객체 수준의 닫힌(watertight) 메시를 추출하는 '분할 후 메시 생성(segment-then-mesh)' 프레임워크인 MEGA(Mesh Extraction from GAussians)를 제안합니다. MEGA의 핵심은 공간 시각 증류(Spatial Visual Distillation, SVD)와 마스크 기반 신경망 표면 재구성 모듈입니다. SVD는 3DGS 모델을 교사(teacher)로 취급하여 다양한 카메라 포즈를 샘플링하고 분할된 각 객체의 해당 뷰를 렌더링합니다. 이후 이러한 관측 결과는 광도적 감독(photometric supervision)을 통해 메시 재구성 모델을 학습하는 데 사용됩니다. 널리 사용되는 여러 벤치마크에 대한 광범위한 실험을 통해 MEGA가 정확한 객체 수준 3D 점유 공간 복원에서 최고 수준의 성능을 달성함을 입증합니다. 나아가 MEGA는 기하학적 점유 공간을 위한 고품질 객체 수준 메시와 사실적인 렌더링을 위한 3DGS 표현을 결합함으로써 복잡한 물리적 상호작용을 가능하게 합니다.

arXiv:2609.23404v1cs.CV공통 태그 3D Reconstruction, Point Cloud Completion

ScaleBlind: 미지 스케일 하의 포인트 클라우드 보완

ScaleBlind: Point Cloud Completion under Unknown Scale

포인트 클라우드 보완은 부분 포인트 클라우드로부터 완전한 3D 형상을 추론하는 것을 목표로 하며, 재구성, 편집, 시뮬레이션과 같은 하위 작업의 기본 구성 요소이다. 최근 진전에도 불구하고, 기존 학습 기반 방법들은 학습 및 테스트 시 정규화 과정에서 종종 정답 형상 스케일(GT-scale)에 대한 접근을 암묵적으로 전제하며, 실제 추론에서는 이용할 수 없는 특권 정보를 가정한다. 이 숨겨진 가정은 실용적 배포를 제한하며, 오라클 GT-scale 단서가 제거되면 과도한 보완·미달 보완, 중첩 셸(shell) 같은 심각한 보완 아티팩트를 초래할 수 있다. 우리는 최근의 파운데이션 이미지 생성 모델이 객체와 기하를 이해하고 다시점(multi-view) 일관된 렌더링을 생성하는 강한 능력을 보여 GT-scale 없이 3D 보완에 유망한 사전(prior)이 될 수 있음을 관찰한다. 이 통찰에 영감을 받아, 우리는 파운데이션 모델 기반 이미지 보완을 활용해 부분 입력으로부터 전역 스케일을 직접 복원한 뒤 3D 보완을 충실히 생성하는 새로운 프레임워크 ScaleBlind를 제안한다. 구체적으로 ScaleBlind는 렌더링된 부분 뷰로부터 완전한 다시점 외관을 생성(dream out)하고, 추론된 결손 영역을 3D로 되올려(lift) 기하 인식(geometry-aware) 거친 보완을 얻은 다음, 원본 부분 포인트 클라우드와 강력한 교차 모달(cross-modal) 융합 네트워크로 이를 정제한다. 2D 파운데이션 사전을 활용함으로써, 본 방법은 추론 시 GT-scale 정보 접근이 필요 없다. 또한 2D 생성 사전과 3D 포인트 클라우드 보완 사이의 원칙적 연결고리를 제공한다. 광범위한 실험은 프레임워크의 우수성을 보여 주며, ScaleBlind를 포인트 클라우드 보완 과제의 새로운 최신(state-of-the-art) 방법으로 만든다.

arXiv:2609.24825v1cs.CV공통 태그 3D Reconstruction, Point Cloud Completion

ZVeC: 인스턴스 수준 차량 추출 및 생성적 포인트 클라우드 완성을 위한 제로샷 프레임워크

ZVeC: A Zero-Shot Framework for Instance-Level Vehicle Extraction and Generative Point Cloud Completion

지하 환경에서 획득한 LiDAR 포인트 클라우드는 가림과 제한된 센서 시점으로 인해 심각한 기하학적 불완전성을 보이며, 대규모 지도 학습 데이터셋 없이는 신뢰할 수 있는 포인트 클라우드 완성이 어렵다. 우리는 장면 수준 완성을 구성적 객체 수준 재구성으로 재정식화하는 제로샷, 인스턴스 기반 프레임워크인 ZVeC를 제안한다. 장면을 의미론적 객체 인스턴스로 분해함으로써 ZVeC는 복잡한 환경에서 재구성 모호성을 줄이면서 시나리오별 학습의 필요성을 제거한다. 분할된 각 차량은 일반화된 기하학적 사전을 활용하는 depth 및 3D Gaussian 조건 diffusion 모델로 독립적으로 완성되며, 이후 재구성된 인스턴스들이 원래 장면에 다시 합성된다. 우리 접근법을 평가하기 위해 지하 주차 환경의 실세계 밀집 LiDAR 벤치마크를 구축한다. 실험 결과는 정량적 지표와 시각적 품질 모두에서 대표적인 장면 수준 baseline 대비 일관된 개선을 보여준다. 완성된 포인트 클라우드는 측정 입력과 실질적으로 다르지만(평균 KL divergence ~ 2.1), 입력을 원래 LiDAR 측정치의 1%만으로 줄여도 완성된 재구성은 미미하게만 변한다(KL divergence < 0.50). 이는 ZVeC가 극단적인 입력 희소성 하에서도 기하학적으로 일관된 완성을 생성함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.