Likelihood-Scheduled Score-Based Generative Modeling for Fully 3D PET Image Reconstruction
원문 초록
Medical image reconstruction with pre-trained score-based generative models (SGMs) has advantages over other existing state-of-the-art deep-learned reconstruction methods, including improved resilience to different scanner setups and advanced image distribution modeling. SGM-based reconstruction has recently been applied to simulated positron emission tomography (PET) datasets, showing improved contrast recovery for out-of-distribution lesions relative to the state-of-the-art. However, existing methods for SGM-based reconstruction from PET data suffer from slow reconstruction, burdensome hyperparameter tuning and slice inconsistency effects (in 3D). In this work, we propose a practical methodology for fully 3D reconstruction that accelerates reconstruction and reduces the number of critical hyperparameters by matching the likelihood of an SGM's reverse diffusion process to a current iterate of the maximum-likelihood expectation maximization algorithm. Using the example of low-count reconstruction from simulated [$^{18}$F]DPA-714 datasets, we show our methodology can match or improve on the NRMSE and SSIM of existing state-of-the-art SGM-based PET reconstruction while reducing reconstruction time and the need for hyperparameter tuning. We evaluate our methodology against state-of-the-art supervised and conventional reconstruction algorithms. Finally, we demonstrate a first-ever implementation of SGM-based reconstruction for real 3D PET data, specifically [$^{18}$F]DPA-714 data, where we integrate perpendicular pre-trained SGMs to eliminate slice inconsistency issues.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
정확한 가우시안 조건화를 통한 확산 및 흐름 기반 사후 샘플링 포괄
Spanning Diffusion and Flow-based Posterior Sampling via Exact Gaussian Conditioning
흐름 매칭(flow-matching) 및 확산 모델(diffusion model)은 선형 역문제(linear inverse problem)의 사전확률(prior)로 점점 더 많이 활용되고 있으나, 대부분의 방법은 특정 궤적 사전확률 클래스에만 맞춤화되어 있습니다. 플러그 앤 플레이(plug-and-play) 방식들이 제안되었지만, 이들은 유도된 궤적의 상관관계를 암묵적으로 해제하여 데이터가 희소할 때 성능이 저하될 수 있는 넓은 사전확률을 형성합니다. 본 연구에서는 흐름, 확산 및 탈상관된 사전확률을 일반화하는 상관 매개변수 $β$와 경로 분포가 얼마나 강하게 적용되는지를 제어하는 신뢰도 매개변수 $κ$로 색인화된 범용 플러그 앤 플레이 방법인 $β$-Flow를 제안합니다. 각 단계는 노이즈 제거 네트워크의 단 한 번의 순전파 평가만을 필요로 하며, 이후 가우시안 조건화 단계가 이어집니다. 이 조건화 단계는 네트워크 그래디언트에 의존하지 않는 정확한 칼만 업데이트(Kalman update)입니다. 우리는 기존의 많은 가이드 샘플러들이 칼만 이득 대신 서로 다른 궤적 사전확률과 연산자를 암묵적으로 사용하는 본 방법의 인스턴스 또는 근사치로 해석될 수 있음을 보여줍니다. 이러한 관점에서 우리는 암묵적 편향 및 가정의 측면에서 방법들의 정성적 비교를 제공합니다. 또한 4개 데이터셋에 걸친 7개의 역문제에서 PSNR 및 SSIM 기준으로 일관되게 최고 수준(SOTA)의 성능을 달성함을 입증합니다. 아울러 관측 정보가 적을 때는 높은 신뢰도의 강한 상관관계(엄격한 사전확률)가 가장 효과적이며, 관측 정보가 많을 때는 낮은 상관관계가 선호된다는 점을 보여줌으로써 베이즈 추론(Bayesian inference)에서 사전확률과 가능도(likelihood)의 상호보완적 역할을 반영하는 이러한 사전확률 제어의 유용성을 입증합니다.
TomoTransformer: CT 재구성을 위한 파운데이션 모델을 향하여
TomoTransformer: Towards a Foundation Model for CT Reconstruction
지도 심층 학습(supervised deep learning)은 희소 뷰 단층 촬영 재구성(sparse-view tomographic reconstruction) 분야를 발전시켰습니다. 그러나 일반적으로 여과 역투영(FBP) 이미지나 사이노그램(sinogram)을 깨끗한 재구성 이미지로 매핑하는 기존 모델들은 분포 변화(distribution shift)에 취약합니다. 투영 횟수 및 각도, 검출기 해상도 또는 데이터 분포가 변경될 때마다 재학습이 필요하기 때문에, 실제 응용 분야에서의 배포는 여전히 제한적입니다. 이를 해결하기 위해 본 논문에서는 각 국소(local) 여과 투영을 개별 토큰으로 취급하고 셀프 어텐션(self-attention)을 통해 누락된 뷰를 예측하는 트랜스포머 기반 아키텍처인 TomoTransformer를 소개합니다. 결정적으로, TomoTransformer는 공간적 위치 전반에 걸쳐 투영을 분리하는 역투영 공간(back-projection space)에서 작동하므로, 뷰 보간이 기하학적으로 적절한 조건(well-posed)을 갖추고 검출기 크기에 불변하도록 만듭니다. 이러한 설계를 통해 재학습 없이도 임의의 각도 위치 및 검출기 크기에서 임의의 개수의 입력 투영을 처리하고, 임의의 개수의 목표 각도를 쿼리할 수 있는 단일 파운데이션 모델이 구현됩니다. 다양한 의료 CT 해부학적 구조와 자연 이미지를 포괄하는 대규모 데이터셋으로 학습된 TomoTransformer는 여러 해부학적 구조, 재료 및 해상도 전반에 걸쳐 효과적으로 일반화됩니다. 여러 벤치마크 희소 뷰 데이터셋에 대한 광범위한 평가 결과에 따르면, TomoTransformer는 ViewTrans와 같은 동시대의 다목적 모델을 크게 능가하며, 입력 및 목표 투영 수에 완전히 구애받지 않으면서도 강력한 특정 프로토콜 전용 베이스라인과 대등하거나 이를 능가하는 성능을 보입니다. 나아가 이 모델은 X선 방사광 가속기에서 수집된 실제 실험 나노스케일 뇌 데이터에서 강력한 제로샷(zero-shot) 일반화를 입증하여 실제 응용 분야에서의 실용성을 보여줍니다.
LINGO: 3D Gaussian Splatting을 활용한 희소 각도 X-ray 신규 시점 합성 및 CT 재구성을 위한 잠재 초기화와 그래디언트 최적화
LINGO: Latent Initialization and Gradient Optimization for Sparse-view X-ray Novel View Synthesis and CT Reconstruction with 3D Gaussian Splatting
신규 시점 합성(novel view synthesis) 및 희소 각도(sparse-view) X-ray 영상 기반 컴퓨티드 단층 촬영(Computed Tomography, CT) 재구성에서는 각도 커버리지가 부족하면 구조적 모호성과 누적 노이즈가 발생한다. 3D Gaussian Splatting(3DGS)을 X-ray 흡수 물리와 결합하면 유망한 결과를 얻을 수 있으나, 노이즈가 많은 초기화, 위치 민감도 부족, 저밀도 영역에서의 약한 그래디언트 문제가 있다. 본 논문에서는 이를 해결하기 위해 잠재 초기화 및 그래디언트 최적화(Latent Initialization and Gradient Optimization, LINGO) 통합 프레임워크를 제안한다. LINGO는 잠재 마스크 공간 초기화와 동적 그래디언트 최적화를 결합해 포인트 클라우드의 구조적 완전성을 높이면서 학습을 가속한다. X-ray 마스크로부터 voxel 수준 3D 필터를 구성해 배경 노이즈를 견고하게 억제하고 신뢰할 수 있는 기하학적 prior를 제공한다. 적응형 voxel 스케일링 전략과 동적 손실 스케일링을 통해 공간 해상도를 조절하고 저밀도 구조에서 그래디언트를 명시적으로 증폭한다. 초기화 품질 평가를 위해 Initialization Point Cloud Structural Deviation(IPSD) 지표를 도입한다. X3D 데이터셋 실험에서 신규 시점 합성 과제는 동일한 희소 각도 설정에서 baseline 대비 평균 PSNR(Peak Signal-to-Noise Ratio) 0.72, SSIM(Structural Similarity Index) 0.0039를 각각 개선했으며, 보통 30k 반복으로 학습되는 최신(state-of-the-art) 모델과 유사한 재구성 품질을 5k step 내에 달성했다. CT 재구성 과제에서도 평균 PSNR·SSIM이 각각 0.36, 0.0134만큼 향상되는 등 일관된 개선을 보였다. 이는 다양한 희소 각도 영상 시나리오에서 학습 가속과 재구성 품질 향상 모두에 LINGO가 효과적임을 보여준다.
MIGA: 가속화된 3D 다중에코 MRI를 위한 암시적 진폭 모델링 기반 공유 기하학 가우시안 표현
MIGA:Shared-Geometry Gaussian Representation with Implicit Amplitude Modeling for Accelerated 3D Multi-Echo MRI
3차원(3D) 다중에코(multi-echo) MRI는 풍부한 해부학적 및 정량적 정보를 제공하지만, 반복적인 볼륨 인코딩으로 인해 획득 시간이 길어져 k-공간(k-space) 언더샘플링(undersampling)이 요구됩니다. 언더샘플링된 다중에코 데이터를 재구성하려면 에코에 따른 신호 변화를 보존하면서 공유된 해부학적 구조를 활용해야 합니다. 또한 전체 볼륨 모델링은 상당한 연산 및 메모리 부담을 초래합니다. 본 논문에서는 공유된 비등방성 가우시안 기하학, 좌표 조건부 다중 출력 진폭 네트워크, 명시적인 에코별 위상 변수로 구성된 스캔 맞춤형 프레임워크인 MIGA를 제안합니다. 가우시안 기하학은 여러 에코에 걸쳐 공통의 공간적 지지(spatial support)를 제공하고, 암시적(implicit) 네트워크는 공간적으로 구조화된 진폭 변화를 모델링하며, 위상 변수는 에코별 복소 신호 정보를 유지합니다. 모든 구성 요소는 획득된 다중 코일 k-공간만을 사용하여 공동으로 최적화(optimization)되며, 완전 샘플링된 학습(training) 데이터를 필요로 하지 않습니다. 실험 결과, MIGA는 다양한 영상화 작업 및 가속 계수 전반에서 비교 방법들을 일관되게 능가했으며, 언더샘플링이 강할수록 더 큰 향상을 보였습니다. 또한 MIGA는 평가된 전체 볼륨 다중에코 방법들 중에서 우수한 품질 대비 비용 균형을 달성했습니다. 이러한 결과는 가속화된 3D 다중에코 MRI 재구성을 위해 공유 가우시안 기하학과 암시적 에코 의존 진폭 모델링을 결합하는 것의 효과성을 뒷받침합니다.
$K$-NeAS: Neural SDF 기반 확장 가능한 다중 재료 CT 재구성
$K$-NeAS: Scalable Multi-Material CT Reconstruction Using Neural SDFs
컴퓨터 단층촬영(CT)은 상당한 전리 방사선 위험을 수반하므로, 희소 시점(sparse-view) 재구성의 필요성이 대두되고 있다. 암시적 장면 표현(ISR)은 희소 투영으로부터 연속적인 볼류메트릭 감쇠 필드를 직접 복원함으로써 이를 해결하며, 최근의 기하 인식(geometry-aware) 확장은 감쇠와 함께 표면 기하를 공동으로 모델링하여 충실도를 개선하고 수동 임계값 설정 없이 깨끗한 조직 분할을 가능하게 한다. 그러나 이러한 방법들은 수동으로 조정된 감쇠 경계와 경직된 이중 재료 제약에 의해 여전히 제한된다. 본 논문은 자동화된 다중 재료 표면 재구성을 위한 통합적이고 확장 가능한 아키텍처인 $K$-NeAS를 제안한다. 우리는 독립적인 재료 네트워크를 공유 잠재 백본으로 대체하고, 임의의 수의 겹치는 조직을 모델링하기 위해 완전 미분 가능한 $K$-재료 순차 소프트 셀렉터를 도입한다. 수동 조정을 제거하기 위해, 가우시안 혼합 모델(GMM)을 이용해 감쇠 경계 설정을 자동화하고, 극단적 희소성 하에서 흔한 기하학적 환각을 완화하기 위해 스케줄된 보조 floater 손실을 구현한다. 네 개의 임상용 원뿔빔 CT(CBCT) 데이터셋에 대해 평가한 결과, $K$-NeAS는 임의의 재료 수로 성공적으로 확장되며, 복부(Abdomen)와 같은 복잡한 다조직 영역에서 $K=3$ 재료일 때 우수한 3D 볼류메트릭 충실도를 달성한다($33.28\text{ dB}$ 3D PSNR vs. $31.40\text{ dB}$ 단일 재료 NeAS 기준선, $+1.88\text{ dB}$ 향상). 또한 본 모델은 희소 샘플링 조건에서 향상된 견고성을 보이며, 5- 및 10-뷰 제약 하에서 기준선 3D PSNR을 최대 $1.17\text{ dB}$까지 능가한다.
GenSplatCodec: 원스텝 디퓨전 기반 피드포워드 가우시안 스플래팅 압축
GenSplatCodec: Feed-Forward Gaussian Splatting Compression via One-Step Diffusion
피드포워드 3D Gaussian Splatting(3DGS)은 장면별 최적화 없이 확장 가능한 장면 재구성을 가능하게 하지만, 저장 및 전송 비용이 큰 밀집된 가우시안을 생성한다. 기존 피드포워드 가우시안 압축 방법들은 디코딩을 결정론적 표현 복원으로 공식화하는데, 이는 낮은 비트레이트에서 고주파 텍스처와 시점 의존적 외관이 버려질 때 부적절해진다. 생성 모델이 유망한 대안을 제공하지만, 이를 독립적인 후처리로 사용하면 생성이 전송된 장면 구조와 분리되어 시점 간 일관성을 훼손한다. 이러한 한계를 해결하기 위해, 우리는 저비트레이트 가우시안 압축을 기하학 유도 생성 디코딩으로 재공식화하는 통합 피드포워드 가우시안 코덱인 GenSplatCodec을 제안한다. 우리는 이중 스트림 공식화 내에서 세부 인식 피드포워드 가우시안 코딩 방식을 제시하며, 여기서 결과로 얻어진 컴팩트한 가우시안 구조 스트림은 경량 참조 외관 스트림으로 보완된다. 또한 계층적 기하학 제어를 통해 디코딩된 구조 및 외관 단서를 공동으로 활용하여 고충실도이면서 시점 일관적인 novel view를 재구성하는 기하학 유도 원스텝 생성 디코딩 접근법을 도입한다. 마지막으로, 통합 코덱의 학습을 안정화하고 생성 디코더가 코덱에서 파생된 구조 및 외관 단서에 적응하도록 하는 3단계 최적화 전략을 개발한다. 다수의 데이터셋에 걸친 광범위한 실험을 통해 GenSplatCodec이 기존 방법들보다 일관되게 우수한 rate-distortion(RD) 성능을 달성함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.