PixCUE: Joint Uncertainty Estimation and Image Reconstruction in MRI using Deep Pixel Classification
원문 초록
Deep learning (DL) models are capable of successfully exploiting latent representations in MR data and have become state-of-the-art for accelerated MRI reconstruction. However, undersampling the measurements in k-space as well as the over- or under-parameterized and non-transparent nature of DL make these models exposed to uncertainty. Consequently, uncertainty estimation has become a major issue in DL MRI reconstruction. To estimate uncertainty, Monte Carlo (MC) inference techniques have become a common practice where multiple reconstructions are utilized to compute the variance in reconstruction as a measurement of uncertainty. However, these methods demand high computational costs as they require multiple inferences through the DL model. To this end, we introduce a method to estimate uncertainty during MRI reconstruction using a pixel classification framework. The proposed method, PixCUE (stands for Pixel Classification Uncertainty Estimation) produces the reconstructed image along with an uncertainty map during a single forward pass through the DL model. We demonstrate that this approach generates uncertainty maps that highly correlate with the reconstruction errors with respect to various MR imaging sequences and under numerous adversarial conditions. We also show that the estimated uncertainties are correlated to that of the conventional MC method. We further provide an empirical relationship between the uncertainty estimations using PixCUE and well-established reconstruction metrics such as NMSE, PSNR, and SSIM. We conclude that PixCUE is capable of reliably estimating the uncertainty in MRI reconstruction with a minimum additional computational cost.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Cloud-Aware SAR Fusion for Enhanced Optical Sensing in Space Missions
정확한 가우시안 조건화를 통한 확산 및 흐름 기반 사후 샘플링 포괄
Spanning Diffusion and Flow-based Posterior Sampling via Exact Gaussian Conditioning
흐름 매칭(flow-matching) 및 확산 모델(diffusion model)은 선형 역문제(linear inverse problem)의 사전확률(prior)로 점점 더 많이 활용되고 있으나, 대부분의 방법은 특정 궤적 사전확률 클래스에만 맞춤화되어 있습니다. 플러그 앤 플레이(plug-and-play) 방식들이 제안되었지만, 이들은 유도된 궤적의 상관관계를 암묵적으로 해제하여 데이터가 희소할 때 성능이 저하될 수 있는 넓은 사전확률을 형성합니다. 본 연구에서는 흐름, 확산 및 탈상관된 사전확률을 일반화하는 상관 매개변수 $β$와 경로 분포가 얼마나 강하게 적용되는지를 제어하는 신뢰도 매개변수 $κ$로 색인화된 범용 플러그 앤 플레이 방법인 $β$-Flow를 제안합니다. 각 단계는 노이즈 제거 네트워크의 단 한 번의 순전파 평가만을 필요로 하며, 이후 가우시안 조건화 단계가 이어집니다. 이 조건화 단계는 네트워크 그래디언트에 의존하지 않는 정확한 칼만 업데이트(Kalman update)입니다. 우리는 기존의 많은 가이드 샘플러들이 칼만 이득 대신 서로 다른 궤적 사전확률과 연산자를 암묵적으로 사용하는 본 방법의 인스턴스 또는 근사치로 해석될 수 있음을 보여줍니다. 이러한 관점에서 우리는 암묵적 편향 및 가정의 측면에서 방법들의 정성적 비교를 제공합니다. 또한 4개 데이터셋에 걸친 7개의 역문제에서 PSNR 및 SSIM 기준으로 일관되게 최고 수준(SOTA)의 성능을 달성함을 입증합니다. 아울러 관측 정보가 적을 때는 높은 신뢰도의 강한 상관관계(엄격한 사전확률)가 가장 효과적이며, 관측 정보가 많을 때는 낮은 상관관계가 선호된다는 점을 보여줌으로써 베이즈 추론(Bayesian inference)에서 사전확률과 가능도(likelihood)의 상호보완적 역할을 반영하는 이러한 사전확률 제어의 유용성을 입증합니다.
SRUG: 의료 영상 변환을 위한 융합 기반 생성기 네트워크
SRUG: A Fusion-Driven Generator Network for Medical Image Translation
MRI 시퀀스 합성은 환자 고유의 해부학적 구조를 보존하면서 결측된 영상 대비를 복원하는 것을 목표로 합니다. 생성 메커니즘의 선택은 최적화(optimization)뿐만 아니라 소스 정보가 합성된 영상에 전달되는 방식 모두에 영향을 미칩니다. 본 연구에서는 쌍을 이루는(paired) MRI 합성을 위해 결정론적 소스-타깃 매핑을 학습하는 지도형 독립 융합 기반 생성기인 SRUG를 제안합니다. 이 모델의 직접 재구성 정식화는 생성기-판별기 간 경쟁을 제거하며, 변분 잠재 샘플링이나 반복적인 확산(diffusion) 디노이징을 필요로 하지 않습니다. 이러한 정식화 내에서 구조적 충실도를 지원하기 위해, SRUG는 풀 해상도 합성곱 스템, 풀링(pooling)으로 분리된 특징 단계, 잔차 브랜치에 임베딩된 채널 재보정을 갖추고 영상 재구성에 맞게 조정된 잔차 인코더를 사용합니다. 중첩 다중 스케일 디코더(NMD)는 결과 공간 특징들을 반복적으로 융합하고 단일 출력 헤드를 통해 타깃 시퀀스를 예측합니다. L1 손실(loss)과 다중 스케일 구조적 손실(MSS loss)이 예측을 공동으로 지도하여, 직접 생성 목표를 해부학적 세부 정보 복원과 연결합니다. BraTS 2023 데이터셋에 대한 실험은 세 가지 MRI 변환 태스크 전반에서 경쟁력 있는 재구성 충실도와 구조적 일관성을 보여줍니다. 아키텍처 절제 연구는 동일한 생성기 프레임워크 내에서 채널 재보정, NMD, 구조적 지도의 효과를 평가합니다. IXI 데이터셋에 대한 추가 평가는 또 다른 데이터셋 및 모달리티 쌍에 대한 적용 가능성을 뒷받침하며, BraTS 2019에 대한 제로샷(zero-shot) 테스트는 데이터셋 간 전이 가능성에 대한 예비적 증거를 제공합니다. 이러한 결과는 조정된 인코딩 및 재구성 경로가 구조 보존의 기초를 제공함으로써 직접 지도 생성이 쌍을 이루는 MRI 시퀀스 합성에 실용적인 접근법임을 뒷받침합니다. SRUG 구현체는 https://github.com/RisingRich/SRUG 에서 공개되어 있습니다.
움직임에 강건한 망막 시계열 레이저 스펙클 대비 영상화를 위한 물리 기반 조건부 확산 모델
Physics-Informed Conditional Diffusion for Motion-Robust Retinal Temporal Laser Speckle Contrast Imaging
망막 레이저 스펙클 대비 영상화(LSCI)는 망막 혈류 역학을 모니터링하기 위한 비침습적 광학 방식입니다. 그러나 기존의 시계열 LSCI(tLSCI) 재구성은 안정적인 시간적 통계를 얻기 위해 충분히 긴 스펙클 시퀀스에 의존하므로, 획득 과정의 외란에 취약하고 유효 시간 해상도가 제한됩니다. 본 논문에서는 움직임에 강건하며 소수의 프레임만을 필요로 하는 망막 tLSCI를 위한 물리 기반 재구성 프레임워크인 RetinaDiff(망막 확산 모델)를 제안합니다. RetinaDiff에서는 대비 계산 전에 위상 상관 기반 정합을 먼저 적용하여 원시 스펙클 시퀀스를 안정화하고 프레임 간 불일치를 줄임으로써 각 픽셀의 변동이 주로 실제 혈류 역학을 반영하도록 합니다. 긴 정합 시퀀스로부터 이 단계는 재구성 타깃으로만 사용되는 고품질 다중 프레임 tLSCI 맵을 생성하는 한편, 소수의 입력 프레임으로부터 움직임이 보정된 대비 사전 분포(prior)를 독립적으로 계산합니다. 다음으로 이 사전 분포의 안내를 받아 조건부 확산 모델(diffusion model)이 정합된 소수 프레임 시퀀스와 사전 분포를 공동 조건으로 삼아 역재구성을 수행합니다. 자체 개발한 망막 LSCI 시스템으로 획득한 안정적인 시퀀스에서 RetinaDiff는 직접적인 5프레임 재구성과 비교하여 SSIM을 0.159에서 0.533으로, PSNR을 14.83에서 18.06 dB로, FID를 211.50에서 111.55로 향상시켰으며, 대표적인 베이스라인 대비 향상된 구조적 연속성과 통계적 안정성을 보여주었습니다. 또한 이 프레임워크는 직접적인 5프레임 입력과 기존 다중 프레임 재구성이 모두 심각하게 저하되는 소수의 극도로 까다로운 사례에서도 유효성을 유지합니다. 전반적으로 본 연구는 극히 제한된 프레임으로부터 신뢰할 수 있는 망막 tLSCI 재구성을 위한 실용적이고 물리적 기반을 갖춘 경로를 제공합니다. 소스 코드와 모델 가중치는 논문 채택 시 공개될 예정입니다.
MIGA: 가속화된 3D 다중에코 MRI를 위한 암시적 진폭 모델링 기반 공유 기하학 가우시안 표현
MIGA:Shared-Geometry Gaussian Representation with Implicit Amplitude Modeling for Accelerated 3D Multi-Echo MRI
3차원(3D) 다중에코(multi-echo) MRI는 풍부한 해부학적 및 정량적 정보를 제공하지만, 반복적인 볼륨 인코딩으로 인해 획득 시간이 길어져 k-공간(k-space) 언더샘플링(undersampling)이 요구됩니다. 언더샘플링된 다중에코 데이터를 재구성하려면 에코에 따른 신호 변화를 보존하면서 공유된 해부학적 구조를 활용해야 합니다. 또한 전체 볼륨 모델링은 상당한 연산 및 메모리 부담을 초래합니다. 본 논문에서는 공유된 비등방성 가우시안 기하학, 좌표 조건부 다중 출력 진폭 네트워크, 명시적인 에코별 위상 변수로 구성된 스캔 맞춤형 프레임워크인 MIGA를 제안합니다. 가우시안 기하학은 여러 에코에 걸쳐 공통의 공간적 지지(spatial support)를 제공하고, 암시적(implicit) 네트워크는 공간적으로 구조화된 진폭 변화를 모델링하며, 위상 변수는 에코별 복소 신호 정보를 유지합니다. 모든 구성 요소는 획득된 다중 코일 k-공간만을 사용하여 공동으로 최적화(optimization)되며, 완전 샘플링된 학습(training) 데이터를 필요로 하지 않습니다. 실험 결과, MIGA는 다양한 영상화 작업 및 가속 계수 전반에서 비교 방법들을 일관되게 능가했으며, 언더샘플링이 강할수록 더 큰 향상을 보였습니다. 또한 MIGA는 평가된 전체 볼륨 다중에코 방법들 중에서 우수한 품질 대비 비용 균형을 달성했습니다. 이러한 결과는 가속화된 3D 다중에코 MRI 재구성을 위해 공유 가우시안 기하학과 암시적 에코 의존 진폭 모델링을 결합하는 것의 효과성을 뒷받침합니다.
PRIME-SVR: 태아 T2 매핑을 위한 물리 정보 기반 암시적 다중 에코 슬라이스-볼륨 재구성
PRIME-SVR: Physics-infoRmed Implicit Multi-Echo Slice-to-Volume Reconstruction for Fetal T2 mapping
슬라이스-볼륨 재구성(SVR)은 여러 방향으로 획득된 움직임으로 손상된 2D MRI 슬라이스 스택으로부터 고해상도(HR) 3D 태아 뇌 볼륨을 얻는 표준 방법이다. 기존 SVR 방법은 임상 범위의 에코 시간(TE)에 대해서만 최적화 및 검증되어, 비임상 TE에서의 사용을 제한하고, 다중 TE에 걸친 HR 재구성을 요구하는 태아 뇌 성숙의 프로토콜 및 센터 독립적 바이오마커인 정량적 T2 매핑과 호환되지 않게 한다. 우리는 다중 에코 MRI로부터의 공동 HR 재구성을 위한 최초의 암시적 신경 표현(INR) 프레임워크인 PRIME-SVR을 제안한다. 단일 완전 연결 네트워크는 공간 좌표에서 TE에 걸친 신호 강도로의 연속 함수를 모델링하고, 두 번째 네트워크는 슬라이스별 획득 열화를 추정한다. TE 간 일관성은 예상 T2 감쇠로부터의 편차에 페널티를 부과하는 Bloch 방정식 유도 정규화를 통해 강제되며, 열화된 스택에 대해 결합을 강화하는 적응적 가중치를 사용한다. 이 방법은 완전 자기지도(self-supervised) 방식이다. 우리는 두 센터, 두 벤더, 두 자기장 강도(1.5 T 및 0.55 T)에서 39건의 in vivo 태아 획득(13명의 대상자 x 3 TE)에 대해 PRIME-SVR을 검증한다. 최신 SVR과 비교하여 PRIME-SVR은 재구성 선명도를 47%, 해부학적 정확도를 30%, TE 간 구조적 일관성을 14% 향상시킨다. 이는 이전에 SVR로 접근할 수 없었던 후기 TE에서의 재구성을 가능하게 하여, 0.55 T에서 최초의 0.8 mm 등방성 T2 맵과 INR 기반 SVR에서 파생된 최초의 T2 맵을 산출한다. PRIME-SVR은 또한 다중 TE 재구성에 필요한 데이터를 줄여 정량 영상을 가속하며, 획득 시간을 15분에서 10분으로 단축하면서 백질 및 깊은 회백질에서 T2 정확도를 1.7% 이내로 유지하거나, 고품질 획득의 경우 5분으로 단축하면서 평균 T2 오차 2.3%를 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.