MRI Reconstruction with Side Information using Diffusion Models
원문 초록
Magnetic resonance imaging (MRI) exam protocols consist of multiple contrast-weighted images of the same anatomy to emphasize different tissue properties. Due to the long acquisition times required to collect fully sampled k-space measurements, it is common to only collect a fraction of k-space for each scan and subsequently solve independent inverse problems for each image contrast. Recently, there has been a push to further accelerate MRI exams using data-driven priors, and generative models in particular, to regularize the ill-posed inverse problem of image reconstruction. These methods have shown promising improvements over classical methods. However, many of the approaches neglect the additional information present in a clinical MRI exam like the multi-contrast nature of the data and treat each scan as an independent reconstruction. In this work we show that by learning a joint Bayesian prior over multi-contrast data with a score-based generative model we are able to leverage the underlying structure between random variables related to a given imaging problem. This leads to an improvement in image reconstruction fidelity over generative models that rely only on a marginal prior over the image contrast of interest.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영
Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs
뼈 중첩은 흉부 X선 영상에서 이상 소견을 가릴 수 있으며, 짝지어진 학습 데이터의 부족은 지도 학습 기반 뼈 억제를 제한한다. 본 연구는 이러한 문제를 흉부 컴퓨터단층촬영(CT)을 성분 억제를 위한 짝지어진 지도 신호로 변환하는 디지털 재구성 방사선영상(DRR) 프레임워크로 해결한다. 새로운 뼈 분할 알고리즘을 통해 CT를 뼈, 폐를 제외한 연조직, 폐 성분으로 분해하고 각각을 별도로 투영한다. 이들의 가중 결합은 전체 DRR과 정확히 합산되는 픽셀 정합 성분 영상을 갖춘 합성 방사선영상을 만들어 낸다. 이러한 데이터로 학습한 모델은 대상 성분을 예측하고 나머지를 차감으로 복원하는 방식으로 뼈 또는 폐 성분을 억제하며, 실제 짝지어진 학습 데이터 없이도 실제 방사선영상으로 전이된다. 확장으로서, 실제 방사선영상에 대한 모델의 출력은 짝지어지지 않은 성분별 DRR 변환을 위한 목표 도메인을 제공하여, 해부학적 세부 구조를 유지하면서 외형 격차를 줄인다. 여러 공개 데이터셋에서 수행한 하위 검출 실험은 뼈 억제의 효용을 보여 주며, 그 이득은 뼈 중첩이 큰 이상 소견에 집중된다. 동일한 CT에 적용한 오픈소스 DRR 엔진과 비교할 때, 수정하지 않은 본 DRR은 현실감과 레이블 관련 해부 구조의 보존에서 대등한 수준을 달성하였으며, 변환된 DRR은 평가한 방법 중 가장 우수한 Fréchet inception distance(FID), 폐야 선명도, 원본 CT 해부 구조와의 일치도를 달성하였다. 모델 및 추론 코드: https://huggingface.co/qureaiorg/bone-suppression ; 변환된 투영 영상: https://huggingface.co/datasets/qureaiorg/ct2xr-projections.
SRUG: 의료 영상 변환을 위한 융합 기반 생성기 네트워크
SRUG: A Fusion-Driven Generator Network for Medical Image Translation
MRI 시퀀스 합성은 환자 고유의 해부학적 구조를 보존하면서 결측된 영상 대비를 복원하는 것을 목표로 합니다. 생성 메커니즘의 선택은 최적화(optimization)뿐만 아니라 소스 정보가 합성된 영상에 전달되는 방식 모두에 영향을 미칩니다. 본 연구에서는 쌍을 이루는(paired) MRI 합성을 위해 결정론적 소스-타깃 매핑을 학습하는 지도형 독립 융합 기반 생성기인 SRUG를 제안합니다. 이 모델의 직접 재구성 정식화는 생성기-판별기 간 경쟁을 제거하며, 변분 잠재 샘플링이나 반복적인 확산(diffusion) 디노이징을 필요로 하지 않습니다. 이러한 정식화 내에서 구조적 충실도를 지원하기 위해, SRUG는 풀 해상도 합성곱 스템, 풀링(pooling)으로 분리된 특징 단계, 잔차 브랜치에 임베딩된 채널 재보정을 갖추고 영상 재구성에 맞게 조정된 잔차 인코더를 사용합니다. 중첩 다중 스케일 디코더(NMD)는 결과 공간 특징들을 반복적으로 융합하고 단일 출력 헤드를 통해 타깃 시퀀스를 예측합니다. L1 손실(loss)과 다중 스케일 구조적 손실(MSS loss)이 예측을 공동으로 지도하여, 직접 생성 목표를 해부학적 세부 정보 복원과 연결합니다. BraTS 2023 데이터셋에 대한 실험은 세 가지 MRI 변환 태스크 전반에서 경쟁력 있는 재구성 충실도와 구조적 일관성을 보여줍니다. 아키텍처 절제 연구는 동일한 생성기 프레임워크 내에서 채널 재보정, NMD, 구조적 지도의 효과를 평가합니다. IXI 데이터셋에 대한 추가 평가는 또 다른 데이터셋 및 모달리티 쌍에 대한 적용 가능성을 뒷받침하며, BraTS 2019에 대한 제로샷(zero-shot) 테스트는 데이터셋 간 전이 가능성에 대한 예비적 증거를 제공합니다. 이러한 결과는 조정된 인코딩 및 재구성 경로가 구조 보존의 기초를 제공함으로써 직접 지도 생성이 쌍을 이루는 MRI 시퀀스 합성에 실용적인 접근법임을 뒷받침합니다. SRUG 구현체는 https://github.com/RisingRich/SRUG 에서 공개되어 있습니다.
전신 감쇠 보정을 위한 기하학 앵커 기반 PET 인식 멀티모달 의사 CT 합성: BIC-MAC 챌린지
Geometry-anchored PET-aware multimodal pseudo-CT synthesis for whole-body attenuation correction: the BIC-MAC Challenge
BIC-MAC 챌린지는 CT 없는 PET 감쇠 보정(attenuation correction)을 위해 NAC-PET, Dixon MRI, 2D 토포그램(topogram)으로부터 전신 의사 CT(pseudo-CT)를 합성하는 것을 목표로 합니다. 본 논문에서는 NAC-PET를 공간적 기준(spatial reference)으로 사용하고 게이트 잔차 융합(gated residual fusion)을 통해 토포그램 및 MRI 특징을 통합하는 기하학 앵커 기반 멀티모달 프레임워크인 GeoPACT를 제안합니다. 절대 좌표와 전신 조건화(whole-body conditioning)는 해부학적으로 일관된 패치 기반 예측을 지원합니다. 학습(training)은 다운스트림 PET 재구성 관련 오차를 줄이기 위해 감쇠 맵 지도(attenuation-map supervision)와 미분 가능한 PET 반응 대리 모델(PET-response surrogate)을 결합합니다. 테스트 시점에서는 CT나 PET 레이블 없이도 슬라이딩 윈도우 추론(inference)을 사용하여 전체 해상도 의사 CT 볼륨을 생성합니다.
SENSE 가속 뇌 MRI에서 해부학적으로 충실한 아티팩트 억제
Anatomically Faithful Artifact Suppression in SENSE Accelerated Brain MRI
배경: 4배 가속 sensitivity encoding(SENSE4)은 뇌 MRI 촬영 시간을 단축할 수 있으나, 노이즈를 증폭하고 기존 재구성 후 잔여 aliasing 아티팩트가 남을 수 있다. 목적: 이미지 도메인 정제(refinement) 프레임워크가 정량 측정에 필요한 해부학적 정보를 보존하면서 SENSE4 뇌 MRI 품질을 개선할 수 있는지 평가한다. 방법: 본 전향적 paired 연구에서 80명의 참가자가 fully sampled 및 4배 가속 SENSE T1-weighted MRI를 시행했다. 우리는 generalized self-attention과 상관 기반 잔차 아티팩트 정규화(regularization)를 통해 가속 재구성을 정제하는 Anatomy-aware Residual Attention Network(ART-Net)를 개발했다. 참가자 단위 분할로 학습, 검증, 독립 시험 코호트(45/5/30명)를 구성했다. 독립 시험 코호트에 대해 이미지 품질 및 해부학적 보존에 대한 정량, 분할 기반, 맹검 방사선과 평가를 시행했다. 결과: ART-Net은 평가된 방법 중 최고 수준의 재구성 성능을 보였으며, peak signal-to-noise ratio(31.03 +/- 2.88 dB)와 structural similarity index(0.963 +/- 0.022)를 달성했다. 또한 해부학적 충실도가 개선되어, 위축(atrophy) 평가와 관련된 medial temporal 구조(0.8824 +/- 0.0827) 및 whole-brain 영역(0.8857 +/- 0.0885)에 대해 수치상 최고 Dice 계수를 보였다. 더불어 ART-Net은 그래디언트(gradient) 충실도, 국소 대비 보존, 방사선과가 평가한 구조적 품질을 개선했다. 결론: ART-Net은 단일 기관 held-out 시험 코호트에서 SENSE4와 fully sampled T1-weighted 영상 간 일치를 개선하면서 분할 기반 해부학적 측정을 유지했다. 이러한 결과는 ART-Net이 영상 충실도를 높이고 신뢰할 수 있는 하위 해부학적 분석을 가능하게 함으로써 가속 뇌 MRI를 지원할 수 있음을 시사한다.
MIGA: 가속화된 3D 다중에코 MRI를 위한 암시적 진폭 모델링 기반 공유 기하학 가우시안 표현
MIGA:Shared-Geometry Gaussian Representation with Implicit Amplitude Modeling for Accelerated 3D Multi-Echo MRI
3차원(3D) 다중에코(multi-echo) MRI는 풍부한 해부학적 및 정량적 정보를 제공하지만, 반복적인 볼륨 인코딩으로 인해 획득 시간이 길어져 k-공간(k-space) 언더샘플링(undersampling)이 요구됩니다. 언더샘플링된 다중에코 데이터를 재구성하려면 에코에 따른 신호 변화를 보존하면서 공유된 해부학적 구조를 활용해야 합니다. 또한 전체 볼륨 모델링은 상당한 연산 및 메모리 부담을 초래합니다. 본 논문에서는 공유된 비등방성 가우시안 기하학, 좌표 조건부 다중 출력 진폭 네트워크, 명시적인 에코별 위상 변수로 구성된 스캔 맞춤형 프레임워크인 MIGA를 제안합니다. 가우시안 기하학은 여러 에코에 걸쳐 공통의 공간적 지지(spatial support)를 제공하고, 암시적(implicit) 네트워크는 공간적으로 구조화된 진폭 변화를 모델링하며, 위상 변수는 에코별 복소 신호 정보를 유지합니다. 모든 구성 요소는 획득된 다중 코일 k-공간만을 사용하여 공동으로 최적화(optimization)되며, 완전 샘플링된 학습(training) 데이터를 필요로 하지 않습니다. 실험 결과, MIGA는 다양한 영상화 작업 및 가속 계수 전반에서 비교 방법들을 일관되게 능가했으며, 언더샘플링이 강할수록 더 큰 향상을 보였습니다. 또한 MIGA는 평가된 전체 볼륨 다중에코 방법들 중에서 우수한 품질 대비 비용 균형을 달성했습니다. 이러한 결과는 가속화된 3D 다중에코 MRI 재구성을 위해 공유 가우시안 기하학과 암시적 에코 의존 진폭 모델링을 결합하는 것의 효과성을 뒷받침합니다.
PRIME-SVR: 태아 T2 매핑을 위한 물리 정보 기반 암시적 다중 에코 슬라이스-볼륨 재구성
PRIME-SVR: Physics-infoRmed Implicit Multi-Echo Slice-to-Volume Reconstruction for Fetal T2 mapping
슬라이스-볼륨 재구성(SVR)은 여러 방향으로 획득된 움직임으로 손상된 2D MRI 슬라이스 스택으로부터 고해상도(HR) 3D 태아 뇌 볼륨을 얻는 표준 방법이다. 기존 SVR 방법은 임상 범위의 에코 시간(TE)에 대해서만 최적화 및 검증되어, 비임상 TE에서의 사용을 제한하고, 다중 TE에 걸친 HR 재구성을 요구하는 태아 뇌 성숙의 프로토콜 및 센터 독립적 바이오마커인 정량적 T2 매핑과 호환되지 않게 한다. 우리는 다중 에코 MRI로부터의 공동 HR 재구성을 위한 최초의 암시적 신경 표현(INR) 프레임워크인 PRIME-SVR을 제안한다. 단일 완전 연결 네트워크는 공간 좌표에서 TE에 걸친 신호 강도로의 연속 함수를 모델링하고, 두 번째 네트워크는 슬라이스별 획득 열화를 추정한다. TE 간 일관성은 예상 T2 감쇠로부터의 편차에 페널티를 부과하는 Bloch 방정식 유도 정규화를 통해 강제되며, 열화된 스택에 대해 결합을 강화하는 적응적 가중치를 사용한다. 이 방법은 완전 자기지도(self-supervised) 방식이다. 우리는 두 센터, 두 벤더, 두 자기장 강도(1.5 T 및 0.55 T)에서 39건의 in vivo 태아 획득(13명의 대상자 x 3 TE)에 대해 PRIME-SVR을 검증한다. 최신 SVR과 비교하여 PRIME-SVR은 재구성 선명도를 47%, 해부학적 정확도를 30%, TE 간 구조적 일관성을 14% 향상시킨다. 이는 이전에 SVR로 접근할 수 없었던 후기 TE에서의 재구성을 가능하게 하여, 0.55 T에서 최초의 0.8 mm 등방성 T2 맵과 INR 기반 SVR에서 파생된 최초의 T2 맵을 산출한다. PRIME-SVR은 또한 다중 TE 재구성에 필요한 데이터를 줄여 정량 영상을 가속하며, 획득 시간을 15분에서 10분으로 단축하면서 백질 및 깊은 회백질에서 T2 정확도를 1.7% 이내로 유지하거나, 고품질 획득의 경우 5분으로 단축하면서 평균 T2 오차 2.3%를 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.