Dual-Domain Self-Supervised Learning for Accelerated Non-Cartesian MRI Reconstruction
원문 초록
While enabling accelerated acquisition and improved reconstruction accuracy, current deep MRI reconstruction networks are typically supervised, require fully sampled data, and are limited to Cartesian sampling patterns. These factors limit their practical adoption as fully-sampled MRI is prohibitively time-consuming to acquire clinically. Further, non-Cartesian sampling patterns are particularly desirable as they are more amenable to acceleration and show improved motion robustness. To this end, we present a fully self-supervised approach for accelerated non-Cartesian MRI reconstruction which leverages self-supervision in both k-space and image domains. In training, the undersampled data are split into disjoint k-space domain partitions. For the k-space self-supervision, we train a network to reconstruct the input undersampled data from both the disjoint partitions and from itself. For the image-level self-supervision, we enforce appearance consistency obtained from the original undersampled data and the two partitions. Experimental results on our simulated multi-coil non-Cartesian MRI dataset demonstrate that DDSS can generate high-quality reconstruction that approaches the accuracy of the fully supervised reconstruction, outperforming previous baseline methods. Finally, DDSS is shown to scale to highly challenging real-world clinical MRI reconstruction acquired on a portable low-field (0.064 T) MRI scanner with no data available for supervised training while demonstrating improved image quality as compared to traditional reconstruction, as determined by a radiologist study.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PRIME-SVR: 태아 T2 매핑을 위한 물리 정보 기반 암시적 다중 에코 슬라이스-볼륨 재구성
PRIME-SVR: Physics-infoRmed Implicit Multi-Echo Slice-to-Volume Reconstruction for Fetal T2 mapping
슬라이스-볼륨 재구성(SVR)은 여러 방향으로 획득된 움직임으로 손상된 2D MRI 슬라이스 스택으로부터 고해상도(HR) 3D 태아 뇌 볼륨을 얻는 표준 방법이다. 기존 SVR 방법은 임상 범위의 에코 시간(TE)에 대해서만 최적화 및 검증되어, 비임상 TE에서의 사용을 제한하고, 다중 TE에 걸친 HR 재구성을 요구하는 태아 뇌 성숙의 프로토콜 및 센터 독립적 바이오마커인 정량적 T2 매핑과 호환되지 않게 한다. 우리는 다중 에코 MRI로부터의 공동 HR 재구성을 위한 최초의 암시적 신경 표현(INR) 프레임워크인 PRIME-SVR을 제안한다. 단일 완전 연결 네트워크는 공간 좌표에서 TE에 걸친 신호 강도로의 연속 함수를 모델링하고, 두 번째 네트워크는 슬라이스별 획득 열화를 추정한다. TE 간 일관성은 예상 T2 감쇠로부터의 편차에 페널티를 부과하는 Bloch 방정식 유도 정규화를 통해 강제되며, 열화된 스택에 대해 결합을 강화하는 적응적 가중치를 사용한다. 이 방법은 완전 자기지도(self-supervised) 방식이다. 우리는 두 센터, 두 벤더, 두 자기장 강도(1.5 T 및 0.55 T)에서 39건의 in vivo 태아 획득(13명의 대상자 x 3 TE)에 대해 PRIME-SVR을 검증한다. 최신 SVR과 비교하여 PRIME-SVR은 재구성 선명도를 47%, 해부학적 정확도를 30%, TE 간 구조적 일관성을 14% 향상시킨다. 이는 이전에 SVR로 접근할 수 없었던 후기 TE에서의 재구성을 가능하게 하여, 0.55 T에서 최초의 0.8 mm 등방성 T2 맵과 INR 기반 SVR에서 파생된 최초의 T2 맵을 산출한다. PRIME-SVR은 또한 다중 TE 재구성에 필요한 데이터를 줄여 정량 영상을 가속하며, 획득 시간을 15분에서 10분으로 단축하면서 백질 및 깊은 회백질에서 T2 정확도를 1.7% 이내로 유지하거나, 고품질 획득의 경우 5분으로 단축하면서 평균 T2 오차 2.3%를 달성한다.
SHFormer: 적응형 MRI 재구성을 위한 동적 스펙트럴 필터링 합성곱 신경망 및 고역통과 커널 생성 트랜스포머
SHFormer: Dynamic Spectral Filtering Convolutional Neural Network and High-pass Kernel Generation Transformer for Adaptive MRI Reconstruction
어텐션 메커니즘(AM)은 영상 작업에 필요한 핵심 정보를 선택적으로 집중하고, 원거리 픽셀 이웃 간의 관계를 포착하여 특징 표현을 계산한다. 가속 MRI 재구성은 AM의 이점을 받는데, 영상화 과정이 이미지 표현에 비국소적으로 영향을 미치는 푸리에 영역 측정을 포함하기 때문이다. 그러나 AM 기반 모델은 저주파 정보를 포착하는 데는 더 능숙하지만 고주파 표현에 대한 역량이 제한되어, 모델을 매끄러운 재구성에 제한한다. 또한 AM 기반 모델은 다중모달 MRI 데이터에 대해 모드별 재학습이 필요한데, 지식이 국소적 문맥 변화에 국한되어 이질적 도메인 간 전이 가능한 특징을 포착하기에 불충분할 수 있기 때문이다. 이러한 과제를 해결하기 위해, 우리는 확장 가능한 MRI 재구성을 위한 신경조절(neuromodulation) 기반 판별적 다중 스펙트럴 AM을 제안하며, 이는 (i) 고품질 재구성을 위해 문맥 인식 고주파 세부 정보를 전파하고, (ii) 다중모달 MRI에서 편차가 있는 미관측 도메인 간 재사용 가능한 특징을 포착할 수 있다. 제안된 네트워크는 모드별 전이 가능한 특징을 포착하는 스펙트럴 필터링 CNN과 고주파 세부 정보에 초점을 맞춘 동적 고역통과 커널 생성 트랜스포머로 구성된다. 우리는 이질적 MRI 데이터 하에서 지도 학습 및 자기지도 학습, 확산 모델 기반 학습, 폐쇄 집합 및 개방 집합 일반화, 해석 기반 분석에 대한 비교 연구로 모델을 평가한다. 우리의 방법은 미관측 시나리오에서 PSNR 기준 약 1 dB, SSIM 기준 약 0.01의 최대 개선 폭으로 확장 가능하고 고품질 재구성을 제공한다. Code: https://github.com/sriprabhar/SHFormer
Self-Supervised Implicit CEST Reconstruction via Physics-Informed Lorentz Encoding
비지도 심장 시네 MRI 재건을 위한 이미지 특징 임베딩 기반 암묵적 신경 표현 향상
Enhancing Implicit Neural Representations with Image Feature Embedding for Unsupervised Cardiac Cine MRI Reconstruction
심장 시네 자기공명영상(MRI)은 방사선과 의사에게 동적 정보를 제공하는 중요한 진단 도구입니다. 획득 속도를 높이기 위해 언더샘플링된 k-공간 데이터가 자주 사용되며, 이 경우 코일 감도 인코딩과 사전 정보를 결합하여 누락된 데이터를 복원하는 재건 방법이 필요합니다. 심층 학습(deep learning) 접근법은 데이터 적응형 사전 정보를 활용하는 방식으로 더 많은 주목을 받고 있습니다. 지도 학습 방식이 일반적인 선택지이지만, 이는 완전히 샘플링된 참조 데이터에 의존하며 이러한 데이터가 항상 확보 가능한 것은 아닙니다. 비지도 방식은 완전히 샘플링된 참조 데이터의 필요성을 제거하므로, 심장 시네 MRI 재건에서 유리할 수 있습니다. 그 중 암묵적 신경 표현(INR)은 단순한 구조와 우수한 재건 품질로 인해 높은 잠재력을 보여 왔습니다. 본 연구에서는 I-FP-INR이라 명명한 이미지 도메인 이중 브랜치 INR 프레임워크를 제안합니다. 이 프레임워크는 기존 INR 설계를 확장하여 추가적인 특징(feature) 처리 브랜치를 도입합니다. 이 설계는 보완적인 특징 임베딩(feature embedding)을 추출하여 전체적인 표현을 향상시키고 재건에 기여하는 것을 목표로 합니다. 공개 데이터셋과 자체 데이터 모두에 대한 광범위한 평가에서, 다양한 시나리오에 걸쳐 강력한 견고성과 함께 기준선(baseline) 방법 대비 재건 품질의 일관된 향상이 확인되었습니다.
특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화
Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction
이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.
비전 트랜스포머에서의 형태 기반 도형-배경 조직화
Shape-based Figure-Ground Organization in Vision Transformers
풍부한 지각 구조가 최신 비전 인코더에서 나타난다. 여러 연구에서 다수의 비전 트랜스포머의 내부 표현이 전경 객체를 배경으로부터 분리한다는 점이 밝혀졌으나, 이러한 모델이 어떤 시각적 단서를 학습했는지는 거의 알려져 있지 않다. 본 연구에서는 25개의 다양한 비전 트랜스포머에서 도형-배경 조직화가 표면적인 텍스처 통계가 아니라 일반화 가능한 형태 단서에 의존하는지를 조사한다. 이를 위해 패치를 도형 또는 배경으로 분류하는 선형 프로브를 학습시키고, 개별 단서를 체계적으로 조작한 합성 자극에 대해 제로샷으로 평가한다. 다양한 비전 인코더에서 프로브가 입력 이미지의 텍스처를 무작위로 교체해도 견고하다는 것을 확인했으며, 이는 나타나는 도형-배경 조직화가 형태 단서에 의존함을 시사한다. 또한 프로브는 개별 형태 단서, 인식 가능성, 공간적 사전 정보를 통제한 합성 이미지에도 제로샷 방식으로 일반화된다. 실험 결과 둘러싸임 및 볼록성 단서의 영향이 강하게 나타났으며, 평행성과 대칭성에 대한 결과는 더 미묘했다. 보다 상세한 분석에서는 더 큰 모델에서 형태 기반 단서의 증거가 더 강하고, 객체 인식을 위해 학습된 모델은 텍스처 변화에 덜 견고한 경향이 있으며, 도형-배경 정보는 중간 층에서 가장 두드러지게 나타남을 보였다. 종합하면, 본 연구는 최근 비전 인코더에서 나타나는 도형-배경 조직화가 일반화 가능한 형태 단서에 크게 의존함을 보여 주며, 비전 트랜스포머의 내부 처리에 대한 이해를 증진하고 인간 시지각에 대한 계산 연구의 흥미로운 길을 연다. 코드와 데이터는 https://github.com/mtangemann/mlvbench 에서 이용할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.