A Learnable Variational Model for Joint Multimodal MRI Reconstruction and Synthesis
원문 초록
Generating multi-contrasts/modal MRI of the same anatomy enriches diagnostic information but is limited in practice due to excessive data acquisition time. In this paper, we propose a novel deep-learning model for joint reconstruction and synthesis of multi-modal MRI using incomplete k-space data of several source modalities as inputs. The output of our model includes reconstructed images of the source modalities and high-quality image synthesized in the target modality. Our proposed model is formulated as a variational problem that leverages several learnable modality-specific feature extractors and a multimodal synthesis module. We propose a learnable optimization algorithm to solve this model, which induces a multi-phase network whose parameters can be trained using multi-modal MRI data. Moreover, a bilevel-optimization framework is employed for robust parameter training. We demonstrate the effectiveness of our approach using extensive numerical experiments.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CTSpinoPelvic1K: 단일 좌표계의 척추·골반·늑골·대퇴골, 요천추 전환부 해부학 주석
CTSpinoPelvic1K: spine, pelvis, ribs and femora in one coordinate frame, annotated for lumbosacral transitional anatomy
목적: 요천추 접합부 천추는 전체 척추 영상에서 C2부터 caudal 방향으로 세어 이름을 붙이지만, 요추 수술 계획은 C2 없이 요추만 영상(T12–S1)으로 세운다. 복부·골반 CT는 그 구간에 최하위 늑골과 골반까지 포함한다. 요천추 전환 천추(lumbosacral transitional vertebra, LSTV)가 개수를 바꾸면 국소 해부는 모호해진다. 늑골 없는 천추가 네 개이면 요추 늑골을 동반한 L1일 수도 있고 천골에 동화된 L5일 수도 있으며, 여섯 개이면 제6요추, 무형성 늑골을 동반한 T12, 또는 요추화된 S1일 수 있다. CTSpinoPelvic1K는 개수 없이 국소 형태만으로 이를 판별할 수 있는지 묻는다. CTSpine1K의 천추와 CTPelvic1K의 골반은 동일 환자를 각각 다뤘으나 결합되지 않았고, 본 공개판은 한 시리즈에서 이를 결합하고 어느 쪽에도 없던 골을 추가한다. 802건의 CT 기록을 제공하며, 레벨별 늑골·대퇴골, 최하위 늑골 부착 천추와 S1에 고정된 레벨, L6·T13·분리된 S1·요추 늑골 클래스를 두어 이상을 그대로 기록한다. 취득 및 검증 방법: 각 환자의 골량이 가장 많은 시리즈에서 VerSe-native 체계 하에 CTSpine1K와 CTPelvic1K 라벨을 짝지었다. 검증은 기하 불변량(802/802 통과), 5,749개 늑골에 대한 늑골–천추 대응(0.035% 오차), 문헌값과 일치하는 척골–골반 측정을 포함했다. 데이터 형식 및 사용 안내: 환자 단위 그룹·LSTV 계층화 5-fold 분할과 로더가 있는 NIfTI 영상/라벨 쌍; https://doi.org/10.5281/zenodo.22139642 에 보관. 잠재적 응용: 국소 특징으로부터 천추 분류, cadaveric 형태계량 갱신, 척골–골반 평가, 기회적 스크리닝, 공개 수술 전 요추 코호트가 없는 상황에서의 수술 계획 연구(377건 prone). 한계: 흉추 ground truth는 시야(field-of-view) 제한, 자세 각도는 supine, 별도 test set 없음, 늑골은 triaged-review 의사라벨, Castellvi 등급은 33건에 대한 두 판독자 합의.
관상동맥 조영술 영상 기반 SYNTAX 점수 산정을 위한 임상 워크플로우 모델링
Modeling Clinical Workflow for SYNTAX Scoring from Coronary Angiography Videos
SYNTAX 점수는 관상동맥 질환(coronary artery disease)에서 해부학적 병변 복잡도를 평가하고 후속 치료 방침을 결정하는 데 임상적으로 확립된 도구이다. 그러나 자동화된 SYNTAX 점수 산정은 일반적으로 관상동맥 조영술 영상으로부터 환자 단위 점수로의 직접 회귀 문제로 정식화되어 왔다. 본 연구에서는 SYNTAX 점수 산정을 혈관 분절(vessel segment) 정체성을 보존하는 해부학적 추론 문제로 재정식화하고, 학습 과정을 임상 워크플로우와 명시적으로 정렬시키는 계층적 모델링 프레임워크를 제안한다. 본 접근법은 프레임과 뷰(view) 전반에 걸쳐 혈관 분절의 정체성을 유지하고, 분절 단위로 협착(stenosis) 중증도를 추정하며, 관상동맥 해부구조에 따라 증거를 계층적으로 집계한다. 동시에, 도메인 특화 데이터의 부족 문제를 해결하기 위해 여러 공개 관상동맥 조영술 데이터셋(dataset)을 통합 및 보완하여, 완성된 혈관 분할(segmentation)과 이로부터 도출된 구조적 주석을 포함하는 대규모 리소스를 구축하였다. 실험 결과, 혈관 분절 단위의 협착 임베딩(embedding)이 기준선(baseline) 모델 대비 설명력을 향상시키고 예측 변동성을 감소시키는 것으로 나타났으며, R^2 점수는 0.201 향상되고 dev STD는 18.4% 감소하였다. 이러한 결과는 다중 뷰 관상동맥 조영술 영상으로부터 신뢰할 수 있고 안정적인 자동화된 SYNTAX 점수 산정을 위해 구조 정렬 모델링이 필요함을 보여준다. GitHub 링크는 https://github.com/VersaceSu7/SYNTAX_score_777 이다.
CrossSpine: 자동 Pfirrmann 등급 분류를 위한 해부학적 사전지식 기반 다중 스케일 교차 시퀀스 어텐션
CrossSpine: Multi-scale Cross-sequence Attention with Anatomical Priors for Automated Pfirrmann Grading
요추 디스크 퇴행(Lumbar Disc Degeneration)의 자동 등급 분류는 요통과 관련된 구조적 변화를 객관적으로 정량화하는 데 필수적이다. 우리 데이터에서 기준선 모델의 성능이 낮음을 확인한 바, 이러한 한계를 극복하도록 설계된 프레임워크를 제안한다. 첫째, 서로 다른 MRI 시퀀스의 특징을 다중 공간 스케일에서 적응적으로 융합하기 위해 교차 시퀀스 어텐션 메커니즘을 사용하는 새로운 아키텍처인 Cross-sequence Attention Spine(CrossSpine) 프레임워크를 제시한다. 둘째, 자동 Pfirrmann 등급 분류를 목표로 정교하게 큐레이션한 데이터셋을 기여한다. 마지막으로, 해부학적 디스크 수준 정보를 통합하여 모델이 수준별 퇴행 사전지식을 학습할 수 있게 하는 IVD-aware 분류 기법을 도입한다. 실험 결과 이 접근법의 우수성이 입증되었다. CrossSpine은 기준선 대비 Macro F1 점수에서 125%를 초과하는 상대적 향상을 달성했으며, Mean AUPRC는 99%, Mean AUROC는 36% 향상되었다.
BoneAgeTW2: Tanner-Whitehouse 2 방법, 심층 학습 및 분포 곡선을 활용한 자동 골격 성숙도 평가와 임상 보고서 생성
BoneAgeTW2: Automated Skeletal Maturation Assessment via the Tanner-Whitehouse 2 Method, Deep Learning, and Clinical Report Generation with Distribution Curves
본 논문은 BoneAgeTW2를 제시한다. BoneAgeTW2는 골격 성숙도 평가를 위한 Tanner-Whitehouse 2(TW2) 임상 프로토콜 전체를 end-to-end로 자동화하는 최초의 완전 오픈소스 시스템이다. 이 시스템은 방사선 영상에서 20개 TW2 수부 골을 정밀 탐지 및 위치 추정하기 위해 YOLOv8을 사용하고, 20개의 독립적인 분류 헤드를 갖춘 EfficientNet-B3 백본으로 각 골에 성숙 단계(A-I)를 동시에 할당한다. 이러한 예측 결과를 바탕으로 시스템은 20개 골 전체에 대한 대화형 가우시안 분포 곡선을 포함한 임상 PDF 보고서를 자동 생성하여, 인구 규범과 직접 비교할 수 있게 한다. 모델은 공개 RSNA Pediatric Bone Age Challenge 데이터셋(수부 방사선 영상 12,611건)으로 학습되며, 전역 골 연령 주석으로부터 골별 단계 레이블을 도출하는 의사 레이블링(pseudo-labeling) 전략을 사용한다. 전체 코드베이스는 https://github.com/jmmana/BoneAgeTW2 에서 공개적으로 이용 가능하다.
해부학적으로는 충실하지만 시간적으로는 분산됨: 심초음파 기반 좌심실 박출률 추정을 위한 귀속(attribution) 검증
Anatomically Faithful but Temporally Diffuse: Auditing Attribution for Left-Ventricular Ejection-Fraction Estimation from Echocardiography
심층 비디오 모델은 심초음파(echocardiography)로부터 좌심실 박출률(EF)을 거의 전문가 수준의 정확도로 추정하며, 사후 귀속(attribution)은 이러한 모델이 올바른 위치를 보고 있는지를 검증하는 데 점점 더 많이 사용된다. EF는 수축기말(end-systolic, ES) 및 이완기말(end-diastolic, ED) 프레임으로 정의되므로, 충실한 설명은 공간적으로 좌심실뿐 아니라 시간적으로도 결정적인 프레임을 국소화해야 한다. EchoNet-Dynamic에서 파인튜닝(fine-tuning)된 두 가지 구조적으로 상이한 회귀 모델에 대해 공간적 그라운딩(spatial grounding), 교란(perturbation), 시간적 의존(temporal reliance)의 세 축을 따라 귀속의 충실성을 검증한다: Chefer relevance propagation으로 검증한 자기지도 VideoMAE 트랜스포머, 및 Grad-CAM으로 검증한 Kinetics 사전학습(pre-training) R(2+1)D 컨볼루션 네트워크. 모든 통계는 전체 1,276건 연구 테스트 분할에 대해 부트스트랩 95% 신뢰구간으로 보고되며, 명시적 우연(chance) 기준선 및 어텐션 롤아웃과 무작위 귀속 대조군과 비교된다. 시간적 무효(null)가 아니라 뚜렷한 비대칭을 발견한다. 두 모델 모두 해부학적으로는 강하게 충실하지만(우연 대비 3.04배 및 3.76배) 시간적으로는 약하게만 국소화된다: 튜블릿 가림(tubelet occlusion)은 VideoMAE에서 ES/ED에 대한 인과적 의존을 우연 대비 1.05배(95% CI [1.037, 1.068]), R(2+1)D에서는 1.15배([1.134, 1.166])로 나타낸다 — 공간에서보다 3배 약한 집중도 — 그리고 귀속은 이러한 약점을 충실히 반영한다. 수렴과 아키텍처를 분리하면 시간적 의존은 아키텍처에 의해 결정되고 수렴 불변(convergence-invariant)임을 보여준다: R(2+1)D는 단일 학습 에포크 후 1.14배, 수렴 시 1.15배에 도달하는 반면, 두 VideoMAE 변형 모두 사전학습이나 정확도와 관계없이 1.05배를 유지한다. 따라서 공간적 충실성은 시간적 충실성을 함의하지 않으며, 이러한 부족은 추가 학습으로도 보완되지 않는다.
Spatially Grounded Concept Bottleneck Models for Trustworthy Breast Ultrasound Diagnosis
토론
이 논문과 연결된 포럼 글이 아직 없습니다.