Cyclic Generative Adversarial Networks With Congruent Image-Report Generation For Explainable Medical Image Analysis
원문 초록
We present a novel framework for explainable labeling and interpretation of medical images. Medical images require specialized professionals for interpretation, and are explained (typically) via elaborate textual reports. Different from prior methods that focus on medical report generation from images or vice-versa, we novelly generate congruent image--report pairs employing a cyclic-Generative Adversarial Network (cycleGAN); thereby, the generated report will adequately explain a medical image, while a report-generated image that effectively characterizes the text visually should (sufficiently) resemble the original. The aim of the work is to generate trustworthy and faithful explanations for the outputs of a model diagnosing chest x-ray images by pointing a human user to similar cases in support of a diagnostic decision. Apart from enabling transparent medical image labeling and interpretation, we achieve report and image-based labeling comparable to prior methods, including state-of-the-art performance in some cases as evidenced by experiments on the Indiana Chest X-ray dataset
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
약지도 유방촬영에서 재구성 충실도를 평가하기 위한 진단 격차 프레임워크
A Diagnostic Gap Framework for Evaluating Reconstruction Fidelity in Weakly Supervised Mammography
의료 영상을 위한 약지도(weakly supervised) 파이프라인은 수년에 걸쳐 점점 더 널리 사용되고 있다. 이러한 시스템은 재구성(reconstruction), 생성(generation), 국소화(localization) 등 여러 단계와 구성 요소를 포함하는 경우가 많지만, 표준 평가 지표는 각 단계에서 임상적으로 관련 있는 정보가 보존되는지에 대한 통찰을 제한적으로만 제공한다. 우리는 진단 격차(diagnostic gap) 프레임워크를 제안한다. 이는 측정된 재구성 충실도의 함수로서 의사결정 보존(decision preservation)과 설명 보존(explanation preservation)을 측정하는 실용적인 평가 도구이다. 재구성의 효과를 국소화로부터 분리하기 위해, 우리는 세 가지 클래스 조건부 재구성기—VQ-VAE-GAN, VAE-GAN, 확산(diffusion, SDEdit)—로 구성된 충실도 사다리(fidelity ladder)를 사용하여 큐레이션된 병변 ROI 크롭에서 평가한다. 이는 지각 거리(perceptual distance, LPIPS 0.029–0.584)에서 20배 범위에 걸친다. 오토인코더 수준의 충실도에서는 의사결정과 설명이 모두 보존된다: AUC 변화는 $\pm$0.005 이내에 머물고, 속성 유사도(attribution similarity, HiResCAM, Grad-CAM++)는 높게 유지된다. 확산 모델 수준의 충실도에서는 둘 다 붕괴한다: 풀링(pooled) AUC는 0.253 하락하고, mass-pathology AUC는 우연(chance) 수준 이하로 떨어진다. 따라서 진단 격차는 재구성의 고유한 비용(intrinsic cost)이라기보다 재구성 충실도의 측정 가능한 함수이며, 이 프레임워크는 다단계 파이프라인이 진단 신호를 잃는 시점과 위치를 식별하는 아키텍처 무관(architecture-agnostic) 도구를 제공한다.
소아 골격 트리아지를 위한 인공지능 기반 적외선 영상: 서술적 리뷰와 향후 전망
Infrared Imaging Empowered by Artificial Intelligence for Pediatric Skeletal Triage: A Narrative Review and Future Perspectives
배경. 소아 근골격계 외상은 소아 응급실(ED) 방문의 최대 18%를 차지하지만, 진단은 여전히 전리 방사선 촬영에 의존한다. 생애 초기의 누적 저선량 방사선은 평생 백혈병 및 뇌 악성종양 위험을 높여, 무전리 트리아지 대안의 필요성을 촉발한다. 목적. 비전리 데이터로부터 임상적으로 해석 가능한 합성 방사선 사진 재구성을 생성하기 위해 광대역 적외선(IR) 영상과 딥러닝 교차 모달 변환을 결합한 하이브리드 프레임워크에 대한 근거를 종합한다. 접근. 650 nm부터 1 mm까지 5개의 IR 스펙트럼 대역(NIR-I, NIR-II, SWIR, MIR/LWIR, THz)과 이중 기하학(transmission/reflection) 촬영이 파장별 조직 깊이 및 생화학적 민감도를 어떻게 활용하는지를 검토한다. IR 데이터를 방사선 사진 등가 재구성으로 정렬·융합하는 데 사용되는 이미지-투-이미지 변환 네트워크(Pix2Pix, CycleGAN, Swin-Unet) 및 특징 매칭 알고리즘(SuperPoint, SuperGlue, ALIKED, LightGlue)을 요약한다. 함의. 소아 해부학적 특성(더 작은 단면, 더 얇은 피질골)은 IR 투과에 유리하여, 소형·휴대용·무전리 트리아지 하드웨어를 가능하게 한다. 타당성은 fNIRS 및 경두개 광생물조절(transcranial photobiomodulation) 근거에 기반한다: 근적외선이 피부, 두개골, 피질을 통과하여 혈역학적 모니터링에 충분한 신호를 제공한다—소아 전완부 또는 원위부 다리를 통과하는 경로보다 더 길고 감쇠가 큰 경로이다. 주요 장벽: IR/X-ray 페어 데이터셋 구축, 의료기기로서의 AI 규제 경로, 체형 및 피부 색소침착에 걸친 일반화, 촬영 프로토콜 표준화. 결론. 통합 다중 스펙트럼 IR+AI 영상은 소아 골격 방사선 촬영에 대한 유망한 무전리 보완 수단이다. 진전을 위해서는 다기관 페어 데이터셋, 외부 검증된 모델, IEC 60825-1에 따른 IR 광원 안전성 인증이 필요하다.
ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템
ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding
다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.
EchoTab: 정형 데이터 재구성을 통한 심초음파 진단용 측정 기반 표현 학습
EchoTab: Learning Measurement-Grounded Representations for Echocardiographic Diagnosis through Tabular Reconstruction
심초음파와 같은 다중 뷰(multi-view) 의료 영상 검사에서 진단 정보는 여러 뷰에 분산되어 있으며, 각 뷰는 심장 구조와 기능의 서로 다른 측면을 포착합니다. 임상 현장에서는 이러한 뷰들을 먼저 정량적 측정을 통해 해석한 후, 이를 바탕으로 구체적인 진단을 내립니다. 그러나 기존의 심초음파 표현 학습 방법들은 뷰와 진단 사이의 중간 표현으로서 측정을 명시적으로 모델링하지 않습니다. 그 결과 개별 측정이 다운스트림 진단 태스크에서 선택적으로 활용할 수 있는 형태로 명시적 표현되지 않아 정확한 진단을 저해합니다. 이러한 계층적 임상 워크플로우에서 착안하여, 본 논문에서는 심초음파 뷰와 진단 사이의 중간 표현으로 측정별 토큰(measurement-specific token)을 활용해 다중 뷰 심초음파 검사를 표현하는 측정 기반(measurement-grounded) 표현 학습 프레임워크인 EchoTab을 제안합니다. 각 측정 토큰은 추정에 관련된 뷰에 선택적으로 어텐션(attention)하며, 해당 측정값을 예측하도록 정형 데이터 재구성(tabular reconstruction)을 통해 학습됩니다. 이렇게 도출된 토큰들은 임상적으로 유의미한 구조적 및 기능적 특성을 인코딩하는 요인화된(factorized) 심초음파 표현을 형성하여 다운스트림 진단에 선택적으로 활용될 수 있습니다. 흔히 사용되는 대조 학습 접근법과 달리 EchoTab은 네거티브 샘플이나 큰 배치(batch) 크기를 필요로 하지 않습니다. 두 가지 데이터셋에 대한 실험을 통해 EchoTab이 다중 뷰 심초음파에서 진단 분류(classification) 성능을 향상시키는 효과적인 측정 기반 표현을 학습하며, 학습된 어텐션이 심장 전문의가 사용하는 기존의 측정-뷰 관계와 일치함을 입증합니다. 코드는 https://github.com/michelleespranita/EchoTab 에서 확인할 수 있습니다.
알츠하이머병 연구의 진단 및 진행 예측을 위한 정보 누출 제어 다중 모달 학습
Leakage-Controlled Multimodal Learning for Diagnosis and Progression Prediction in Alzheimer's Disease Research
알츠하이머병(Alzheimer's disease) 예측은 불규칙한 방문 주기, 이종의 측정값, 불완전한 모달리티 문제를 수반합니다. 본 연구에서는 맞춤형 SFCN MRI 인코더, 4개의 인과적 임상 트랜스포머(clinical Transformer), 공유 융합 모듈, 과업별 ODE-GRU 역학을 결합한 다중 모달 다중 과업(multimodal multitask) 프레임워크를 제안합니다. 미세조정(fine-tuning)과 LoRA를 적용해 마지막 두 개의 MRI 블록을 적응시킵니다. Task-DRO는 과업 간 손실의 균형을 맞추며, Group-CVaR은 코호트 및 동반 질환 계층을 목표로 합니다. 브랜치별 입력 제어, 피험자 그룹화 분할, 경험적 인과성 검증을 통해 종단적 평가를 지원합니다. ADNI, OASIS-2, MIRIAD의 2,649명 피험자와 17,317회 방문 데이터를 기반으로 한 내부 검증에서, 진단, 1단계 진행, 첫 1단계 방문 진행의 AUROC는 각각 0.935 +/- 0.002, 0.884 +/- 0.003, 0.870 +/- 0.005를 기록했습니다(3개 시드에 대한 평균 +/- 표준편차). 상응하는 하이브리드 AUROC는 각각 0.951, 0.909, 0.896입니다. 다음 방문 시점의 MMSE 평균 절대 오차(MAE)는 1.61점이며, 최하위 계층의 진단 AUROC는 0.827 +/- 0.008입니다. 샘플링된 ADNI 설명 분석을 통해 과업별 입력 의존성을 식별했습니다. OASIS-3 외부 검증에서는 네트워크 및 하이브리드 진단 AUROC가 각각 0.763과 0.767, 하이브리드 다음 방문 진행 AUROC가 0.764를 기록했고, 진단 캘리브레이션 오차는 0.197에서 0.052로 감소했으며, 다음 방문 MMSE MAE는 0.86을 나타냈습니다. 시드 42에 대한 6개 구성 요소의 대응 절제 연구(ablation study) 결과, 풀링된 진단 및 진행 AUROC 차이는 -0.004에서 +0.004 사이로 나타났으며, 임상 인코더 입력을 제거하면 진단 AUROC가 0.272 감소했습니다. 본 프레임워크는 종단적 예측, 결측 모달리티 처리, 보조 동반 질환 모델링, 하위 그룹 평가를 단일 파이프라인 내에 통합합니다.
CineMR: 정량적 심장 MRI 평가를 위한 도구 통합형 비전-언어 추론
CineMR: Tool-Integrated Vision-Language Reasoning for Quantitative Cardiac MRI Assessment
시네(cine) 영상을 포함한 심혈관 자기공명영상(CMR)은 심장 형태 및 심실 기능의 비침습적 평가를 위한 표준 기준입니다. 시네 CMR 해석은 정성적 시각 평가와 심실 부피, 박출률(ejection fraction), 심근 질량, 벽 두께 및 국소 벽 운동(regional wall motion)에 대한 정량적 측정을 통합합니다. 현재의 의료용 비전-언어 모델(VLM)은 분석 도구 없이는 다차원 시네 영상으로부터 정량적 측정값을 신뢰성 있게 도출할 수 없습니다. 본 논문에서는 심장 영상 분석 도구를 호출하고 그 출력을 인터리브된 추론 과정에 통합하여 정량적 CMR 평가를 수행하는 도구 증강 VLM인 CineMR을 제시합니다. 또한 정량적 지표 추출, 다중 클래스 진단, 감별 진단을 포괄하는 다중 코호트 시각 질문 답변(VQA) 벤치마크를 분할(segmentation), 시상 선택(phase selection), 부피 측정, 형태 측정 및 국소 벽 운동 분석 도구와 함께 구축합니다. CineMR은 도구 상호작용 궤적에 대한 지도 미세조정(SFT)을 거친 후 조건부 도구 사용 보상을 적용한 그룹 상대 정책 최적화(GRPO)를 통해 학습됩니다. 다중 코호트 시네 CMR 벤치마크에서 CineMR은 35.9%의 pass@1과 58.9%의 pass@4를 달성한 반면, 백본인 Qwen3-VL-8B는 1.5% pass@1, LLaVA-Med v1.5 및 MedGemma-4B는 각각 0.0%와 7.0% pass@1에 그쳤습니다. 올바른 도구 호출 비율은 SFT 후 78.9%에서 GRPO 후 99.8%에 도달했습니다. 실시간 도구 출력은 직접적인 모델 예측 대비 심실 측정 정확도를 20.4--23.7% 향상시켰으며, 모든 도구를 제거하면 pass@1이 35.9%에서 27.9%로 감소했습니다. 이러한 결과는 정량적 시네 CMR 추론을 위한 신뢰할 수 있는 도구 사용의 중요성을 강조하며, 보조적 심장 영상 평가를 위한 유망한 접근법으로서 CineMR의 가능성을 뒷받침합니다. 코드, 벤치마크 리소스 및 모델 가중치는 https://github.com/AI-MIND-Lab/CineMR 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.