다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.
NV-Reason-CT: CT 분석을 위한 3D 비전-언어 모델
{"title_ko": "NV-Reason-CT: CT 분석을 위한 3D 비전-언어 모델", "abstract_ko": "본 논문은 흉부 및 복부 CT를 위한 생성형 비전-언어 모델인 NV-Reason-CT를 제안한다. 이 모델은 네이티브 3D 시각 인코딩과 방사선 전문의가 안내한 추론(reasoning)을 결합한다. 네이티브 3D 비전 트랜스포머와 언어 모델을 결합하며, 추가적인 공간 토큰 병합 없이 모든 시각 토큰과 그 명시적 3D 좌표를 언어 디코딩에 전달한다. 이를 통해 비전 인코더 내부와 텍스트와의 공동 처리 과정에서 언어 모델의 위치 인코딩(positional encoding)을 거치며 체적(volumetric) 공간 정보를 유지한다. 70,111개의 고유 CT 영상 입력에서 수집한 약 55만 건의 멀티모달 지시(instruction) 예시로 구성된 큐레이션 코퍼스에서 학습하며, 표준화된 리포트, 이상 소견 중심 및 해부학 특화 질문, 다중 턴 상호작용, 녹음·전사된 전문가 CT 판독에서 도출한 방사선 전문의 작성 추론을 결합한다. 전문가 주석은 직접 지도(supervision)를 제공하고 리포트에 근거한 추가 합성 추론을 안내한다. End-to-end 지도 미세조정(SFT) 이후 흉부·복부 이상 소견 집합에 대한 검증 가능한 보상(verifiable rewards)을 사용한 Group Relative Policy Optimization(GRPO)을 수행한다. 모델은 이상 소견 분류, 리포트 생성, 검토 가능한 관찰·감별 진단·불확실성을 포함한 대화형 추론을 지원한다. 평가는 공개 CT 벤치마크와 홀드아웃 NIH 코호트에 걸쳐 이루어진다. CT-RATE에서 NV-Reason-CT는 과제별 분류 헤드 없이 macro-F1 0.614, macro-AUROC 0.871을 달성하며, 생성 리포트는 리포트 기반 macro-F1 0.592를 기록한다. 방사선 전문의를 대상으로 한 예비 연구에서 AI 보조 검토는 긍정적인 신뢰도 평가를 받았고, 평균 보고된 판독·리포팅 시간 50% 감소와 연관되었다. 체적 의료 영상을 위한 설명 가능 AI(explainable AI)의 재현 가능한 연구를 지원하기 위해 모델과 학습 코드를 공개한다."}
의료 멀티모달 대규모 언어 모델(MLLM)은 점점 더 복잡한 영상 이해 작업을 수행할 것으로 기대되고 있지만, 시각적 해석에서의 빈번한 오류로 인해 신뢰성이 종종 저하된다. 이러한 실패를 체계적으로 추적하기 위해, 우리는 고수준 임상 작업에서부터 기본적인 시각 지각까지 계층을 따라 탐색한다. 이에 따라 우리는 Perception-Bench를 도입한다. 이는 113만 개의 샘플로 구성된 대규모 벤치마크로, 2D 및 3D 영상의학 영상을 모두 아우르며 속성 판단, 공간적 그라운딩(spatial grounding), 공간 이해, 질병 예측, 이상 탐지, 보고서 생성의 6가지 차원에서 의료 MLLM을 평가한다. Perception-Bench에 대한 우리의 분석은 기존 MLLM이 위치, 크기, 밀도와 같은 가장 기본적인 병변 속성조차 포착하는 능력이 부족함을 보여준다. 임상 출력을 1차 시각 증거에 그라운딩(grounding)하지 못하는 이러한 한계는, 모델의 진단적 비신뢰성이 저수준 시각 지각의 중요하지만 간과된 병목에 뿌리를 두고 있음을 드러낸다. 이에 영감을 받아, 우리는 RadSight를 제안한다. RadSight는 고유 영상 공간 구조를 보존하는 이중 2D/3D 인코더 아키텍처 위에 구축된 지각 중심 MLLM이다. RadSight는 의료 영상 이해를 시각-언어 정렬, 세밀한 시각 지각, 임상 진단, 진단적 해석의 4단계 점진적 과정으로 공식화한다. 이 모델은 점진적 커리큘럼 학습(progressive curriculum learning)을 사용하여 837만 개의 지각 지향 코퍼스로 학습된다. Perception-Bench에서 RadSight는 특히 공간적 그라운딩과 임상 진단에서 뚜렷한 향상을 보이며, 6가지 평가 차원 전반에서 기존 MLLM을 일관되게 능가한다. 또한 공개 2D 및 3D 의료 벤치마크에서도 일관된 개선을 달성하여, 견고한 저수준 시각 지각이 신뢰할 수 있는 임상 이해의 핵심 기반이 됨을 추가로 입증한다. 코드와 모델은 공개적으로 제공될 예정이다.
방사선학 보고서 생성의 자동화는 보고 일관성과 임상 워크플로를 개선하는 데 중요하다. 대조적 언어-이미지 사전학습(Contrastive Language-Image Pretraining, CLIP)은 의료 비전-언어 모델링을 발전시켰지만, 기존 CLIP 스타일 접근법은 복잡한 보고서 생성에 필요한 세밀한 의미적 지도를 여전히 충분히 제공하지 못할 수 있다. 표준 CLIP은 주로 교차 모달 정렬을 최적화하며, 시각 표현 학습을 이끄는 텍스트 임베딩 공간을 명시적으로 구조화하지 않는다. 이러한 한계를 해결하기 위해, 우리는 CLIP에 모달 내 텍스트 대조 학습을 추가한 일반적인 의료 비전-언어 사전학습 프레임워크인 TextSLIP을 제안한다. 자기지도 증강 텍스트 쌍을 통해 텍스트 임베딩 변별력을 향상시킴으로써, TextSLIP은 시각 인코더에 더 세밀한 언어적 지도를 제공하도록 설계되었다. 초기 검증으로, 우리는 700만 개의 뇌 MRI 이미지-텍스트 쌍으로 구성된 큐레이션된 데이터셋에서 TextSLIP을 사전학습하고, 보고서 생성 아키텍처 내에서 사전학습된 시각 인코더를 파인튜닝하였다. CLIP 스타일 베이스라인과의 통제된 비교에서 TextSLIP은 보고서 생성 지표에서 일관된 개선을 보였다. 절제(ablation) 연구는 텍스트 측 자기지도가 관찰된 향상에 기여함을 추가로 시사한다. 이러한 결과는 텍스트 수준의 대조 학습이 의료 시각-텍스트 정렬을 개선하는 유망한 방향임을 나타내며, 추가 의료 도메인에 걸친 더 넓은 범위의 검증이 중요한 다음 단계로 남아 있다.
Vision-Language Foundation Models (VLMs), trained on large-scale multimodal datasets, have driven significant advances in Artificial Intelligence (AI) by enabling rich cross-modal reasoning. Despite their success in general domains, applying these models to medical imaging remains challenging due to the limited availability of diverse imaging modalities and multilingual clinical data. Most existing medical VLMs are trained on a subset of imaging modalities and focus primarily on high-resource languages, thus limiting their generalizability and clinical utility. To address these limitations, we introduce a novel Vietnamese-language multimodal medical dataset consisting of 2,757 whole-body PET/CT volumes from independent patients and their corresponding full-length clinical reports. This dataset is designed to fill two pressing gaps in medical AI development: (1) the lack of PET/CT imaging data in existing VLMs training corpora, which hinders the development of models capable of handling functional imaging tasks; and (2) the underrepresentation of low-resource languages, particularly the Vietnamese language, in medical vision-language research. To the best of our knowledge, this is the first dataset to provide comprehensive PET/CT-report pairs in Vietnamese. We further introduce a training framework to enhance VLMs' learning, including data augmentation and expert-validated test sets. We conduct comprehensive experiments benchmarking state-of-the-art VLMs on downstream tasks. The experimental results show that incorporating our dataset significantly improves the performance of existing VLMs. We believe this dataset and benchmark will serve as a pivotal step in advancing the development of more robust VLMs for medical imaging, especially for low-resource languages and clinical use in Vietnamese healthcare. The source code is available at https://github.com/AIoT-Lab-BKAI/ViPET-ReportGen.
최근 대규모 언어 모델(LLM)의 발전과 이를 시각-언어 모델(VLM)로 확장한 연구 덕분에 보고서 생성과 같은 작업에서 텍스트와 이미지를 결합하기가 더 쉬워졌다. 기존 의학 분야 VLM은 일반적으로 2D 이미지(흉부 X-ray)에 초점을 맞추며, 3D 영상-텍스트 페어 데이터의 부족으로 3D 영상으로의 확장이 어려웠다. 따라서 우리는 교종(glioma)과 수막종(meningioma) 사례의 3D MRI 스캔을 사용하여 뇌 종양학을 위한 3D 영상-텍스트 데이터셋을 구축하는 새로운 방법을 제안한다. 우리는 여러 LLM이 협력하여 보고서를 생성하고 검증하는 협력 시스템을 사용하여 보고서가 정확하고 명확하도록 한다. 새로운 3D MRI-텍스트 데이터셋을 활용하여, 우리는 MRI 스캔을 토큰(token)으로 변환하고 이를 텍스트 지시와 정렬하는 VLM을 구축한다. 우리의 VLM은 보고서 생성 및 시각 질의응답(visual question answering) 작업에서 다른 2D 및 3D 방법보다 더 우수한 성능을 보였다. 우리의 방법은 보고서의 품질을 개선할 뿐만 아니라 뇌 종양학에서의 더 나은 진단과 치료에도 도움이 된다.
자동화된 흉부 CT 보고서 생성은 임상적으로 신뢰할 수 있는 보고를 위해 전체 볼륨 이해와 국소화된 해부학적 소견에 대한 정확한 기술이 모두 필요하기 때문에 여전히 어려운 과제이다. 본 연구에서는 흉부 CT 소견 섹션 생성을 위한 영역 인식(region-aware) 검색-강화 프레임워크인 MonteRET을 개발하고 후향적으로 평가하였다. MonteRET은 전역 CT 특징과 영역 수준 해부학적 표현을 통합하고, 예측된 의학적 상태와 영역 수준 비전-언어 정렬을 이용해 임상적으로 관련 있는 지식을 검색하며, 지식 안내 보고서 재작성 에이전트를 통해 초기 보고서를 정제한다. RadGenome-ChestCT의 공개 코호트 24,128건의 CT 스캔으로 모델을 학습시켰다. MonteRET을 RadGenome-ChestCT 공개 테스트 세트 1,564건의 CT 스캔과 NewYork-Presbyterian/Weill Cornell Medical Center의 외부 코호트 82건의 CT 스캔에서 평가하였다. MonteRET은 매칭된 기준선 및 여러 최신(state-of-the-art) 방법과 비교하여 보고서 품질, 의미적 유사도, 임상적 유효성을 향상시켰다. 향상은 재현율에서 가장 두드러졌으며, 이는 누락된 소견이 더 적음을 시사한다. 방사선과 전공의(radiology residents)의 인간 전문가 평가에서도 MonteRET이 더 우수한 것으로 나타났다.
컴퓨터 단층촬영(CT) 해석에는 수백 장의 볼륨 슬라이스 검토가 필요하며, 여전히 시간이 많이 소요되고 전문성에 의존한다. 자동 CT 보고서 생성은 임상 효율 개선의 유망한 경로를 제공하지만, 이 분야에는 다중 부위 보고를 지원하고 외부 실세계 코호트에 걸쳐 견고하게 유지되는 일반화 가능한 CT 보고서 생성 파운데이션 모델이 아직 부재하다. 코호트 간 보고 스타일 및 진단 용어의 내재적 불일치로 인해 단순 공동 학습이 어렵다.
본 연구에서는 전 세계 5개 기관에서 수집한 90,678개의 흉복부 CT-보고서 쌍(CTRgDB)을 기반으로 개발된 일반화 가능한 CT 보고서 생성 파운데이션 모델인 Astra를 제안한다. 이 데이터는 8개 장기계에 걸친 353,671건의 이상 소견을 포함한다. 보고서 스타일을 조화하고 강화학습을 통해 진단 일관성을 추가로 정제함으로써, Astra는 다양한 해부학적 부위와 기관에 걸쳐 스타일이 일관되고 진단적으로 정확한 보고서 생성을 달성한다.
CTRgDB 및 6개 외부 코호트에서 평가한 결과, Astra는 세분화된 진단 지표에서 평균 38.4% 향상이라는 최첨단 성능을 달성하였다(P<0.001). 기관별 미세조정 없이 외부 임상 현장에 배포했을 때, Astra는 초·중급 영상의학과 의사들의 흉부 보고서 작성 시간을 29.6% 단축하고 복부 보고서 완결성을 11.3% 개선하였다(P<0.001).
또한 Astra는 CT AI 개발의 기반으로서 광범위한 활용성을 보이며, 고품질 보고서 합성을 통해 하류 진단 성능을 향상하고 비전-언어(vision-language) 사전학습을 확장한다. 전반적으로 Astra는 널리 접근 가능한 임상 보조 도구이자 AI 기반 의료의 차세대를 위한 핵심 인프라 역할을 한다. Astra 코드는 https://github.com/zh-Wang-Med/Astra 에서 공개되어 있다.
자동 흉부 X선 보고서 생성은 최근 강화학습(RL)과 대규모 언어 모델(LLM)로부터 큰 혜택을 받고 있다. 그러나 RL 학습은 고정된 Kullback-Leibler(KL) 정규화와 시간이 지남에 따라 KL 압력이 누적되는 정적 참조 정책으로 인해 불안정성 또는 제한된 탐험 문제를 겪는 경우가 많다. 본 논문에서는 응답 가중 정규화(RER)와 검증 앵커 정책 리셋(VAPR)을 통해 장기 학습을 안정화하는 RL 프레임워크인 REVA-PO(Response-Weighted and Validation-Anchored Policy Optimization)를 제안한다. RER은 이점(advantage)과 참조 정책 엔트로피를 기반으로 응답별 KL 가중치를 동적으로 조정하여, 고품질 응답에 대해서는 제약을 완화하고 저품질 응답에 대해서는 제약을 강화한다. 이를 보완하는 VAPR은 참조 정책과 현재 정책을 최적 검증 체크포인트에 주기적으로 동기화함으로써 누적된 정규화 압력을 초기화하여 실효적인 탐험 공간을 확장한다. 견고한 시작점을 확보하기 위해 워밍업 학습, 분류기 유도 지도 미세조정, RL로 구성된 3단계 파이프라인을 적용한다. MIMIC-CXR 및 IU-Xray에 대한 광범위한 평가에서 REVA-PO는 언어 품질과 임상 정확도 모두에서 새로운 최첨단 벤치마크를 달성하였다. 특히 BLEU-4는 MIMIC-CXR에서 5.1%, IU-Xray에서 3.6% 향상되었으며, CheXpert F1과 RadGraph F1 점수는 기존 최고 방법 대비 각각 4.5%, 12.8% 증가하였다. 코드는 https://github.com/LiGuo12/REVA_PO/ 에서 공개되어 있다.
선박 유지보수 보고서의 비정형 텍스트에서 일관된 정보 스키마를 자동으로 발견하기 위해, LLM 기반 의미 개념 추출과 다중 세분도 클러스터링을 수행하는 Field Generator Agent와 강화학습으로 중복 없는 최적 스키마를 구성하는 Structural Optimizer Agent로 이루어진 모듈형 에이전틱 프레임워크 ASMR을 제안한다. 예비 실험 결과 ASMR이 간결하고 유익한 스키마를 생성함을 확인하였으며, 이를 통해 보고서 작성자가 실시간 안내를 받아 더 완전하고 일관된 보고서를 작성할 수 있다.
관상동맥 X선 혈관조영술에서 다중 시점 간 교차 투영 기하학적 불일치 문제를 해결하기 위해, MAC-XA는 합성 혈관조영상으로부터 기하학 기반 패치 수준 대응 감독 신호를 생성하고 이를 통해 학습한 Anatomy-Correspondence Module(ACM)로 보조 시점 특징을 주 시점 좌표 공간에 명시적으로 정렬한 후 융합하는 프레임워크를 제안한다. 합성 데이터 실험 및 실제 혈관조영 영상으로의 제로샷 전이 결과, 단일 시점 모델링 및 기존 다중 시점 융합 방식 대비 해부학적 대응 일관성과 협착(stenosis) 보고서 생성 성능이 향상됨을 확인하였다.
Harrison.Rad 1.5(HR1.5)는 흉부, 근골격계, 복부, 척추, 골반 X선 및 유방 촬영 등 단순 방사선 촬영 전반을 다루는 방사선과 특화 멀티모달 대규모 언어 모델(LLM)로, 약 600만 건의 영상-보고서 쌍을 활용한 대조적 비전 인코더 학습과 다중 턴 VQA 파인튜닝을 포함한 3단계 파이프라인으로 학습되었다. 평가 결과 HR1.5는 모의 FRCR 2B 시험 합격 기준을 충족한 유일한 모델로, 폐쇄형 임상 질문 정확도 및 내부 다중 모달리티 보고서 생성에서 최고 성능을 달성했다.
자동화된 흉부 X-ray 보고서 생성은 임상적으로 신뢰할 수 있는 서술을 보장하기 위해 정밀한 교차 모달 그라운딩(grounding)이 필요하다. 그러나 기존 비전-언어(vision-language) 모델은 명시적 영역-단어 대응과 질병 수준의 일관성을 강제하지 못하는 암시적 어텐션 메커니즘에 의존한다. 본 연구는 보고서 생성을 협력 게임 이론적 정렬 문제로 공식화하는 비전-언어 프레임워크인 게임 이론적 정렬 네트워크(GTA-Net)를 제안한다. 해당 모델은 Shapley에서 영감을 받은 중요도 가중치를 갖는 유사도 기반 페이오프 행렬을 사용하여 이미지 영역과 텍스트 토큰 간 상호작용을 모델링하는 BinaryGameAligner를 도입한다. 임상적 의미를 강제하기 위해, 이미지, 보고서, 구조화된 질병 개념 간의 공동 상호작용을 포착하는 Disease-Aware Ternary Aligner를 추가로 개발한다. GTA-Net은 Swin 기반 시각 인코더와 LoRA로 적응된 대규모 언어 모델을 결합하며, 생성과 정렬을 위한 통합 목적 함수로 학습된다. CheXpertPlus와 IU-XRay에서의 실험은 표준 생성 지표 전반에 걸쳐 최고 수준의 성능과 향상된 임상적 일관성을 보여주며, 의료 비전-언어 생성에서 명시적 게임 이론적 정렬의 효과를 강조한다.