쌍을 이루는 CT 영상과 방사선 보고서로부터 수행하는 의료 비전-언어 사전학습(VLP)은 확장 가능한 표현 학습을 가능하게 하지만, 기존 방법 대부분은 전체 스캔과 전체 보고서, 또는 국소 이미지 영역과 텍스트 단편을 각각 정렬하는 방식에 그친다. 이러한 방식은 방사선 보고서의 핵심 특성을 충분히 활용하지 못한다. 즉, 방사선 보고서의 소견은 해부학적 구조를 중심으로 구성되며, 이상 소견은 장기, 질환 개념, 위치, 중증도 관련 속성에 따라 기술된다. 우리는 CT-보고서 VLP를 위한 장기 계층적 지식 증강 프레임워크인 OKA-CT를 제안한다. OKA-CT는 먼저 자유 형식의 보고서를 방사선 보고서 파싱과 대규모 언어 모델(LLM) 기반 의미 구조화를 통해 장기 조건부 지식으로 변환한다. 추출된 계층 구조는 두 단계의 학습에 걸쳐 활용된다. 1단계에서는 세밀한 장기 조건부 지도 학습을 통해 해부학 기반 근거를 CT 시각 표현에 주입하고, 2단계에서는 장기별 보고서 근거를 활용하여 구조화된 보고서-CT 대조 학습을 유도한다. 이때 계층 구조에서 파생된 의미론적 소프트 타깃은 장기 수준의 소견을 공유하는 비쌍 사례를 균일한 음성 샘플이 아닌 약한 의미론적 양성 샘플로 취급한다. 또한 경량의 쿼리 기반 전역 브랜치가 전체 스캔 표현을 위해 질환 관련 체적 근거를 추가로 집약한다. CT-RATE 및 RAD-ChestCT 데이터셋에서 OKA-CT는 제로샷 이상 진단 AUROC 84.9 및 72.2를 달성하여 기존 CT VLP 베이스라인을 능가한다. 검색 및 패치 오클루전 분석을 통해 보고서-이미지 정렬의 개선과 질환 관련 해부학적 영역에 대한 더 강한 민감도가 확인된다.
자동 흉부 X선 보고서 생성은 최근 강화학습(RL)과 대규모 언어 모델(LLM)로부터 큰 혜택을 받고 있다. 그러나 RL 학습은 고정된 Kullback-Leibler(KL) 정규화와 시간이 지남에 따라 KL 압력이 누적되는 정적 참조 정책으로 인해 불안정성 또는 제한된 탐험 문제를 겪는 경우가 많다. 본 논문에서는 응답 가중 정규화(RER)와 검증 앵커 정책 리셋(VAPR)을 통해 장기 학습을 안정화하는 RL 프레임워크인 REVA-PO(Response-Weighted and Validation-Anchored Policy Optimization)를 제안한다. RER은 이점(advantage)과 참조 정책 엔트로피를 기반으로 응답별 KL 가중치를 동적으로 조정하여, 고품질 응답에 대해서는 제약을 완화하고 저품질 응답에 대해서는 제약을 강화한다. 이를 보완하는 VAPR은 참조 정책과 현재 정책을 최적 검증 체크포인트에 주기적으로 동기화함으로써 누적된 정규화 압력을 초기화하여 실효적인 탐험 공간을 확장한다. 견고한 시작점을 확보하기 위해 워밍업 학습, 분류기 유도 지도 미세조정, RL로 구성된 3단계 파이프라인을 적용한다. MIMIC-CXR 및 IU-Xray에 대한 광범위한 평가에서 REVA-PO는 언어 품질과 임상 정확도 모두에서 새로운 최첨단 벤치마크를 달성하였다. 특히 BLEU-4는 MIMIC-CXR에서 5.1%, IU-Xray에서 3.6% 향상되었으며, CheXpert F1과 RadGraph F1 점수는 기존 최고 방법 대비 각각 4.5%, 12.8% 증가하였다. 코드는 https://github.com/LiGuo12/REVA_PO/ 에서 공개되어 있다.
Medical phrase grounding (MPG) maps textual descriptions of radiological findings to corresponding image regions. These grounded reports are easier to interpret, especially for non-experts. Existing MPG systems mostly follow the referring expression comprehension (REC) paradigm and return exactly one bounding box per phrase. Real reports often violate this assumption. They contain multi-region findings, non-diagnostic text, and non-groundable phrases, such as negations or descriptions of normal anatomy. Motivated by this, we reformulate the task as generalised medical phrase grounding (GMPG), where each sentence is mapped to zero, one, or multiple scored regions. To realise this formulation, we introduce the first GMPG model: MedGrounder. We adopted a two-stage training regime: pre-training on report sentence--anatomy box alignment datasets and fine-tuning on report sentence--human annotated box datasets. Experiments on PadChest-GR and MS-CXR show that MedGrounder achieves strong zero-shot transfer and outperforms REC-style and grounded report generation baselines on multi-region and non-groundable phrases, while using far fewer human box annotations. Finally, we show that MedGrounder can be composed with existing report generators to produce grounded reports without retraining the generator.
영상의학 보고서 평가는 부정, 측성(laterality), 또는 정상-비정상 극성이 소견을 반전시킬 수 있으므로, 표면적 유사성과 임상적 호환성을 구별해야 합니다. 우리는 영상의학 소견(Findings)의 참조 기반 평가를 위한 제약된 LLM(대규모 언어 모델) 보조 지표인 RadSEM(Radiology Sentence-Level Evaluation Metric)을 제안합니다. RadSEM은 참조 보고서와 생성된 보고서를 각각 하나의 부위-소견 명제를 표현하는 순서가 지정된 원자적 소견 문장으로 재작성합니다. 그런 다음 모순 제약 다대다 매칭을 수행합니다: "삼출(effusion)"과 "삼출 없음(no effusion)"과 같은 호환되지 않는 쌍은 점수를 받지 못하지만, 호환되는 세분성 차이는 부분 점수를 받을 수 있습니다. 결정론적 단계는 부분-전체 및 비정상-세부 관계에 따라 쌍에 가중치를 부여하고, 일치하지 않는 소견을 계산하며, 비정상 초점 가중치 F1 점수를 산출합니다. 따라서 LLM은 불투명한 판사 역할을 하는 대신 구조화된 재작성과 국소적 정렬을 지원합니다. 우리는 2,448개의 익명화된 보고서를 5단계 등급화된 오염 수준으로 확장하여 구축된 제어된 단조성 스트레스 테스트인 SSREE를 사용하여 RadSEM을 평가합니다. RadSEM은 켄달 타우_b(Kendall tau_b) 0.957, 모든 쌍 일치율 97.8%, 인접 일치율 95.0%, 그리고 81.9%의 보고서에 대한 엄격한 5단계 순서를 달성하여, 극성이 반전된 보고서가 어휘 중복을 회복하는 실패를 피하면서 영상의학 특화 및 일반 텍스트 지표를 능가합니다. 동일한 SSREE 세트에서 RadSEM은 Ref-anchored RadSEM-Alt 정책을 능가하여, 인접 일치율을 90.7%에서 95.0%로, 엄격한 순서를 67.2%에서 81.9%로 개선했습니다. 599개 삼중쌍 동의어/반의어 부분 집합에서 RadSEM은 597개의 경우(99.67%)에서 동의어를 선호했습니다. 이러한 결과는 명시적 소견 단위, 모순 인식 매칭, 비정상 초점 결정론적 점수 매기기가 보고서 점수 측정을 더 해석 가능하게 만들고 임상적으로 의미 있는 오류에 민감하게 만듦을 시사합니다. 코드는 https://github.com/jdh-algo/RadSEM에서 확인할 수 있습니다.