AI가 생성한 방사선학 보고서는 이상 소견을 누락하거나, 근거 없는 소견을 추가하거나, 그 존재 여부를 뒤집는 등의 문제가 있으면서도 의사가 작성한 보고서와 유사해 보일 수 있다. 이러한 사실적 차이를 측정하는 것은 보고서 생성기를 평가하는 데 필수적이다. 우리는 의사가 작성한 참조 보고서와의 일치를 판정하는 단순하고 저비용의 judge로서 System One 의사결정 모델 Jev를 연구한다. 우리의 평가기는 각 진술이 다른 보고서에 의해 뒷받침되는지 검사하고, 근거 없는 주장과 누락을 포착하기 위해 양방향으로 이러한 판정을 결합한다. 단일 질문 구성은 전문가 오류 수를 기준으로 RadEvalX에서 Kendall 상관 0.573, RadEvalExpert에서 0.398에 이르며, 동일한 분해 및 집계 조건에서 공개 자연어 추론(NLI) judge를 능가한다. 진술당 support 질문 하나는 판정 입력 토큰을 43–45% 적게 사용하면서도 일곱 개 질문과 유사한 전문가 일치를 유지한다. 문서화된 API 가격 기준으로, 로컬 분해를 제외하면 판정 비용은 보고서 쌍 100개당 3센트 미만이다. 별도의 통제 오류 테스트에서 Jev는 AUROC 0.977로 false negation을 탐지한다. 로컬 RadMatch는 두 전문가 데이터셋 모두에서 임상적으로 중요한 오류에 대해, 공유 RadEvalExpert 부분집합에서는 전체 오류에 대해 더 강한 일치를 달성한다. 소견 수 및 오류 범위 분석은 벤치마크 일치가 의료 오류 탐지뿐 아니라 보고서 크기와 오류 정의에도 반영됨을 보여 준다. 이러한 결과는 생성된 방사선학 보고서의 사실적 차이를 측정하는 실용적인 판정 구성요소로서 Jev를 뒷받침하며, 더 정교한 평가가 여전히 가치 있는 지점을 밝힌다.
방사선 인공지능은 빠르게 발전했으나, 대부분의 시스템은 여전히 좁은 범위의 과제에 특화되어 있고 데이터 집약적이며 도메인 이동(domain shift) 환경에서 취약하다. 파운데이션 모델은 더 전이 가능하고 데이터 효율적인 해결책을 약속하지만, 기존 접근은 규모가 제한적이고 평가 범위가 좁으며, 종종 단일 사전학습 모델이 다양한 다운스트림 과제를 지원할 수 있다고 가정한다. 본 연구에서는 상보적인 합성곱 및 트랜스포머 기반 3D 방사선학 파운데이션 모델 nnFoundation을 제시한다. Human Radiome Project(THRP) 내에서 개발된 nnFoundation은 125개의 기관 및 공개 데이터셋으로부터 2.1백만 건의 CT, MRI, PET 영상 볼륨으로 학습되었다. 세그멘테이션, 검출, 분류, 리포트 생성, 이미지 검색에 이르는 108개 과제에서 이를 평가했으며, 도메인 이동 하에서의 평가, 외부 파트너에 의한 평가, 저데이터 및 저연산 환경에서의 평가를 포함한다. 모든 과제 유형에서 합성곱 및 트랜스포머 기반 nnFoundation 모델은 기존 3D 파운데이션 모델과 처음부터 학습하는 방법 모두를 일관되게 능가하여 방사선 영상 분야 최신(state-of-the-art) 성능을 확립했다. 다만 성능은 일관된 과제 의존적 구조를 따른다. 합성곱 nnFoundation 모델은 공간적으로 국한된 과제에서 우세하고, 트랜스포머 기반 nnFoundation 모델은 전역적 의미 추론이 필요한 과제와 고정 특징(frozen-feature) 설정에서 뛰어나다. 사후적으로 파운데이션 모델 토폴로지를 데이터셋 특성에 동적으로 정렬하면 이질적인 3D 환경에서의 전이를 더욱 개선한다. 이러한 결과는 전이 가능한 3D 방사선학 성능이 단일 범용 모델이 아니라 확장 가능한 사전학습, 상보적 아키텍처, 데이터셋 인지 적응의 상호작용에 의해 좌우됨을 보여준다. nnU-Net 및 nnDetection에 통합된 nnFoundation 모델을 공개하여 기존 방사선학 워크플로에 즉시 적용할 수 있게 한다.
방사선 판독문 생성에서 대규모 비전-언어 모델(LVLM)을 안전하게 배포하기 위해서는 정확한 예측뿐만 아니라, 출력을 면밀히 검토해야 할 시점을 임상적으로 해석 가능하게 알려주는 지표가 필요하며, 이를 통해 영상의학과 전문의의 선택적 검증을 가능하게 하고 환각(hallucination)된 소견이 임상적 결정에 영향을 미치는 위험을 줄일 수 있다. 이에 대한 한 가지 직관적인 접근법은 모델이 자신의 확실성을 명시적으로 진술하는 언어화된 확신도(verbalized confidence)이다. 그러나 현재의 최첨단 언어 모델은 종종 과도한 확신(overconfident)을 가지며, 방사선 판독문 생성과 같은 멀티모달 환경에서의 캘리브레이션(calibration, 보정)에 관한 연구는 제한적이다. 이러한 공백을 해결하기 위해, 우리는 방사선 판독문과 함께 보정된 언어화된 확신도 추정치를 생성하도록 의료 LVLM을 미세조정(fine-tuning)하는 강화학습(reinforcement learning) 프레임워크인 ConRad(Confidence Calibration for Radiology Reports)를 도입한다. 우리는 단일 판독문 수준의 확신도 점수와 각 주장에 확신도를 할당하는 문장 수준 변형이라는 두 가지 설정을 연구한다. 두 방식 모두 오보정(miscalibration)에 불이익을 주어 진실된 자기 평가를 유도하고 보상 극대화 시 최적의 캘리브레이션을 보장하는 로그 점수 규칙(logarithmic scoring rule) 기반 보상(reward) 함수와 함께 GRPO 알고리즘을 사용하여 학습된다. 실험을 통해 ConRad가 캘리브레이션을 실질적으로 개선하고 경쟁 방법들보다 뛰어난 성능을 보임을 확인하였다. 임상적 평가에서는 ConRad의 판독문 수준 점수가 임상의의 판단과 잘 일치함을 보여준다. ConRad는 집중적인 검토를 위해 전체 판독문이나 확신도가 낮은 진술을 강조 표시함으로써 판독문 생성을 위한 AI 보조 기능의 보다 안전한 임상 통합을 지원할 수 있다.
의료 멀티모달 대규모 언어 모델(MLLM)은 점점 더 복잡한 영상 이해 작업을 수행할 것으로 기대되고 있지만, 시각적 해석에서의 빈번한 오류로 인해 신뢰성이 종종 저하된다. 이러한 실패를 체계적으로 추적하기 위해, 우리는 고수준 임상 작업에서부터 기본적인 시각 지각까지 계층을 따라 탐색한다. 이에 따라 우리는 Perception-Bench를 도입한다. 이는 113만 개의 샘플로 구성된 대규모 벤치마크로, 2D 및 3D 영상의학 영상을 모두 아우르며 속성 판단, 공간적 그라운딩(spatial grounding), 공간 이해, 질병 예측, 이상 탐지, 보고서 생성의 6가지 차원에서 의료 MLLM을 평가한다. Perception-Bench에 대한 우리의 분석은 기존 MLLM이 위치, 크기, 밀도와 같은 가장 기본적인 병변 속성조차 포착하는 능력이 부족함을 보여준다. 임상 출력을 1차 시각 증거에 그라운딩(grounding)하지 못하는 이러한 한계는, 모델의 진단적 비신뢰성이 저수준 시각 지각의 중요하지만 간과된 병목에 뿌리를 두고 있음을 드러낸다. 이에 영감을 받아, 우리는 RadSight를 제안한다. RadSight는 고유 영상 공간 구조를 보존하는 이중 2D/3D 인코더 아키텍처 위에 구축된 지각 중심 MLLM이다. RadSight는 의료 영상 이해를 시각-언어 정렬, 세밀한 시각 지각, 임상 진단, 진단적 해석의 4단계 점진적 과정으로 공식화한다. 이 모델은 점진적 커리큘럼 학습(progressive curriculum learning)을 사용하여 837만 개의 지각 지향 코퍼스로 학습된다. Perception-Bench에서 RadSight는 특히 공간적 그라운딩과 임상 진단에서 뚜렷한 향상을 보이며, 6가지 평가 차원 전반에서 기존 MLLM을 일관되게 능가한다. 또한 공개 2D 및 3D 의료 벤치마크에서도 일관된 개선을 달성하여, 견고한 저수준 시각 지각이 신뢰할 수 있는 임상 이해의 핵심 기반이 됨을 추가로 입증한다. 코드와 모델은 공개적으로 제공될 예정이다.
자유형식 영상의학 보고서는 풍부한 임상 설명을 담고 있으나, 자연어 고유의 가변성으로 인해 이를 신뢰할 수 있는 세그멘테이션에 활용하는 것은 여전히 어려운 과제이다. 기존 파이프라인은 종종 사전 정의된 장기 구문이나 취약한 규칙 기반 추론 시점 추출에 의존하여, 새로운 해부학적 구조로의 확장성을 제한하고 언어적 변이에 민감하게 만든다. 이를 해결하기 위해, 이산적 추출을 학습 가능한 개념 뱅크(concept bank)로 대체하는 보고서 기반(report-driven) 프레임워크인 ReportMedSAM을 제안한다. 동결(frozen)된 의료 비전-언어 인코더(BiomedCLIP)를 활용하여, 대조 학습(contrastive learning)을 통해 장기 수준 개념 임베딩(embedding)을 대규모 임상 코퍼스와 정렬하고, 상호 직교적인 의미적 앵커를 구축한다. 우리 접근법은 장기 수준 의미적 붕괴(semantic collapse)를 명시적으로 완화하고, 다양한 임상 동의어(예: "renal" vs. "kidney")에 대한 높은 견고성을 보장한다. 추론 시, 임상 보고서가 임베딩되고 이 개념 뱅크와 매칭되어 과제별 전문가 혼합(MoE) 모듈을 동적으로 활성화한다. 이 분리된(decoupled) 설계는 기존 구성 요소를 재학습하지 않고도 새로운 개념과 전문가를 추가할 수 있게 하며, 매개변수 격리(parameter-isolated) 확장 메커니즘을 제공하면서 이전에 학습된 전문가를 변경하지 않도록 한다. AbdomenAtlas 3.0 데이터셋에서 평가한 결과, ReportMedSAM은 자유형식 보고서를 효과적으로 해석하고, 경쟁력 있는 세그멘테이션 정확도를 달성하며, 새로운 임상 과제에 대한 매끄럽고 간섭 없는(non-interfering) 확장을 보여준다.
연합 학습(Federated Learning, FL)은 원시 데이터를 공유하지 않고도 임상 텍스트에 대한 다기관 학습을 가능하게 하지만, 그래디언트 역전(gradient inversion)은 공유된 모델 업데이트로부터 민감한 정보를 재구성할 수 있다. 방사선학 리포트에서 이러한 유출의 정도와 토크나이저 설계의 역할은 아직 불분명하다. 우리는 FL에서 그래디언트 기반 텍스트 재구성을 정량화하고, 모델 아키텍처를 고정한 채 세 가지 토크나이저에 걸친 프라이버시 위험을 비교한다. 6개의 FL 클라이언트가 공개 방사선학 코퍼스(진단 리포트 368,751건, 퇴원 요약 98,206건, MIMIC-CXR 자유 텍스트 리포트 1,500건)에 대해 GPT-2, RadBERT, LLaMA-2 토크나이저를 사용하여 배치 크기 64, 128, 256으로 GPT-2 스타일 트랜스포머(시퀀스 길이 32)를 학습시켰다. 배포 전 공유 아키텍처를 수정하는 능동적 악의적 서버를 가정하여, 해석적 그래디언트 역전을 적용하고 5회 실행에 걸쳐 재구성 충실도를 측정했다. 정확한 문장 재구성률은 토크나이저에 따라 31%에서 44%까지였으며(27개 토크나이저×데이터셋×배치 크기 조합에서 30.6–43.5%), Discharge 데이터셋에서 배치 크기 64일 때 정확도는 42.1%(GPT-2), 42.3%(RadBERT), 39.4%(LLaMA-2)였고, 배치 크기 256에서는 37.3%, 37.2%, 34.3%로 감소했다. S-BLEU는 배치 크기가 커질수록 감소했다(GPT-2: 0.44에서 0.33; RadBERT: 0.48에서 0.35). RadBERT가 가장 높은 재구성 충실도를 보였고 가장 많은 임상 용어를 복원했다(1,440개 용어 기준 어휘의 18.1%, GPT-2 12.5%, LLaMA-2 9.4% 대비), 그러나 어떤 토크나이저도 유출을 막지 못했다. 따라서 더 큰 배치 크기와 도메인 특화 토크나이저를 사용하더라도 FL 그래디언트로부터 리포트 텍스트의 상당 부분을 복원할 수 있다. 토크나이저 설계는 유출 심각도에 영향을 미치며, 유틸리티뿐 아니라 프라이버시와 관련된 결정이다. 방사선학 NLP에서 FL에 대한 HIPAA 및 GDPR 요구사항을 충족하려면 보안 집계(secure aggregation)와 차등 프라이버시(differential privacy)와 같은 안전장치가 필요할 가능성이 높다.
Harrison.Rad 1.5(HR1.5)는 흉부, 근골격계, 복부, 척추, 골반 X선 및 유방 촬영 등 단순 방사선 촬영 전반을 다루는 방사선과 특화 멀티모달 대규모 언어 모델(LLM)로, 약 600만 건의 영상-보고서 쌍을 활용한 대조적 비전 인코더 학습과 다중 턴 VQA 파인튜닝을 포함한 3단계 파이프라인으로 학습되었다. 평가 결과 HR1.5는 모의 FRCR 2B 시험 합격 기준을 충족한 유일한 모델로, 폐쇄형 임상 질문 정확도 및 내부 다중 모달리티 보고서 생성에서 최고 성능을 달성했다.
MedSAM으로 추출한 해부학적 관심 영역(ROI) 사전 정보를 활용해 시각적 활성화를 재보정하고 해부학적 좌표를 이산 의미 토큰으로 프롬프트에 주입하는 학습 불필요(training-free) 이중 근거 주입 프레임워크 SPRG를 제안한다. LLaVA, Qwen3-VL, InternVL 등 6개 의료 MLLM에 대한 실험에서 폐쇄형 정확도를 최대 약 6% 향상시키고 개방형 환각을 최대 약 35% 감소시켜 기존 기준 모델을 일관되게 능가했다.
생성된 영상의학 보고서 평가에서 LLM 및 스칼라 메트릭은 임상적으로 유의한 오류와 무해한 변형의 경계를 흐리며, 오류는 잘 탐지하지만 무해한 재표현에도 과도하게 페널티를 주는 식별(discrimination) 바이어스가 광범위하게 나타난다. ReEvalMed 벤치마크에서 4천 개 보고서 쌍으로 Qwen3-8B·MedGemma-4B 기반 경량 해석 가능 메트릭을 학습하면 임상적 유의성 판단이 개선되어 32B 의학 LLM을 능가하고 상용 모델과 경쟁력을 보였으며, 비용 민감 배포에는 원패스(one-pass) 학습 메트릭이 더 실용적이다.
AI 보조 임상 문서화 도구는 대규모 언어 모델(LLM)을 사용해 영상의학 보고서를 점점 더 요약하고, 표준화하고, 재구성하고 있다. 우리는 그로 인한 정보 저하를 통제된 방식으로 측정한다. Indiana University 데이터셋의 흉부 X선 보고서 450건을 사용해, EHR 요약, 표준화 재작성, 교육 케이스 준비라는 세 가지 현실적인 LLM 재작성 작업을 통해 합성 버전을 생성한다. 우리는 개체 침식(의료 NER을 통해), 헷징(hedging) 붕괴(임상적 불확실성 언어의 손실), 교차 모달 정렬 저하(BiomedCLIP 이미지-텍스트 유사도를 통해)를 측정한다. 핵심 발견은 정보 손실과 교차 모달 충실도 사이의 분리이다. EHR 요약은 내용 수준에서 가장 파괴적이며, 임상 개체의 51.4%와 헷징 언어의 43.7%를 침식하지만, 이미지-텍스트 정렬은 거의 완전히 보존한다(2.5% 하락). 더 깔끔한 학습 데이터를 만들기 위한 두 작업인 표준화 재작성과 교육 케이스 준비는 그와 반대이다. 이들은 더 많은 개체를 보존하지만(각각 26.8%, 29.3% 침식), 14.9–16.5%의 정렬 하락을 일으키며, 이는 EHR 요약의 6–7배에 해당한다. 우리는 이를 슬롭 역설이라 부른다. 멀티모달 학습을 위해 임상 텍스트를 더 깔끔하게 보이게 만드는 재작성이 바로 그 텍스트를 이미지로부터 멀어지게 한다는 것이다. 사전 지정한 가설과 달리, 희귀 병리는 우선적으로 저하되지 않았다. 희귀 대 흔한 병리 아홉 가지 비교 전반에서 다중 비교 보정 후에도 차이는 남지 않았고, 명목상 차이는 반대 방향(흔한 > 희귀)으로 나타났으므로, 오염은 조건별 모니터링으로는 드러나지 않는다. 저하의 지배적 결정 요인은 임상 내용이 아니라 AI 재작성 작업의 유형이다. 이러한 발견은 멀티모달 의료 AI 데이터셋 구축과 AI 보조 임상 문서화 거버넌스에 시사점을 준다.