The Impact of Auxiliary Patient Data on Automated Chest X-Ray Report Generation and How to Incorporate It
원문 초록
This study investigates the integration of diverse patient data sources into multimodal language models for automated chest X-ray (CXR) report generation. Traditionally, CXR report generation relies solely on CXR images and limited radiology data, overlooking valuable information from patient health records, particularly from emergency departments. Utilising the MIMIC-CXR and MIMIC-IV-ED datasets, we incorporate detailed patient information such as vital signs, medicines, and clinical history to enhance diagnostic accuracy. We introduce a novel approach to transform these heterogeneous data sources into embeddings that prompt a multimodal language model; this significantly enhances the diagnostic accuracy of generated radiology reports. Our comprehensive evaluation demonstrates the benefits of using a broader set of patient data, underscoring the potential for enhanced diagnostic capabilities and better patient outcomes through the integration of multimodal data in CXR report generation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MWE-ECL: 복원 가능한 장거리 문맥이 국소적 어휘 사전확률을 항상 무시하지는 않는다
MWE-ECL: Recoverable Long-Range Context Does Not Always Override Local Lexical Priors
장문맥(long-context) 평가는 흔히 모델이 원거리 증거를 복원할 수 있는지를 테스트하지만, 복원 가능성이 행동적 영향을 보장하지는 않습니다. 본 연구에서는 원거리 담화 앵커가 명시적으로 복원 가능하더라도 익숙한 다의어 표현(multiword expression)의 국소적으로 선호되는 해석을 변경하는 데 실패할 수 있다는 예측을 검증합니다. 이러한 실패는 모델의 앵커 없는 기본값(no-anchor default)이 앵커와 충돌할 때 집중적으로 나타나는 반면, 사전확률에 부합하는 올바른(prior-correct) 결정은 대체로 유지되어야 합니다. 우리는 짝지어진 앵커 검색, 앵커 없는 사전확률, 해석 프롬프트가 각각 명시적 복원 가능성, 모델 관측 기본값, 앵커 조건부 결정을 측정하는 이중언어 진단 도구인 MWE-ECL(Multiword Expression Effective Context Length)을 제안합니다. 공유된 0-128K 그리드 상의 8개 영어 배포 패널 전반에서, 사전확률 충돌 항목에 대한 검색 통제 정확도는 0.989-1.000, 사전확률 충돌 재정의(override)는 0.806-1.000(올바른 검색을 조건부로 한 경우 0.809-1.000), 사전확률 부합 결정의 보존율은 0.977-1.000으로 유지됩니다. 단일 프롬프트에서 검색과 해석을 질의하는 단일 호출(same-call) 대조군은 DeepSeek V4 Pro에 대해 격차(1.000 검색 대비 0.900-0.920 해석)를 재현하여, 개별 호출이 이러한 격차의 유일한 설명이 아님을 보여주며, 다른 두 모델에서 나타난 더 작거나 없는 격차는 그 일반성의 범위를 한정합니다. DeepSeek V4 Flash의 경우, 개별 프롬프트 적합도 테스트에서 512K 및 1M에서 완벽한 검색 능력을 유지하면서도 낮은 해석 능력을 보인 반면, 오답 유도 단서(foil-consistent cues)는 검색보다 앵커 없는 사전확률을 훨씬 더 크게 변화시켰으며, 모델 간 단서 효과는 이질적이었습니다. 별도로 보고된 10개 계열의 중국어 하위 집합도 유사한 기술적 격차를 보이지만, 일부 모델의 불완전한 검색 능력으로 인해 이를 오로지 통합(integration) 문제만으로 귀인하는 것은 어렵습니다. 따라서 MWE-ECL은 명시적으로 복원 가능한 원거리 문맥이 경쟁적인 국소 의미 결정을 변화시키는지 여부를 평가합니다.
수술 전 다중 모달 데이터를 이용한 정밀·포괄적 뇌종양 진단을 위한 비전-언어 파운데이션 모델
A Vision-Language Foundation Model for Precise and Comprehensive Brain Tumor Diagnosis from Preoperative Multimodal Data
BrainVLM을 개발하여 세계보건기구(WHO) 2021 분류의 12가지 뇌종양 유형을 모두 분류한다. BrainVLM은 예측 신뢰도를 나타내기 위한 불확실성 정량화(uncertainty quantification) 전략과 임상적 근거를 설명하기 위한 방사선학 보고서 생성 모듈을 통합한다. BrainVLM은 40,043명으로부터 수집한 다중 모달 데이터(MRI 스캔, 인구통계학적 정보, 방사선학 보고서)로 학습되었다. 병리학적으로 확인된 뇌종양 환자 5,211명에서 검증하였으며, 여기에는 주요 병원의 hold-out 환자 3,877명과 11개 독립 병원의 환자 1,334명이 포함된다. 또한 AI-임상의 워크플로에서의 임상적 유용성을 검증하기 위해 두 가지 개념 증명(proof-of-concept) 연구를 수행하였다. 1) 경험 수준이 다양한 12명의 신경방사선과 의사가 248건의 후향적 사례를 AI 지원 유무에 따라 해석한 맹검 다독자(multireader) 연구, 2) 수술 전 1,009명의 환자를 BrainVLM과 방사선과 의사가 각각 독립적이고 맹검적으로 평가한 실세계 전향적 연구이다. 추가로 632명의 다기관 코호트를 이용하여 성인형 diffuse glioma의 수술 전 분자 아형(subgroup) 예측에서 BrainVLM의 유용성을 입증하였다. 주요 평가에서 BrainVLM은 macro-AUC 0.85(95% CI: 0.84-0.86)와 F1 점수 0.82(95% CI: 0.81-0.83)를 달성하여 신경방사선과 의사(F1 = 0.80(95% CI: 0.79-0.81))를 능가하였다. 11개 센터에 걸친 외부 검증에서 BrainVLM은 AUC = 0.80(95% CI: 0.79-0.82) 및 F1 = 0.75(95% CI: 0.73-0.78)를 달성하였고, 신경방사선과 의사는 F1 = 0.71(95% CI: 0.69-0.73)이었다. 전향적 실세계 평가에서 BrainVLM은 신경방사선과 의사와 유사한 수준의 성능을 유지하였다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
Induced Model Matching: Restricted Models Help Train Full-Featured Models
Developing Question-Answering Models in Low-Resource Languages: A Case Study on Turkish Medical Texts Using Transformer-Based Approaches
Customising General Large Language Models for Specialised Emotion Recognition Tasks
토론
이 논문과 연결된 포럼 글이 아직 없습니다.