임상의가 기여한 온라인 자료를 활용한 의료 영상 인식용 시각 대규모 언어 기반 모델
A visual large language foundational model for medical image recognition using clinician-contributed online resources
한국어 초록
대규모 언어 모델(LLM)은 다양한 분야에서 강력한 역량을 보여 왔으며, 의학에서도 상당한 잠재력을 나타내고 있다. 그러나 의료 환경에서의 적용은 임상적 추론과 명시적 영상-텍스트 정렬(alignment)을 담아낸 시각적 질의응답(VQA) 데이터셋의 부족으로 여전히 제한된다. 본 연구에서는 임상의 중심 온라인 자료를 통해 공유된 비식별화 의료 영상과 전문가 해설을 활용한다. 고급 LLM과 임상의 개입(clinician-in-the-loop) 검증을 결합하여, 구조화된 임상적 추론과 의료 영상-텍스트 정렬을 포착하도록 설계된 100만 개 이상의 VQA 쌍을 포함하는 장문(long-form) 의료 VQA 데이터셋 ThoughtMed-1M을 구축하기 위한 엄격한 파이프라인을 수립했다. 유용성을 입증하기 위해 ThoughtMed-1M으로 학습한 기반 LLM(FOLTMed, FOundational LLM Trained on ThoughtMed-1M)을 개발했다. FOLTMed는 42개 의료 VQA 벤치마크 데이터셋에서 거시(macro) 정확도 85.4%로 최신 최고(state-of-the-art) 성능을 달성했다. 또한 ThoughtMed-1M 테스트 세트에서 더 임상적으로 일관된 응답을 생성했으며, 사실성(factuality) 및 유사도(similarity) 지표 전반에서 최신 최고 모델보다 3~5%p 우수한 성능을 보였다. 이는 임상적 그라운딩(clinically grounded) 다중모달 LLM 연구를 발전시키는 확장 가능한 패러다임을 부각한다.
원문 초록
Large language models (LLMs) have demonstrated strong capabilities across diverse domains, showing considerable potential in medicine. However, their application in medical settings remains limited by the scarcity of visual question answering (VQA) datasets that capture clinical reasoning and explicit image-text alignment. Here, we leverage de-identified medical images and expert commentaries shared through clinician-oriented online resources. By combining an advanced LLM with clinician-in-the-loop verification, we established a rigorous pipeline to construct ThoughtMed-1M, a long-form medical VQA dataset containing over one million VQA pairs and designed to capture structured clinical reasoning and medical image-text alignment. To demonstrate its utility, we developed a FOundational LLM Trained on ThoughtMed-1M (FOLTMed). FOLTMed achieved state-of-the-art performance across 42 medical VQA benchmark datasets, with a macro accuracy of 85.4 percent. It also generated more clinically coherent responses on the ThoughtMed-1M test set, outperforming state-of-the-art models by 3 to 5 percent across factuality and similarity metrics, highlighting a scalable paradigm for advancing research on clinically grounded multimodal LLMs.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.06914v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.