LiteMedCoT-VL: 의료 시각적 질의응답을 위한 매개변수 효율적 적응
LiteMedCoT-VL: Parameter-Efficient Adaptation for Medical Visual Question Answering
한국어 초록
대규모 비전-언어(vision-language) 모델과 소형 모델 간의 추론 능력 격차는 휴대용 임상 기기에 의료 AI를 배포하는 데 한계로 작용합니다. 2-4B 매개변수를 가진 소형 비전-언어 모델은 자원이 제한된 하드웨어에서도 실행될 수 있지만, 해석 가능한 임상 의사결정 지원에 필요한 다단계 추론 능력이 부족합니다. 기존의 지식 증류 방법은 그 이면의 추론 과정 없이 정답만을 전달합니다. 의료 시각적 질의응답(VQA)은 모델이 구조화된 추론 연쇄를 통해 시각적 근거와 임상 지식을 통합해야 하므로 이 문제에 대한 테스트베드 역할을 합니다. 본 연구에서는 설명이 풍부한 학습 데이터에 대한 LoRA 기반 미세조정을 통해 235B 교사 모델의 사고의 연쇄(Chain-of-Thought) 추론을 2B 학생 모델로 전달하는 파이프라인인 LiteMedCoT-VL을 소개합니다. 의사가 동반된 방사선 판독 보고서 없이 의료 영상을 직접 판독하는 임상 시나리오를 시뮬레이션하여 모든 추론은 기본적으로 이미지 캡션 없이 수행됩니다. PMC-VQA 벤치마크에서 LiteMedCoT-VL은 64.9%의 정확도를 달성하여 제로샷 Qwen3-VL-4B 기준선인 53.9%를 11.0%포인트 상회하고 공개된 모든 기준선 성능을 뛰어넘었습니다. 이 결과는 추론 증류를 적용한 2B 모델이 매개변수가 두 배인 모델과 대등하거나 이를 능가할 수 있음을 보여줍니다. 시각적 그라운딩 분석을 통해 모델이 텍스트 사전 분포를 악용하는 대신 이미지 내용에 의존함을 확인했습니다. 코드 원본은 https://github.com/R4nzer/LiteMedCoT-VL 에서 공개되어 있습니다.
원문 초록
The reasoning gap between large and compact vision-language models (VLMs) limits the deployment of medical AI on portable clinical devices. Compact VLMs of 2-4B parameters can run on resource-constrained hardware but lack the multi-step reasoning capacity needed for interpretable clinical decision support. Existing knowledge distillation methods transfer answers without the reasoning process behind them. Medical visual question answering (VQA) serves as a testbed for this problem, as it requires models to integrate visual evidence with clinical knowledge through structured reasoning chains. We introduce LiteMedCoT-VL, a pipeline that transfers chain-of-thought reasoning from a 235B teacher model to 2B student models through LoRA-based fine-tuning on explanation-enriched training data. All inference is conducted without image captions by default, simulating the clinical scenario in which a physician interprets a medical image directly without an accompanying radiology report. On the PMC-VQA benchmark, LiteMedCoT-VL achieves 64.9% accuracy, exceeding the zero-shot Qwen3-VL-4B baseline of 53.9% by 11.0 percentage points and outperforming all published baselines. This result indicates that a 2B model with reasoning distillation can match or exceed models with twice the parameters. Visual grounding analysis shows that the model relies on image content rather than exploiting textual priors. Our code is publicly available at https://github.com/R4nzer/LiteMedCoT-VL.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.09384v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.