MedProb: 의료 질의응답을 위한 비전-언어 모델 내부 표현 프로빙
MedProb: Probing Internal Representations of Vision-Language Models for Medical Question Answering
한국어 초록
의료 시각 질의응답(Med-VQA)은 종종 의학 미세조정, 대형 모델, 또는 복잡한 다중 에이전트 파이프라인이 필요하다고 가정된다. 우리는 고정(frozen)된 VLM 표현으로부터 자유 텍스트 생성 없이 Med-VQA 객관식 답을 예측하는 경량 프로빙(probing) 프레임워크인 MedProb으로 이 가정을 재검토한다. PATH-VQA, SLAKE, VQA-RAD에서 MedProb은 프롬프팅보다 답과 관련된 신호를 상당히 더 많이 회수하며, 의료 VLM 및 에이전트 기반 시스템보다 더 강한 성능을 보인다. 프로빙은 또한 프롬프팅에 비해 소형·대형 모델 간 겉보기 격차를 줄이며, 이는 소형 VLM이 생성 기반 평가가 드러내는 것보다 더 많은 회수 가능한 Med-VQA 신호를 담고 있음을 시사한다. 14개의 짝을 맞춘 범용·의료 VLM 쌍에 걸쳐, 의학 적응(medical adaptation)은 이러한 선형 디코딩 가능성(linear decodability)을 일관되게 개선하지 않는다. 마지막으로, 자유 텍스트 생성은 최대 10퍼센트포인트에 달하는 답 위치 바이어스를 보이는 반면, MedProb 역시 위치 바이어스가 있으나 프롬프팅과는 다른 방식으로 영향을 받는다. 주요 결과는 객관식/다중 클래스 Med-VQA 설정을 대상으로 하며, 추가로 거부 샘플링(rejection-sampling) 채점 절차를 통해 프로브를 개방형 생성으로 확장할 수 있음을 보인다.
원문 초록
Medical visual question answering (Med-VQA) is often assumed to require medical fine-tuning, large models, or complex multi-agent pipelines. We revisit this assumption with \textbf{MedProb}, a lightweight probing framework that predicts multiple-choice Med-VQA answers from frozen VLM representations without free-text generation. Across PATH-VQA, SLAKE, and VQA-RAD, MedProb recovers substantially more answer-relevant signal than prompting and performs stronger than medical VLMs and agentic systems. Probing also reduces the apparent gap between small and large models compared to prompting, suggesting that smaller VLMs contain more recoverable Med-VQA signal than generation-based evaluation reveals. Across 14 matched general-purpose and medical VLM pairs, medical adaptation does not consistently improve this linear decodability. Finally, free-text generation exhibits an answer-position bias of up to 10 percentage points, whereas MedProb also has positional bias, however, it is impacted differently than prompting. Our main results target the multiple-choice/multiclass Med-VQA setting; we additionally show the probe can be extended to open-ended generation via a rejection-sampling scoring procedure.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.04336v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.