arXiv:2611.00067v1 cs.CV

MedICL: 의료 시각 질의응답을 위한 모달리티-해부학 인식 시각적 인컨텍스트 학습

MedICL: Modality-Anatomy-Aware Visual In-Context Learning for Medical Visual Question Answering

Ji-jun Park, Soo-joon Choi, Seungmin Han, Haeun Kwon, Jiwon Jeong, Taeyang Yoon

제출 2026-11-03

한국어 초록

의료 시각-언어 모델(LVLM)의 학습 불필요 적응은 배포 요건이지만, 시각적 인컨텍스트 학습(ICL)은 모달리티와 스타일이 맞지 않는 시연 사례를 의료 맥락에 주입하여 고정된 모델에 잘못된 응답 스타일을 학습시킨다. 본 논문은 모델을 재학습하는 대신 시연 사례를 선별하는 MedICL을 제안한다. MADS는 상호 보완적인 판독 차원을 포괄하는, 모달리티와 해부학이 정렬된 시연 사례를 선택하고, W2C는 약한 검색 신호와, 모델 자체의 출력이 아니라 시연 사례를 검사하는 강한 검증 투표로 이를 선별하며, ECC는 W개의 앵커 시연 집합으로 응답하고 이상 소견 인식 시그니처로 집계하며 충돌 시 한 번 다시 응답한다. LLaVA-Med 제로샷 프로토콜 하의 VQA-RAD, SLAKE, PathVQA에서 MedICL은 가장 강력한 제로샷 베이스라인을 개방형 질문에서 +11 - +14점, 폐쇄형 질문에서 +7 - +14점 향상시키고, 학습 비용 없이 VQA-RAD에서 미세 조정된 모델의 개방형 성능의 71%를 회복하며, 변형되거나 손상된 시연 사례 은행에도 강건하게 유지된다.

원문 초록

Training-free adaptation of medical vision-language models (LVLMs) is a deployment requirement, yet visual in-context learning (ICL) injects modality- and style-mismatched demonstrations into medical contexts, teaching a frozen model the wrong answering style. We present MedICL, which curates demonstrations instead of retraining the model. MADS selects modality-anatomy aligned demonstrations that cover complementary interpretation dimensions; W2C curates them with weak retrieval signals and a strong verification vote that checks demonstrations rather than the model's own outputs; ECC answers with W anchored demonstration sets, aggregates by abnormality-aware signatures, and re-answers once on conflict. On VQA-RAD, SLAKE, and PathVQA under the LLaVA-Med zero-shot protocol, MedICL improves the strongest zero-shot baseline by +11 - +14 points on open-ended and +7 - +14 on closed questions, recovers 71% of fine-tuned open-ended performance on VQA-RAD at zero training cost, and stays robust to shifted or corrupted demonstration banks.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.00067v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.