arXiv:2611.20992v1 cs.CV

MedJev: 빠르고 효과적인 의료 영상 이해를 위한 시스템 1 비전-언어 의사결정 모델

MedJev: A System One Vision-Language Decision Model for Fast and Effective Medical Image Understanding

Fan Zhang, Hao Wu, Jinyang Wu, Hongyu Qu, Zheng Lian, Dongfu Yin, Qingsong Wen, Pheng-Ann Heng

제출 2026-11-17

한국어 초록

비전-언어 모델(VLM)로 의료 영상을 이해할 때는 대개 추론 토큰과 답변 토큰을 자기회귀 방식으로 생성한다. 이 불필요한 토큰들로 인해 응답 길이에 따라 추론 비용이 커진다. 자유 형식 텍스트에서 답을 추출해야 하므로 피할 수 있는 지연과 결정 오류도 발생한다. 본 연구는 의료 영상, 질문, 답변 후보를 한 번의 멀티모달 순전파로 곧바로 결정에 대응시키는 시스템 1 비전-언어 의사결정 모델 MedJev를 소개한다. 자기회귀 생성은 사용하지 않는다. 빠른 추론을 위해 상위 언어 층과 생성 출력 경로를 제거하며, 시각 처리 경로 전체와 모든 시각 토큰은 유지한다. 이처럼 줄인 백본에서 의사결정 헤드는 사전학습된 쿼리-키 매칭으로 각 후보에 점수를 매기고, 가벼운 다층 퍼셉트론(MLP) 잔차로 점수를 다듬는다. 이로써 사전학습한 매칭 구조를 과제에 특화된 비선형 판별과 결합한다. Qwen3.5-4B 기반 MedJev-4B는 의료 영상 분류 및 시각 질의응답 벤치마크 네 개 모두에서 원래 모델보다 더 정확하고 빨랐다. 절대 정확도 기준으로 7.93%포인트 높아졌고 종단 간 처리 속도는 6.04$\times$ 향상됐다. 최신 모델 20개와 추가로 비교한 결과, MedJev-4B는 매개변수 40억~90억 개 범위의 범용 및 의료 VLM 가운데 성능과 추론 속도가 최고 수준이었다. 멀티모달 입력으로 직접 의사결정을 하는 방식이 의료 영상을 빠르고 효과적으로 이해하는 데 유용함을 보여 준다.

원문 초록

Medical image understanding with vision-language models (VLMs) typically relies on autoregressively generating reasoning and answer tokens. These unnecessary tokens make the inference cost scale with the response length and force the answer to be parsed from free-form text, incurring avoidable latency and decision errors. To this end, we introduce \textsc{MedJev}, a \emph{system one} vision-language decision model that maps medical images, questions, and candidate answers directly to decisions in a single multimodal forward pass, without any autoregressive generation process. For fast inference, \textsc{MedJev} removes the upper language layers and the generative output pathway, while keeping the full vision pathway and all visual tokens. On this shortened backbone, a decision head scores each candidate by pretrained query--key matching and refines the scores with a lightweight multilayer perceptron (MLP) residual, coupling the pretrained matching structure with task-specific nonlinear discrimination. Built on Qwen3.5-4B, \textsc{MedJev}-4B improves both accuracy and speed over the original model on each of four medical image classification and visual question answering benchmarks, with an absolute accuracy gain of \textbf{7.93\%} and a \textbf{6.04$\times$} end-to-end speedup. Further comparison with 20 cutting-edge models shows that \textsc{MedJev}-4B achieves state-of-the-art performance and inference speed among 4B--9B general and medical VLMs, indicating that direct multimodal decision making is an effective route to fast and effective medical image understanding.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.20992v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.