SlideJev: 선택지 순서에 안정적이고 조직 근거를 활용하는 전체 슬라이드 병리 Jev 판정
SlideJev: Order-Stable and Tissue-Grounded Jev Decisions for Whole-Slide Pathology
한국어 초록
전체 슬라이드 시각 질의응답(VQA)은 병리 분석에 자연어 인터페이스를 제공해 조직 슬라이드에서 진단 및 표현형에 관한 질문에 직접 답할 수 있게 한다. 그러나 현재 비전-언어 모델(VLM)은 언어적 사전 지식에 크게 의존한다. 후보 답변의 순서에 따라 답이 달라지며 조직 근거를 건너뛰고 지름길로 답을 얻기도 한다. 이를 해결하기 위해 각 후보 답변을 슬라이드와 따로 대조해 검증하고, 이러한 판단을 조직 근거에 연결하는 법을 학습하는 프레임워크 SlideJev를 소개한다. 후보별 병렬 평가와 시각 근거 학습을 연결하기 위해 Jev를 채택한다. 기존 언어 모델 헤드에서 후보를 지지하는 로그 가능도와 기각하는 로그 가능도의 차이로 후보별 점수를 구한다. 선택지 위치를 나타내는 레이블 없이 동일한 형식의 개별 프롬프트로 점수를 병렬 계산하고, 정규화한 점수로 답을 선택한다. 점수가 조직 근거를 반영하도록 후보에 따른 판독과 비교를 바탕으로 디코더 층들에서 시각 토큰의 갱신을 게이트로 제어한다. 백본을 동결한 채 질의응답 데이터와 짝지은 이미지로 지도 신호를 주고, 같은 방식으로 계산한 점수를 사용해 시각 모듈을 학습한다. 전체 슬라이드 병리 VQA 벤치마크 세 개에서 SlideJev는 평균 종합 정확도가 가장 높았으며, 선택지 순서 네 가지에서 답변 일관성 100%를 달성했다. 이미지 통제 실험에서는 세 데이터셋 모두 올바른 이미지를 제공했을 때의 평균 정확도 개선 폭이 잘못 짝지은 이미지나 이미지 없는 조건 대비 가장 컸다. 코드는 https://github.com/leowu-ai/SlideJev 에 공개되어 있다.
원문 초록
Whole-slide visual question answering (VQA) offers a natural-language interface to pathology, allowing diagnostic and phenotypic questions to be answered directly from tissue slides. However, current vision-language models (VLMs) rely heavily on linguistic priors: their answers are sensitive to the order of the candidate answers, and can be reached through shortcuts that bypass the tissue evidence. To address these challenges, we introduce SlideJev, a framework that separately verifies candidate answers against the slide and learns to ground these judgments in tissue evidence. To connect parallel candidate evaluation with visual evidence learning, we adopt Jev and score each candidate by the difference between support and rejection log-likelihoods from the original language-model head. We compute these scores in parallel using separate prompts with the same format and no option-position labels, then normalize them for answer selection. To ground these scores in tissue evidence, candidate-conditioned reading and comparison guide gated updates to visual tokens across decoder layers. With the backbone frozen, we train these visual modules through the same scores using question-answer and paired-image supervision. Across three whole-slide pathology VQA benchmarks, SlideJev achieves the highest mean overall accuracy and 100% answer consistency across four option orders. Image-control experiments further show that SlideJev achieves the largest average accuracy gains from correct images over mismatched and image-free inputs across the three datasets. Our code is publicly available at https://github.com/leowu-ai/SlideJev.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22879v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.