비전 기반 모델이 안내하는 어텐션 일관성 종단적 의료 시각 질의응답
Attention Consistent Longitudinal Medical Visual Question Answering Guided by Vision Foundation Models
종단적(longitudinal) 의료 시각 질의응답(VQA)은 현재 시점 이미지와 참조 시점 이미지 간의 해부학적 차이를 추론하는 과제입니다. 우리는 흉부 X선을 대상으로 이 과제를 위한 어텐션 기반 인코더-디코더를 제안합니다. 기존의 직접적인 대비 방식 대신, 소규모 등록 정규화기를 갖춘 경량 어파인(affine) 등록 모듈을 도입하여 현재 이미지를 참조 이미지에 공동 정합(co-registration)함으로써 불필요한 움직임을 줄입니다. 정합된 이미지 쌍은 이미지 인코더에 입력된 후, 고정된 DINO 기반 마스크 생성기와 학습 가능한 적응형 마스크 생성기를 거쳐 원본 이미지 쌍에 적용될 마스크를 생성합니다. 마스킹된 이미지 쌍은 다시 이미지 인코더에 입력되고, 텍스트 특징과 연결되어 멀티모달 트랜스포머 기반 디코더의 입력으로 활용되어 최종 답변을 생성합니다. DINO-v3에서 영감을 받아 학습 안정화 및 변화 신호 명확화를 위해 마스크 재구성 손실, 쌍별 Gram 스타일 일관성 손실, KoLeo 균등성 손실 등의 추가 보조 목적함수를 포함하여 표현의 기하학적 구조를 향상시킵니다. Medical-Diff-VQA 벤치마크에서 본 모델은 높은 BLEU, ROUGE-L, CIDEr, METEOR 점수를 달성하는 동시에 공유 현저성(saliency) 마스크를 통한 내재적 해석 가능성을 제공합니다. 이러한 결과는 경미한 사전 정합과 함께 현저성 조건부 생성이 의료 VQA의 종단적 추론을 위한 원칙적인 프레임워크임을 뒷받침합니다. 또한 우리의 학습 전략은 바이오메디컬 분야에서 이미지 기반 모델을 활용하는 패러다임의 가능성, 즉 지도 학습과 비지도 학습 목적함수를 동시에 최적화하는 방식의 잠재력을 보여줍니다.