arXiv:2608.00976v1 cs.CV

의료 비전 파운데이션 모델을 위한 위치 인식 세분화 표현 학습

Location-Aware Fine-Grained Representation Learning for Medical Vision Foundation Models

Myeongkyun Kang, Yanting Yang, Xiaoxiao Li

제출 2026-08-02

한국어 초록

세분화된 시각적 표현(fine-grained visual representation)은 특히 진단과 관련된 단서가 미세하고 공간적으로 국소화되어 있을 때 의료 영상 분석에 필수적입니다. 따라서 최신 트랜스포머(transformer) 기반 의료 비전 인코더는 임상적으로 유의미하면서도 공간적으로 일관된 패치 수준 표현을 학습해야 합니다. 이러한 특성이 결여될 경우, 대규모 비전-언어 모델(LVLM)은 모호한 시각적 기반 위에서 동작하게 되어 임상적으로 신뢰할 수 있고 공간적으로 그라운딩(grounding)된 응답을 생성하는 능력이 제한됩니다. 그러나 의료 비전 인코더를 위한 기존 학습(training) 전략은 두 가지 목표를 동시에 달성하는 경우가 드뭅니다. 이미지-텍스트 정렬은 주로 이미지 수준에서 임상적으로 유의미한 지도(supervision)를 제공하므로, 진단 단서의 공간적 국소화에 대한 제약이 약하게 남습니다. 반면, 자기지도학습(self-supervised learning)은 공간적 일관성을 촉진하지만, 시각적으로 유사하면서도 임상적으로는 상이한 영역을 구별하는 데 필요한 의미론적 지도가 부족합니다. 이러한 간극을 해결하기 위해, 위치 인식 세분화 표현 학습을 기반으로 구축된 의료 비전 파운데이션 모델인 LoFi를 제시합니다. LoFi는 그라운딩 및 그라운디드 캡셔닝(grounded captioning) 목표 하에서 경량 대규모 언어 모델(LLM)과 함께 비전 인코더를 학습시킵니다. 이러한 목표는 임상 텍스트로부터 위치를 예측하거나 그 반대의 과정을 요구하기 때문에, 명시적인 패치 수준 정규화(regularization) 없이도 공간적 일관성이 자연스럽게 발현됩니다. 대규모 학습을 가능하게 하기 위해, 7개 양상(modality)에 걸친 84개 데이터셋(dataset)에서 큐레이션한 448만 개의 이미지-텍스트-박스 삼중쌍으로 구성된 대규모 의료 그라운딩 데이터셋인 MedG를 구축했습니다. 구문 그라운딩(phrase grounding), 시각적 질의응답(VQA), 섭동 하의 영역 기반 장기 분류(classification) 전반에 걸쳐, LoFi는 범용 및 의료 비전 파운데이션 모델뿐만 아니라 최신 최고 성능의 LVLM을 일관되게 능가합니다. 코드는 https://github.com/myeongkyunkang/lofi-medg 에서 확인할 수 있습니다.

원문 초록

Fine-grained visual representations are essential for medical image analysis, particularly when diagnostically relevant evidence is subtle and spatially localized. Modern transformer-based medical vision encoders must therefore learn patch-level representations that are both clinically meaningful and spatially consistent. Without these properties, large vision-language models (LVLMs) operate on an ambiguous visual foundation, limiting their ability to generate clinically reliable and spatially grounded responses. However, existing training strategies for medical vision encoders rarely achieve both objectives. Image-text alignment provides clinically meaningful supervision primarily at the image level, leaving the spatial localization of diagnostic evidence weakly constrained. In contrast, self-supervised learning promotes spatial consistency but lacks the semantic supervision needed to distinguish visually similar yet clinically distinct regions. To address this gap, we present LoFi, a medical vision foundation model built on location-aware fine-grained representation learning. LoFi trains a vision encoder with a lightweight large language model under grounding and grounded captioning objectives. Because these objectives require predicting location from clinical text and vice versa, spatial consistency emerges without any explicit patch-level regularization. To enable training at scale, we construct MedG, a large-scale medical grounding dataset of 4.48M image-text-box triplets curated from 84 datasets spanning 7 modalities. Across phrase grounding, visual question answering, and region-based organ classification under perturbations, LoFi consistently outperforms general-purpose and medical vision foundation models as well as state-of-the-art LVLMs. Code is available at https://github.com/myeongkyunkang/lofi-medg.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.00976v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.