arXiv:2610.10238v2 cs.CV

의료 VLM에서 다중 표현형 병변 해석을 위한 기하 지도 시각 표현 학습

Geometry-Supervised Visual Representation Learning for Multi-Phenotype Lesion Interpretation in Medical VLMs

Hao Wang, Qiwei Zeng, Shuchang Ye, Jinghao Lin, Yuezhe Yang, Yige Peng, Jinman Kim, Lei Bi

제출 2026-11-13

한국어 초록

의료 비전-언어 모델(VLM)은 임상 영상 해석에서 점차 높은 잠재력을 보여주고 있습니다. 그러나 이러한 모델들은 여러 병리학적 표현형(phenotype)의 공동 평가가 진단에 요구되는 다중 표현형 병변을 해석하는 데 여전히 어려움을 겪고 있습니다. 기존의 비전-언어 정렬(alignment) 방법으로 생성된 시각 표현은 해부학적 위계와 표현형 하위 클래스 간의 관계를 제대로 보존하지 못합니다. 이는 시각 임베딩(embedding) 공간에서 이러한 관계를 보존하기 위한 기하학적 제약 조건이 결여된 의미론적 지도(semantic supervision)에 의존하기 때문입니다. 더욱이 병변 관련 해부학적 및 표현형 표현의 희소성(sparsity)으로 인해 의료 VLM이 중요한 진단적 증거를 포착하기 어렵습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 의료 VLM의 다중 표현형 병변 해석을 위한 기하 지도 시각 표현 학습 프레임워크인 \textbf{PureVision}을 제안합니다. 이는 기하 지도 표현 학습 모듈인 \textbf{PureEyes}와 해부학 유도 증거 집약 모듈인 \textbf{PureNeurons}를 결합합니다. PureEyes는 해부학적 위계와 표현형 하위 클래스 관계를 인코딩하는 이상적인 공간 분포를 통해 기하학적 지도를 제공합니다. PureNeurons는 시각 표현을 학습된 잠재 공간에 투영하고, 해당 위치를 활용하여 병변 특이적 해부학적 및 표현형 증거를 선택적으로 집약합니다. \textit{LIDC-IDRI}, \textit{CBIS-DDSM}, \textit{3DReasonKnee}에 대한 실험을 통해 PureVision이 시각적 질의응답(VQA) 및 방사선학 보고서 생성에서 병변 그라운딩(grounding)과 표현형 특성화를 개선함을 입증합니다. 코드는 https://anonymous.4open.science/r/purevision-06C2 에서 확인할 수 있습니다.

원문 초록

Medical vision-language models (VLMs) have shown increasing potential for clinical image interpretation. However, these models still struggle to interpret multi-phenotype lesions whose diagnosis requires the joint assessment of multiple pathological phenotypes. Existing vision-language alignment methods produce visual representations that fail to preserve anatomical hierarchies and relationships among phenotypic subclasses. This stems from their reliance on semantic supervision, which lacks geometric constraints to preserve these relationships in the visual embedding space. Moreover, the sparsity of lesion-related anatomical and phenotypic representations makes it difficult for medical VLMs to capture important diagnostic evidence. To address these limitations, we propose \textbf{PureVision}, a geometry-supervised visual representation learning framework for multi-phenotype lesion interpretation in medical VLMs. It combines a geometry-supervised representation learning module, \textbf{PureEyes}, and an anatomy-guided evidence aggregation module, \textbf{PureNeurons}. PureEyes provides geometric supervision through ideal spatial distributions that encode anatomical hierarchies and phenotypic subclass relationships. PureNeurons projects visual representations into the learned latent space, using their positions to selectively aggregate lesion-specific anatomical and phenotypic evidence. Experiments on \textit{LIDC-IDRI}, \textit{CBIS-DDSM}, and \textit{3DReasonKnee} demonstrate that PureVision improves lesion grounding and phenotype characterization in visual question answering and radiology report generation. Code is available at: https://anonymous.4open.science/r/purevision-06C2.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.10238v2제출 시각 미확인
  2. arXiv:2610.10238v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.