비전 기반 모델이 안내하는 어텐션 일관성 종단적 의료 시각 질의응답
Attention Consistent Longitudinal Medical Visual Question Answering Guided by Vision Foundation Models
한국어 초록
종단적(longitudinal) 의료 시각 질의응답(VQA)은 현재 시점 이미지와 참조 시점 이미지 간의 해부학적 차이를 추론하는 과제입니다. 우리는 흉부 X선을 대상으로 이 과제를 위한 어텐션 기반 인코더-디코더를 제안합니다. 기존의 직접적인 대비 방식 대신, 소규모 등록 정규화기를 갖춘 경량 어파인(affine) 등록 모듈을 도입하여 현재 이미지를 참조 이미지에 공동 정합(co-registration)함으로써 불필요한 움직임을 줄입니다. 정합된 이미지 쌍은 이미지 인코더에 입력된 후, 고정된 DINO 기반 마스크 생성기와 학습 가능한 적응형 마스크 생성기를 거쳐 원본 이미지 쌍에 적용될 마스크를 생성합니다. 마스킹된 이미지 쌍은 다시 이미지 인코더에 입력되고, 텍스트 특징과 연결되어 멀티모달 트랜스포머 기반 디코더의 입력으로 활용되어 최종 답변을 생성합니다. DINO-v3에서 영감을 받아 학습 안정화 및 변화 신호 명확화를 위해 마스크 재구성 손실, 쌍별 Gram 스타일 일관성 손실, KoLeo 균등성 손실 등의 추가 보조 목적함수를 포함하여 표현의 기하학적 구조를 향상시킵니다. Medical-Diff-VQA 벤치마크에서 본 모델은 높은 BLEU, ROUGE-L, CIDEr, METEOR 점수를 달성하는 동시에 공유 현저성(saliency) 마스크를 통한 내재적 해석 가능성을 제공합니다. 이러한 결과는 경미한 사전 정합과 함께 현저성 조건부 생성이 의료 VQA의 종단적 추론을 위한 원칙적인 프레임워크임을 뒷받침합니다. 또한 우리의 학습 전략은 바이오메디컬 분야에서 이미지 기반 모델을 활용하는 패러다임의 가능성, 즉 지도 학습과 비지도 학습 목적함수를 동시에 최적화하는 방식의 잠재력을 보여줍니다.
원문 초록
Longitudinal medical visual question answering (VQA) requires reasoning about anatomical differences between an image of a current time point and an image of a referred time point. We propose an attention-guided encoder-decoder for this task with chest X-rays. Instead of conventional direct contrast, we propose to include a lightweight affine registration module to reduce nuisance motion by co-registering the current image to the reference image with a small registration regularizer. The registered image pair is fed into the image encoder, followed by a frozen DINO-based mask generator and a trainable adaptive mask generator to produce masks applied to the original image pairs. The masked image pairs are again fed into the image encoder and concatenated with text features as the input to a multimodal transformer-based decoder to generate final answers. To facilitate learning stabilization and clarify the change signal, inspired by DINO-v3, we include additional auxiliary objectives, including a mask rebuilding loss, a pairwise Gram-style consistency loss, and a KoLeo uniformity loss, which enhances the geometry of the representation. On the Medical-Diff-VQA benchmark, the model delivers strong BLEU, ROUGE-L, CIDEr, and METEOR scores while offering intrinsic interpretability through the shared saliency mask. These results support saliency-conditioned generation with mild pre-alignment as a principled framework for longitudinal reasoning in medical VQA. Our training strategy also illustrates the potential of a paradigm in utilizing image foundation models in biomedicine: optimizing both supervised and unsupervised learning objectives simultaneously.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.06534v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
어디를 볼 것인가가 중요하다: 3D 의료 자기지도학습에서의 서브 볼륨 샘플링 재고
Where to Look Matters: Rethinking Sub-Volume Sampling in 3D Medical Self-supervised Learning
3D 의료 영상에서의 자기지도학습(self-supervised learning)은 일반적으로 사전학습(pre-training) 중 무작위 서브 볼륨(sub-volume) 샘플링에 의존합니다. 그러나 무작위 크롭(random cropping)은 해부학적 사전 지식과 공간적 중복성으로 인해 영역 간 표현 학습(representation learning) 가치가 본질적으로 불균등함에도 불구하고, 모든 공간 영역을 관찰할 가치가 동일한 것으로 암묵적으로 취급합니다. 이를 위해, 본 연구는 먼저 제어된 크롭 품질 조작 실험을 통해 더 나은 서브 볼륨이 더 우수한 다운스트림 전이(transfer)로 이어진다는 점을 보임으로써, 관찰 정책(observation policy)이 3D 의료 SSL에서 간과되어 온 병목 현상임을 밝힙니다. 이러한 발견에 착안하여 서브 볼륨 샘플링을 어디를 볼 것인가(\emph{where-to-look})의 문제로 재검토합니다. 우리는 무작위 크롭을 해부학 인식(\textit{anatomy-awareness}), 정보성(\textit{informativeness}), 다양성(\textit{diversity})에 기반한 오프라인 조-세밀(coarse-to-fine) 프로브 뱅크로 대체하는 플러그 앤 플레이 프레임워크인 \textbf{\method}를 제안합니다. 경량 볼륨 내재적 사전 지식만으로 충분한지, 혹은 더 풍부한 의미론적 단서가 신뢰할 수 있는 추가적인 가치를 제공하는지 검증하기 위해 기하학적 및 영상 통계적 단서를 활용하는 경량 변형인 \lite와 고정된 시각적 특징을 활용하는 진단 변형인 \feat로 \method를 구현합니다. 여러 3D 의료 SSL 백본 및 다운스트림 태스크에 걸친 광범위한 실험을 통해, \method-\lite가 무작위 샘플링 대비 전이 성능을 일관되게 향상시킴을 입증합니다. 나아가 메커니즘 분석을 통해 이러한 이득이 해부학적으로 더 타당하고 정보성이 높은 관찰, 감소된 공간적 중복성, 더 효율적인 학습 역학(learning dynamics), 그리고 더 구조화된 표현에 기인함을 밝힙니다.
HERO: 종양학 분야의 강건한 표현 학습을 위한 조직병리학 인코더
HERO: Histology Encoder for Robust Representation in Oncology
대규모 병리학 이미지 말뭉치로 학습된 파운데이션 모델(foundation model)은 이제 전산병리학(computational pathology)을 위한 강력하고 전이 가능한 표현을 제공합니다. 지난 몇 년간 이러한 모델들이 잇달아 공개되었으며, 각 모델은 이전 모델보다 더 많은 슬라이드로 학습되었습니다. 표준 분류 및 분할(segmentation) 벤치마크에서 선도적인 모델들 간의 격차는 이제 매우 미미한 수준입니다. 그러나 임상 현장에서는 파운데이션 모델이 학습 데이터에 포함되지 않은 병원, 스캐너 및 염색 프로토콜에서 생성된 이미지에 적용됩니다. 인코더는 일반적으로 생물학적 정보와 함께 이러한 획득 요인(acquisition factor)들을 함께 임베딩하며, 이는 다운스트림 오류를 유발하고 안전한 임상 도입을 저해할 수 있습니다. 따라서 병리학 파운데이션 모델은 표현 품질을 유지하면서도 데이터 획득 변화(acquisition shift)에 강건해야 하지만, 강건성은 모델 간 비교에서 거의 고려되지 않는 기준이었습니다. 본 보고서에서는 DINO 및 iBOT 목표로 학습되고, 약 575,000개의 임상 전체 슬라이드 이미지(WSI)에서 추출한 형태학적으로 균형 잡힌 5억 개의 타일 말뭉치에서 고해상도 그람 앵커링(Gram anchoring)으로 정제된 ViT-G/14 병리학 파운데이션 모델인 HERO(Histology Encoder for Robust Representation in Oncology)를 소개합니다. 평가된 공개 벤치마크 전반에서 HERO는 비교된 최고 수준(state-of-the-art)의 파운데이션 모델 중 기관, 스캐너 및 염색 변화에 대해 가장 강력한 강건성을 보였습니다. 또한 타일 수준의 분류, 분할 및 유전자 발현 예측에서 필적하는 성능을 달성했으며, 평가된 39개 슬라이드 수준 임상 작업 전반에서 평균 1위를 기록했고, 동일 가중치 프레임워크 수준 분석에서도 6개 벤치마크 프레임워크 전반에 걸쳐 가장 우수한 평균 순위를 기록했습니다.
유전적 발견을 위한 뇌 MRI의 표면-볼륨 자기지도 표현 학습
Surface-volume self-supervised representation learning of brain MRI for genetic discovery
뇌 영상에 대한 기존 전장 유전체 연관성 분석(GWAS)은 사전에 정의되었거나 딥러닝으로 도출된 영상 표현형을 제공하지만, 이러한 표현형은 볼륨(volumetric) 스캔 또는 대뇌 피질 표면 메시(cortical surface mesh) 중 하나에서만 추출되므로 각각 뇌 해부학적 구조의 유전적 변이 중 일부만을 포착합니다. 본 연구에서는 복셀 수준의 이미지 강도와 각 표면 정점(vertex)에서의 곡률 및 피질 두께를 포함한 피질 메시 기하학적 정보를 하나의 공유된 영상 특징 세트로 함께 인코딩하는 자기지도(self-supervised) 프레임워크인 MEVA(Mesh-Enhanced Volumetric Autoencoder)를 소개합니다. MEVA에서 메시와 볼륨 입력을 결합하면 두 입력 중 하나만 사용하는 모델에 비해 연령 및 성별 예측에서 소폭의 성능 향상을 얻을 수 있습니다. 이러한 특징들을 UK 바이오뱅크(UK Biobank)의 GWAS 표현형으로 활용했을 때, 볼륨만으로 학습된 특징이나 메시만으로 학습된 특징보다 더 많은 전장 유전체 유의 수준(genome-wide significant) 유전자 좌(loci)를 발견했습니다. 이러한 결과는 볼륨 기반 자기지도 학습에 대뇌 피질 표면 기하학을 추가함으로써 추가적인 유전적 변이를 포착하고 이를 통해 검출되는 유전자 좌의 수를 증가시킬 수 있음을 시사합니다.
UVU: 비전-언어 통합 자기회귀 패러다igm을 통한 멀티모달 이해 향상
UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm
멀티모달 대규모 언어 모델(MLLM)이 눈에 띄게 발전했음에도, 세밀한 시각 이해는 주로 희소한 텍스트 감독에 의존하기 때문에 제한된다. 시각 감독을 도입하려는 기존 시도는 대개 사후 학습 단계에서 이루어지며, 그때는 시각 표현이 이미 대부분 고정되어 있어 해당 신호가 지각 특징을 형성하는 주된 힘보다는 보조적 제약으로 작용하는 경우가 많다. 본 논문에서는 사전학습 단계에 시각 감독을 직접 통합하여 모델의 지각 백본을 근본적으로 재구성하는 것을 목표로 한다. 픽셀 수준의 이미지 패치와 텍스트 토큰이 본질적인 입력 대칭성을 갖는 공유된 원시 고차원 공간에 자연스럽게 공존한다는 점을 관찰한다. 이 통찰을 바탕으로 벡터 양자화를 배제하는 새로운 비전-언어 통합 자기회귀 프레임워크인 UVU를 제안한다. UVU는 시각 입력의 무손실 표현을 위해 연속 시각 인코딩을 독특하게 사용하고, 픽셀 수준의 시각 코드북을 구성하기 위한 대규모 반복적 계층적 클러스터링 알고리즘을 제안하여 통합 감독을 위한 어휘를 확장하고 텍스트 토큰과 함께 픽셀 수준 이미지 토큰의 자기회귀 생성을 가능하게 한다. UVU는 픽셀 수준 시각 지각과 의미 수준 시각 이해를 효과적으로 시너지시키며, 시각 재구성 능력을 내재화하고 사전학습 단계에서 이해를 향상시키는 시각 감독의 촉진적 역할을 이끌어낸다. 여러 과제에 걸친 광범위한 실험은 MLLM이 UVU의 감독 학습 패러다igm 하에서 더 우수한 멀티모달 이해 성능을 달성할 수 있음을 보여준다.
SPERA: 기하학 및 주파수 인식 잠재 예측을 적용한 구면 사전분포 기반 뇌파 파운데이션 모델
SPERA: Spherical Prior EEG Foundation Model with Geometry- and Frequency-Aware Latent Prediction
자기지도 음성 모델을 이용한 L2 발음 편차 측정용 원어민 기준 좌표 기하학
A Native-Reference Coordinate Geometry for L2 Pronunciation Deviation Using Self-Supervised Speech Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.