arXiv:2606.01049v3 cs.CL

캡션을 넘어서: 생의학 멀티모달 지속 사전학습을 위한 문맥 기반 재구성

Beyond Captions: Context-Grounded Reconstruction for Biomedical Multimodal Continued Pretraining

Guanghao Zhu, Zeyu Liu, Zhitian Hou, Pengkai Wang, Zhijie Sang, Yang Yu, Minheng Ni, Wenjun Wang, Yanggan Gu, Shuo Cai, Congkai Xie, Jianmin Wu, Hongxia Yang

제출 2026-05-31

한국어 초록

생의학 도표는 캡션뿐만 아니라 이를 설명하는 본문 구절을 통해서도 해석됩니다. 그러나 현재의 멀티모달 말뭉치는 도표를 고립된 이미지-캡션 쌍으로 축소하여 이러한 핵심 문맥을 버리는 경우가 많습니다. 기존 파이프라인은 이 문맥을 생략하거나 각 첨부를 뒷받침하는 도표 참조를 강제하지 않은 채 덧붙여, 근거 없는 이미지-텍스트 연결과 비일관적인 담화를 유발할 수 있습니다. 본 연구에서는 PubMed Central Open Access(PMC-OA) 레코드를 참조적으로 일관된 인터리브드(interleaved) 시퀀스로 변환하는 출처 기반 프레임워크인 문맥 기반 재구성(context-grounded reconstruction)을 도입합니다. 이는 캡션과 원본 텍스트를 복원하고, 논문 고유의 도표 참조를 통해서만 문맥을 첨부하며, 연속되지 않은 문맥을 복구하고 근거 없는 이미지를 제거합니다. 이렇게 재구성된 시퀀스에서 출발하여, PMC-InterCPT는 먼저 텍스트 품질과 의학적 관련성을 기준으로 레코드를 필터링한 뒤, 근거 인식 할당을 적용하여 생성형 의료 멀티모달 대규모 언어 모델(MLLM)의 지속 사전학습(CPT)을 위한 9.63B 토큰 규모의 말뭉치를 구축합니다. 고정된 지도 미세조정(SFT) 환경에서 PMC-InterCPT는 토큰 수가 일치하는 원본 데이터 대조군 대비 Qwen3.5-4B-Base의 의료 평균 점수를 1.46점, 일반/과학 평균 점수를 3.11점 향상시켰으며, 42% 더 큰 원본 데이터 학습 결과도 능가했습니다. 이러한 성능 향상은 Qwen3.5-2B-Base 및 LLaVA-OneVision-1.5-4B-Base에도 전이됩니다. 통제된 소거 연구(ablation study)는 단순히 논문 문맥을 덧붙이는 것이 아니라 문맥 기반 재구성을 수행하는 것이 유용한 생의학 멀티모달 CPT의 핵심임을 보여줍니다.

원문 초록

Biomedical figures are explained not by captions alone but by body-text passages that discuss them. Yet current multimodal corpora typically reduce figures to isolated image-caption pairs, discarding this crucial context. Existing pipelines either omit this context or append it without enforcing the figure references that support each attachment, which can create unsupported image-text attachments and incoherent discourse. We introduce context-grounded reconstruction, a source-grounded framework that converts PubMed Central Open Access (PMC-OA) records into referentially coherent interleaved sequences. It recovers captions and source text, attaches context only through article-native figure references, repairs non-contiguous context, and prunes unsupported images. Starting from these reconstructed sequences, PMC-InterCPT first filters records for text quality and medical relevance, then applies evidence-aware allocation to form a 9.63B-token corpus for continued pretraining (CPT) of generative medical MLLMs. With fixed supervised fine-tuning (SFT), PMC-InterCPT improves Qwen3.5-4B-Base by 1.46 medical-average points and 3.11 general/scientific-average points over a token-matched raw source control, and surpasses a 42% larger raw-data run. Gains transfer to Qwen3.5-2B-Base and LLaVA-OneVision-1.5-4B-Base. Controlled ablations show that context-grounded reconstruction, rather than simply appending article context, is central to useful biomedical multimodal CPT.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.01049v3
  2. arXiv:2606.01049v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.34798v2cs.CL공통 태그 Medical Image Analysis, continued pretraining

InfiMed2: 문맥적 근거와 안정성 인식 감독을 통한 범용 의료 멀티모달 기반 모델

InfiMed2: A Generalist Medical Multimodal Foundation Model from Contextual Evidence and Stability-Aware Supervision

최근 의료 멀티모달 모델(multimodal model)은 더 큰 말뭉치, 더 넓은 모달리티 적용 범위, 강화된 추론 지향 학습(training)을 통해 발전해 왔으나, 지속 사전학습(continued pretraining, CPT) 및 사후 학습(post-training) 전반에 걸친 효과적인 데이터 설계는 여전히 어려운 과제로 남아 있습니다. 의료 데이터 소스는 구조, 세분성, 정보 밀도가 크게 다르며, 광범위한 지식 습득에서 후기 단계의 통합으로 학습이 진행됨에 따라 그 유용성도 변화합니다. 한편 사후 학습은 단답형 시각적 질문 답변(VQA)이 지배적인 경우가 많아 정보성이 높고 답변과 일치하는 설명을 위한 감독을 충분히 제공하지 못합니다. 본 논문에서는 단계 인식형 데이터 설계를 중심으로 구축된 4B 및 27B 규모의 범용 의료 멀티모달 기반 모델(foundation model) 패밀리인 InfiMed2를 소개합니다. 소스 맞춤형 처리를 통해 광범위한 임상 지식과 문맥이 풍부한 생물의학 시각적 근거를 결합한 556.8억(55.68B) 토큰(token) 규모의 말뭉치를 구축했습니다. 본 CPT 파이프라인은 먼저 비전 인코더를 적응시킨 다음 광범위한 의료 지식을 구축하고, 최종적으로 학습률 감쇠 단계에서 근거 중심의 데이터 혼합으로 전환합니다. 지도 미세조정(SFT)을 위해 답변 안정성, 답변 마스킹 재구성, 정확도 제약 선별을 활용하여 시각적 질문 답변 반응을 재생성함으로써 더 유익하고 답변 일관성을 갖춘 감독 신호를 생성합니다. 4B 모델은 검증 가능한 보상을 통한 강화학습(RLVR)으로 추가 최적화되었습니다. 5개 의료 멀티모달 벤치마크(benchmark) 전반에서 InfiMed2-4B는 RLVR 적용 후 66.73%의 평균 정확도를 달성하여 더 큰 규모의 Qwen3.5-9B를 능가했으며, InfiMed2-27B는 73.72%를 기록하여 평가된 오픈 가중치(open-weight) 모델 중 가장 높은 성능을 달성했습니다.

arXiv:2610.00196v1cs.CV공통 태그 Image Captioning, Medical Image Analysis

GPEC: 심장 초음파 비디오 캡션 생성을 위한 효율적인 LLM 사전 가우시안 프로세스 임베딩 보정

GPEC: Efficient Pre-LLM Gaussian Process Embedding Correction for Cardiac Video Caption Generation

멀티모달 대규모 언어 모델(MLLM)은 비디오 이해 및 캡션 생성에서 강력한 잠재력을 보여주었으나, 심장 초음파 검사와 같은 전문 의료 영상 분야에서는 성능이 저하될 수 있습니다. 본 연구에서는 심장 초음파 캡션 생성을 위해 VideoChat2에서 사용하는 시각적 표현을 개선하는 모듈형이자 계산 효율적인 LLM 사전 오류 보정 방법인 가우시안 프로세스 임베딩 보정(Gaussian Process Embedding Correction, GPEC)을 소개합니다. GPEC은 시각적 투영 층(visual projection layer)과 언어 모델 사이에 삽입되어 투영된 시각적 표현을 어노테이션 기반 타깃으로 이동시키는 잔차 보정(residual correction)을 학습합니다. 이 타깃은 구조화된 비디오 어노테이션을 정성적 속성으로 변환하고, 고정된 형식의 참조 캡션을 생성한 뒤, 이를 언어 모델 임베딩 공간으로 매핑하여 구축됩니다. 보정은 유도점(inducing points), 자연 매개변수 변분 업데이트(natural-parameter variational updates), 블록별 선형 커널을 갖춘 희소 변분 가우시안 프로세스(sparse variational Gaussian Process)를 사용하여 모델링되며, 기존 VideoChat2 구성 요소는 고정(frozen) 상태로 유지됩니다. 본 방법은 동일한 입력 및 참조 조건에서 기존 VideoChat2와 VideoChat2 + GPEC을 비교하여 표현 수준, 캡션 수준, 콘텐츠 지향 및 실행 시간 지표를 사용해 평가됩니다. 실험 결과, 제안된 보정을 적용한 후 캡션 유사도 및 콘텐츠 정합성이 향상된 것으로 나타났습니다. 또한 GPEC은 평가 환경에서 비디오당 0.05초 미만의 추론 시간 오버헤드만을 추가합니다. 이러한 결과는 사전학습된 멀티모달 백본의 엔드투엔드 미세조정 없이도 GPEC이 최소한의 계산 비용으로 전문 의료 비디오 분야의 캡션 생성을 향상할 수 있음을 보여줍니다.

arXiv:2609.23860v1cs.AI공통 태그 Image Captioning, Medical Image Analysis

멀티모달 대규모 언어 모델을 위한 의료 시각 인코더 사전학습

Pretraining of Medical Visual Encoders Toward Multi-modal Large Language Models

멀티모달 대규모 언어 모델(MLLM)은 CLIP으로 사전학습(pre-training)된 시각 인코더를 흔히 재사용하지만, 이러한 ViT의 특징들은 궁극적으로 자기회귀 LLM에 의해 소비됩니다. 본 연구에서는 이러한 불일치를 '의미론적 인터페이스 격차(semantic-interface gap)'라고 칭하며, 동결된(frozen) LLM을 사용한 판독문 생성을 통해 시각 인코더를 사전학습하면서도 시각적 붕괴(visual collapse)를 방지하기 위해 시각 패치 간의 관계를 보존하는 국소 관계 증류(Local Relational Distillation, LRD)를 적용하는 프레임워크인 MedMLIP을 소개합니다. 저자들은 IU-Xray 및 Open-PMC-300K에서 MedMLIP을 사전학습하고 결과 인코더를 VQA-RAD 및 SLAKE에서 평가합니다. 안내 역할을 하는 LLM과 프로젝터는 교체되고 오직 ViT만 전이되므로, 이를 통해 교차 LLM 전이성(cross-LLM transferability)을 평가할 수 있습니다. 교차 LLM 전이 실험은 더욱 세밀한 시각적 정보를 보존하면서 자기회귀 LLM 인터페이스에 맞춰 시각 인코더를 사전학습하는 것의 가치를 입증합니다. 코드와 사전학습된 모델(model)은 https://github.com/SkyCol/MedMLIP 에서 확인할 수 있습니다.

arXiv:2607.21970v1cs.CV공통 태그 Image Captioning, Medical Image Analysis

TextSLIP: 의료 보고서 생성을 위한 텍스트 자기지도 CLIP

TextSLIP: Text Self-Supervised CLIP for Medical Report Generation

방사선학 보고서 생성의 자동화는 보고 일관성과 임상 워크플로를 개선하는 데 중요하다. 대조적 언어-이미지 사전학습(Contrastive Language-Image Pretraining, CLIP)은 의료 비전-언어 모델링을 발전시켰지만, 기존 CLIP 스타일 접근법은 복잡한 보고서 생성에 필요한 세밀한 의미적 지도를 여전히 충분히 제공하지 못할 수 있다. 표준 CLIP은 주로 교차 모달 정렬을 최적화하며, 시각 표현 학습을 이끄는 텍스트 임베딩 공간을 명시적으로 구조화하지 않는다. 이러한 한계를 해결하기 위해, 우리는 CLIP에 모달 내 텍스트 대조 학습을 추가한 일반적인 의료 비전-언어 사전학습 프레임워크인 TextSLIP을 제안한다. 자기지도 증강 텍스트 쌍을 통해 텍스트 임베딩 변별력을 향상시킴으로써, TextSLIP은 시각 인코더에 더 세밀한 언어적 지도를 제공하도록 설계되었다. 초기 검증으로, 우리는 700만 개의 뇌 MRI 이미지-텍스트 쌍으로 구성된 큐레이션된 데이터셋에서 TextSLIP을 사전학습하고, 보고서 생성 아키텍처 내에서 사전학습된 시각 인코더를 파인튜닝하였다. CLIP 스타일 베이스라인과의 통제된 비교에서 TextSLIP은 보고서 생성 지표에서 일관된 개선을 보였다. 절제(ablation) 연구는 텍스트 측 자기지도가 관찰된 향상에 기여함을 추가로 시사한다. 이러한 결과는 텍스트 수준의 대조 학습이 의료 시각-텍스트 정렬을 개선하는 유망한 방향임을 나타내며, 추가 의료 도메인에 걸친 더 넓은 범위의 검증이 중요한 다음 단계로 남아 있다.

arXiv:2607.21998v1cs.CV공통 태그 Image Captioning, Medical Image Analysis

Medical-Checklist: 다중모달 모델의 의료 영상 이해 평가

Medical-Checklist: Assessing the Comprehension of Medical Images by Multimodal Models

본 논문은 의료 다중모달 모델을 평가하기 위한 새로운 벤치마크 테스트인 Medical-Checklist를 소개한다. 최근 다중모달 모델의 발전은 의료 비전-언어(vision-language) 과제 분야에서 상당한 잠재력을 보여주었다. 그러나 이러한 모델의 성능을 평가하는 것—자연 영상이든 의료 영상이든—은 점점 더 어려운 과제임이 분명해지고 있다. 핵심 질문은 모델이 관련 입력 텍스트와 연관지으며 입력 영상을 정확히 이해할 수 있는지 여부이다. 이를 해결하기 위해 Medical-Checklist는 모델에 이진 테스트를 부과한다. 모델에게는 하나의 영상과 두 개의 캡션이 주어지며, 하나는 정답이고 다른 하나는 오답이며, 모델은 정답을 선택해야 한다. 오답 캡션에는 정답 캡션에서 부정확하게 대체된 단 하나의 의료 개념(단어 또는 구)이 포함된다. 과제는 단순하지만, 이러한 단순함은 서로 다른 원리에 따라 설계되고 학습된 다양한 다중모달 모델의 통합 평가를 가능하게 한다. 또한 다양한 의료 하위 도메인에 걸친 광범위한 의료 개념을 모델이 올바르게 이해하는지 검증할 수 있다. Medical-Checklist는 데이터의 잠재적 편향을 줄이도록 설계되었으며, 기존 데이터셋에서는 어려웠던 분포 외(out-of-distribution) 입력 처리 능력의 평가를 가능하게 한다. Medical-Checklist로 4개의 최신(state-of-the-art) 의료 다중모달 모델을 평가한 결과, Med-VQA와 같은 특정 과제에서 우수한 성능을 보였음에도 불구하고 영상을 올바르게 이해하지 못할 수 있음이 드러났으며, 이는 임상 적용을 위해 아직 갈 길이 멀다는 것을 시사한다. 데이터셋과 코드는 논문 게재 승인 후 공개될 예정이다.

arXiv:2607.20993v1cs.CV공통 태그 Image Captioning, Medical Image Analysis

고정된 3D CT 비전 인코더의 희소 개념 채널

Sparse Concept Channels in Frozen 3D CT Vision Encoders

대규모 비전-언어 모델은 3D 의료 영상 해석에서 점점 더 지배적이 되고 있지만, 어떤 내부 유닛이 임상 소견을 인코딩하는지, 또는 그 정보가 표현의 어디에 존재하는지는 거의 알려져 있지 않다. 우리는 먼저 3D 흉부 비전-언어 모델(Pillar-0)에서 고정된 비전 임베딩을 프로빙하여 이를 연구한다. (i) 각 방사선학적 소견은 전체 특징 분류 성능과 동등하고 제로샷 텍스트 프롬프팅을 훨씬 능가하는 약 10개의 비전 인코더 채널의 희소 집합에 의해 인코딩됨을, (ii) 한 소견에 연결된 채널을 끄면 해당 소견의 점수는 붕괴하지만 관련 없는 레이블은 안정적으로 유지됨을, (iii) 동일한 희소 프로브가 구조적으로 무관한 3D 복부 VLM(Merlin)에서도 재현되어 고정된 의료 인코더의 일반적 특성을 시사함을 보인다. 코퍼스 기반 보고서 템플릿과 결합한 학습 없는 개념 채널 프로브(CCP) 방법은 임상 효능 및 NLG(자연어 생성) 지표에서 공개된 CT-CHAT을 능가하며(F1 0.549 vs. 0.184; BLEU 0.483 vs. 0.373), 지연 시간은 22배 낮다. 우리 결과는 고정된 의료 인코더가 소견을 어떻게 표현하는지에 대한 명확하고 재현 가능한 특성화를 제공하며, 모델 전반에 걸친 직접적 적용 가능성을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.