캡션을 넘어서: 생의학 멀티모달 지속 사전학습을 위한 문맥 기반 재구성
Beyond Captions: Context-Grounded Reconstruction for Biomedical Multimodal Continued Pretraining
생의학 도표는 캡션뿐만 아니라 이를 설명하는 본문 구절을 통해서도 해석됩니다. 그러나 현재의 멀티모달 말뭉치는 도표를 고립된 이미지-캡션 쌍으로 축소하여 이러한 핵심 문맥을 버리는 경우가 많습니다. 기존 파이프라인은 이 문맥을 생략하거나 각 첨부를 뒷받침하는 도표 참조를 강제하지 않은 채 덧붙여, 근거 없는 이미지-텍스트 연결과 비일관적인 담화를 유발할 수 있습니다. 본 연구에서는 PubMed Central Open Access(PMC-OA) 레코드를 참조적으로 일관된 인터리브드(interleaved) 시퀀스로 변환하는 출처 기반 프레임워크인 문맥 기반 재구성(context-grounded reconstruction)을 도입합니다. 이는 캡션과 원본 텍스트를 복원하고, 논문 고유의 도표 참조를 통해서만 문맥을 첨부하며, 연속되지 않은 문맥을 복구하고 근거 없는 이미지를 제거합니다. 이렇게 재구성된 시퀀스에서 출발하여, PMC-InterCPT는 먼저 텍스트 품질과 의학적 관련성을 기준으로 레코드를 필터링한 뒤, 근거 인식 할당을 적용하여 생성형 의료 멀티모달 대규모 언어 모델(MLLM)의 지속 사전학습(CPT)을 위한 9.63B 토큰 규모의 말뭉치를 구축합니다. 고정된 지도 미세조정(SFT) 환경에서 PMC-InterCPT는 토큰 수가 일치하는 원본 데이터 대조군 대비 Qwen3.5-4B-Base의 의료 평균 점수를 1.46점, 일반/과학 평균 점수를 3.11점 향상시켰으며, 42% 더 큰 원본 데이터 학습 결과도 능가했습니다. 이러한 성능 향상은 Qwen3.5-2B-Base 및 LLaVA-OneVision-1.5-4B-Base에도 전이됩니다. 통제된 소거 연구(ablation study)는 단순히 논문 문맥을 덧붙이는 것이 아니라 문맥 기반 재구성을 수행하는 것이 유용한 생의학 멀티모달 CPT의 핵심임을 보여줍니다.