최근 의료 멀티모달 모델(multimodal model)은 더 큰 말뭉치, 더 넓은 모달리티 적용 범위, 강화된 추론 지향 학습(training)을 통해 발전해 왔으나, 지속 사전학습(continued pretraining, CPT) 및 사후 학습(post-training) 전반에 걸친 효과적인 데이터 설계는 여전히 어려운 과제로 남아 있습니다. 의료 데이터 소스는 구조, 세분성, 정보 밀도가 크게 다르며, 광범위한 지식 습득에서 후기 단계의 통합으로 학습이 진행됨에 따라 그 유용성도 변화합니다. 한편 사후 학습은 단답형 시각적 질문 답변(VQA)이 지배적인 경우가 많아 정보성이 높고 답변과 일치하는 설명을 위한 감독을 충분히 제공하지 못합니다. 본 논문에서는 단계 인식형 데이터 설계를 중심으로 구축된 4B 및 27B 규모의 범용 의료 멀티모달 기반 모델(foundation model) 패밀리인 InfiMed2를 소개합니다. 소스 맞춤형 처리를 통해 광범위한 임상 지식과 문맥이 풍부한 생물의학 시각적 근거를 결합한 556.8억(55.68B) 토큰(token) 규모의 말뭉치를 구축했습니다. 본 CPT 파이프라인은 먼저 비전 인코더를 적응시킨 다음 광범위한 의료 지식을 구축하고, 최종적으로 학습률 감쇠 단계에서 근거 중심의 데이터 혼합으로 전환합니다. 지도 미세조정(SFT)을 위해 답변 안정성, 답변 마스킹 재구성, 정확도 제약 선별을 활용하여 시각적 질문 답변 반응을 재생성함으로써 더 유익하고 답변 일관성을 갖춘 감독 신호를 생성합니다. 4B 모델은 검증 가능한 보상을 통한 강화학습(RLVR)으로 추가 최적화되었습니다. 5개 의료 멀티모달 벤치마크(benchmark) 전반에서 InfiMed2-4B는 RLVR 적용 후 66.73%의 평균 정확도를 달성하여 더 큰 규모의 Qwen3.5-9B를 능가했으며, InfiMed2-27B는 73.72%를 기록하여 평가된 오픈 가중치(open-weight) 모델 중 가장 높은 성능을 달성했습니다.
생의학 도표는 캡션뿐만 아니라 이를 설명하는 본문 구절을 통해서도 해석됩니다. 그러나 현재의 멀티모달 말뭉치는 도표를 고립된 이미지-캡션 쌍으로 축소하여 이러한 핵심 문맥을 버리는 경우가 많습니다. 기존 파이프라인은 이 문맥을 생략하거나 각 첨부를 뒷받침하는 도표 참조를 강제하지 않은 채 덧붙여, 근거 없는 이미지-텍스트 연결과 비일관적인 담화를 유발할 수 있습니다. 본 연구에서는 PubMed Central Open Access(PMC-OA) 레코드를 참조적으로 일관된 인터리브드(interleaved) 시퀀스로 변환하는 출처 기반 프레임워크인 문맥 기반 재구성(context-grounded reconstruction)을 도입합니다. 이는 캡션과 원본 텍스트를 복원하고, 논문 고유의 도표 참조를 통해서만 문맥을 첨부하며, 연속되지 않은 문맥을 복구하고 근거 없는 이미지를 제거합니다. 이렇게 재구성된 시퀀스에서 출발하여, PMC-InterCPT는 먼저 텍스트 품질과 의학적 관련성을 기준으로 레코드를 필터링한 뒤, 근거 인식 할당을 적용하여 생성형 의료 멀티모달 대규모 언어 모델(MLLM)의 지속 사전학습(CPT)을 위한 9.63B 토큰 규모의 말뭉치를 구축합니다. 고정된 지도 미세조정(SFT) 환경에서 PMC-InterCPT는 토큰 수가 일치하는 원본 데이터 대조군 대비 Qwen3.5-4B-Base의 의료 평균 점수를 1.46점, 일반/과학 평균 점수를 3.11점 향상시켰으며, 42% 더 큰 원본 데이터 학습 결과도 능가했습니다. 이러한 성능 향상은 Qwen3.5-2B-Base 및 LLaVA-OneVision-1.5-4B-Base에도 전이됩니다. 통제된 소거 연구(ablation study)는 단순히 논문 문맥을 덧붙이는 것이 아니라 문맥 기반 재구성을 수행하는 것이 유용한 생의학 멀티모달 CPT의 핵심임을 보여줍니다.
ModernBERT-base를 FineWeb2 기반 120억 토큰 말뭉치에 600억 토큰 지속 사전학습(continued pretraining)하여 만든 포르투갈어 인코더 moBERTo를 제안하며, 포르투갈어 토크나이저·서브워드 매칭 임베딩 전이·8,192 토큰 장문맥 사후학습을 결합한 변형이 세 포르투갈어 검색 벤치마크의 평균 리랭킹 nDCG@10과 PLUE-PT에서 최고 성능을 기록한다. 정보 검색·장문맥 검색·문서 분류·개체명 인식·자연어 이해 평가와 어블레이션을 통해 지속 사전학습이 장문맥 능력 보존에 유리하고, 인코더 전용 아키텍처가 판별 작업에서 더 큰 디코더 전용 모델과 경쟁력을 유지함을 보인다.
Mamba2 모델에 PubMed, C4, Wikipedia의 균형 잡힌 데이터를 사용하여 지속 사전학습을 수행한 BioMamba는 바이오의학 문헌 및 임상 텍스트에서의 성능을 향상시키면서 일반 언어 모델링 유창성을 유지합니다. 파인튜닝 후 MIMIC-IV 및 PubMedQA 벤치마크에서 기존 모델과 동등하거나 우수한 성능을 달성했습니다.