BioMamba: 도메인 적응 바이오의학 언어 모델
BioMamba: Domain-Adaptive Biomedical Language Models
Mamba2 모델에 PubMed, C4, Wikipedia의 균형 잡힌 데이터를 사용하여 지속 사전학습을 수행한 BioMamba는 바이오의학 문헌 및 임상 텍스트에서의 성능을 향상시키면서 일반 언어 모델링 유창성을 유지합니다. 파인튜닝 후 MIMIC-IV 및 PubMedQA 벤치마크에서 기존 모델과 동등하거나 우수한 성능을 달성했습니다.