균형 잡힌 미세조정을 통한 생명의학 지식과 대규모 언어 모델의 정렬
Aligning LLMs with Biomedical Knowledge using Balanced Fine-Tuning
생명과학 연구를 가속화하기 위해 대규모 언어 모델(LLM)을 엔지니어링하려면 생명의학 지식과의 견고한 정렬(alignment)이 필요합니다. 본 연구에서는 생명의학 텍스트가 일반 텍스트와 근본적으로 다른 불확실성 구조를 보인다는 점을 관찰했습니다. 즉, 일반 텍스트에서 흔히 나타나는 희소한 우연적(aleatoric) 문체 변이 대신, 밀집된 낮은 신뢰도 구간이 인식적(epistemic) 지식 공백(조밀한 인과 사슬, 희귀 엔티티)을 인코딩합니다. 이러한 발견을 바탕으로, 밀집된 인식적 불확실성을 나타내는 지식 집약적 샘플을 향한 시퀀스 수준 재할당과 그룹 정규화된 토큰 가중치 재조정을 결합한 듀얼 스케일 사후 학습(post-training) 방법인 균형 잡힌 미세조정(Balanced Fine-Tuning, BFT)을 제안합니다. 동일한 학습 환경에서 BFT는 의학 평가, 생물학적 추론, 희소 보상 강화학습(RL), 생물학적 표현 태스크 전반에 걸쳐 SFT 및 DFT보다 더 일관된 성능 향상을 제공합니다. GeneAgent(GPT-4o)와 VCWorld(Gemini-2.5-Flash)의 기본 상용 폐쇄형 백본을 대체했을 때, BFT로 정렬된 70B 모델은 생물학적 프로세스 추론 및 화학적 섭동(perturbation) 예측 전반에 걸쳐 더 뛰어난 성능을 발휘합니다. 특히 중요한 점은, 후속 희소 보상 기반 GRPO 이후 SFT와 DFT는 성능이 저하되는 반면 모든 BFT 변형은 추가적인 성능 향상을 보였다는 것으로, 이는 인식적 불확실성을 인식하는 사후 학습이 더 견고한 정책 초기화(initialization)를 제공함을 시사합니다. 텍스트 생성을 넘어, BFT로 정렬된 LLM은 더욱 정확하고 전문적인 생명의학 프로필 텍스트를 생성합니다. 텍스트 임베딩 모델로 이러한 프로필을 인코딩한 결과 생성된 표현은 유전자 수준, 세포 수준, 섭동 반응 태스크를 지원하며, 이는 BFT로 강화된 생성이 생물학적 표현을 촉진하고 나아가 더 폭넓은 생명의학 다운스트림 태스크에 기여할 수 있음을 보여줍니다.