화학 언어 모델의 스케일링 한계에 대한 대규모 연구
A Large Scale Investigation of Scaling Limits in Chemical Language Models
화학 언어 모델(CLM)은 최근 모델(model) 규모, 연산량 및 데이터셋(dataset) 크기의 성장에 힘입어 신약 설계(de novo drug design)에 점점 더 많이 활용되고 있다. 그러나 설계 선택, 학습(training) 역학, 그리고 다운스트림 생성 품질 간의 관계는 여전히 잘 이해되지 않고 있다. 본 논문에서는 분자 표현(SMILES, SELFIES, SAFE), 토큰화(원자 수준 및 바이트 페어 인코딩), 모델 규모(0.5M~1B 매개변수), 누출이 통제된 데이터셋(MOSES, ChEMBL, PubChem, ZINC-22), 아키텍처(디코더 전용 및 인코더-디코더) 전반에 걸쳐 30,000회 이상의 실험으로 구성된 연산량 통제 CLM 스케일링(scaling) 연구를 제시한다. IsoFLOP 프로파일을 피팅하여 사전학습(pre-training) 손실(loss)의 명확한 스케일링 경향을 확립했으나, 이러한 개선이 목표 지향적 분자 설계에서의 상응하는 성능 향상으로 이어지지 않음을 확인했다. 층(layer)별 프로빙 및 희소 오토인코더 분석은 화학적 표현의 지속적인 발전을 보여준다. 즉, 화학적 구문은 조기에 포화되는 반면 의미론적 특성은 더 천천히 나타나며 추가적인 학습과 모델 규모 확장을 통해 점진적으로 접근 가능해진다. 이러한 표현적 이득은 평가된 프로토콜 및 오라클 예산 하에서 목표 지향적 생성의 개선세가 감소하는 현상과 공존한다. 본 연구를 통해 도출된 모델 제품군인 NovoMolGen은 최첨단(state-of-the-art) 결과를 달성하여, 신약 개발 작업 전반의 목표 지향적 분자 생성에서 기존 CLM 및 특화된 생성 모델을 능가한다. 이러한 발견은 화학적 표현 학습과 다운스트림 분자 설계 사이의 단절을 드러내며, 화학적 의미론을 보다 직접적으로 학습하는 사전학습 패러다임 개발의 필요성을 시사한다.