화학 언어 모델(CLM)은 최근 모델(model) 규모, 연산량 및 데이터셋(dataset) 크기의 성장에 힘입어 신약 설계(de novo drug design)에 점점 더 많이 활용되고 있다. 그러나 설계 선택, 학습(training) 역학, 그리고 다운스트림 생성 품질 간의 관계는 여전히 잘 이해되지 않고 있다. 본 논문에서는 분자 표현(SMILES, SELFIES, SAFE), 토큰화(원자 수준 및 바이트 페어 인코딩), 모델 규모(0.5M~1B 매개변수), 누출이 통제된 데이터셋(MOSES, ChEMBL, PubChem, ZINC-22), 아키텍처(디코더 전용 및 인코더-디코더) 전반에 걸쳐 30,000회 이상의 실험으로 구성된 연산량 통제 CLM 스케일링(scaling) 연구를 제시한다. IsoFLOP 프로파일을 피팅하여 사전학습(pre-training) 손실(loss)의 명확한 스케일링 경향을 확립했으나, 이러한 개선이 목표 지향적 분자 설계에서의 상응하는 성능 향상으로 이어지지 않음을 확인했다. 층(layer)별 프로빙 및 희소 오토인코더 분석은 화학적 표현의 지속적인 발전을 보여준다. 즉, 화학적 구문은 조기에 포화되는 반면 의미론적 특성은 더 천천히 나타나며 추가적인 학습과 모델 규모 확장을 통해 점진적으로 접근 가능해진다. 이러한 표현적 이득은 평가된 프로토콜 및 오라클 예산 하에서 목표 지향적 생성의 개선세가 감소하는 현상과 공존한다. 본 연구를 통해 도출된 모델 제품군인 NovoMolGen은 최첨단(state-of-the-art) 결과를 달성하여, 신약 개발 작업 전반의 목표 지향적 분자 생성에서 기존 CLM 및 특화된 생성 모델을 능가한다. 이러한 발견은 화학적 표현 학습과 다운스트림 분자 설계 사이의 단절을 드러내며, 화학적 의미론을 보다 직접적으로 학습하는 사전학습 패러다임 개발의 필요성을 시사한다.
분자 그래프 생성을 위한 마스킹 이산 확산(masked discrete diffusion)은 일반적으로 무손실 그래프-투-시퀀스(graph-to-sequence) 표현의 모든 토큰에 균일한 손상(corruption) 스케줄을 적용하며, 구조적으로 이질적인 분자 구성 요소를 재구성 난이도와 중요도가 동일한 것처럼 암묵적으로 취급한다. 그러나 서로 다른 분자 그래프 토큰 역할은 디노이징(denoising) 난이도와 디코딩된 분자에 미치는 영향에서 상당한 차이를 보이므로, 역할별 손상 전략이 필요하다. 본 논문은 MotifRole-Diff를 제안한다. 이는 경험적으로 측정된 디노이징 난이도와 그래프 수준 교란(perturbation) 영향에 따라 마스킹 비율을 할당하는 역할 인식 손상 과정으로, 모델 아키텍처, 깨끗한 시퀀스 공간, 무손실 분자 그래프 디코더는 그대로 유지한다. 우리는 스케줄 선택을 고정된 마스킹 예산을 토큰 역할 간에 위험 최적으로 할당하는 문제로 공식화한다. 우리의 정리는 모델링된 역할 가중 잔여 위험(role-weighted residual risk)에 대한 최적성을 특성화하며, 하류 생성 성능은 경험적으로 평가한다. 동일한 아키텍처, 학습 예산, 샘플링 연산량 하에서 MotifRole-Diff는 QM9에서 validity를 0.905에서 0.944로 향상시키고 FCD를 1.701에서 1.609로 감소시켰으며, MOSES에서는 validity를 0.920에서 0.938로 향상시키고 FCD를 2.125에서 1.850으로 감소시켰다. 역할별 진단은 분자 그래프 토큰 범주 전반에 걸친 재구성 개선을 추가로 보여준다. 종합하면, 이러한 동일 연산량 결과는 구조적으로 정보를 반영한 손상이 직렬화된 분자 그래프 확산에 있어 균일 스케줄보다 더 효과적인 마스킹 전략임을 시사한다.
과학적 발견은 점점 고립된 학문 분야에서 다중 도메인 추론으로 이동하고 있으며, 과학을 위한 AI도 유사한 전환에 직면하고 있다. 기존 시스템은 개별 도메인에 특화되어 있거나, 주로 텍스트 토큰화(tokenization)와 프롬프트 기반 인터페이스를 통해 과학 데이터를 통합함으로써, 다양한 과학 입력을 처리하고, 모달리티 고유(modality-native) 출력을 생성하며, 과학 도메인 전반에 걸친 공동 이해, 추론, 생성을 지원하는 능력을 제한한다. 우리는 이해와 생성 모두를 위한 통합 과학 멀티모달 모델인 MKB를 소개한다. MKB는 공유 트랜스포머 백본과 모달리티 맞춤형(modality-tailored) 인코더, 어댑터, 디코더를 중심으로 구축되었다. MKB는 DNA, RNA, 단백질, 소분자, 지구과학, 의료 영상을 포함한 6개 과학 분야를 다루며, 생물학적 서열, 분자 문자열, 기상장(meteorological fields), 분할 마스크(segmentation masks)와 같은 고유 출력을 지원한다. 학습은 2단계 모달리티-후-언어 커리큘럼을 따른다: 1단계에서는 모달리티별 구성 요소를 고정된 백본과 정렬하고, 2단계에서는 혼합된 과학 및 일반 코퍼스를 사용하여 언어 백본과 통합한다. 실험 결과, MKB는 생물학 및 분자 벤치마크(benchmark) 전반에서 경쟁력 있는 과학적 이해를 달성하고, 날씨 예측, 생물학적 생성, 의료 영상 분할(image segmentation)에 대해 고충실도(high-fidelity) 고유 출력을 생성하며, Qwen3-VL 백본의 일반 역량을 대체로 유지한다. 이 결과는 제안된 패러다임의 타당성을 보여주며, 모달리티 맞춤형 구성 요소를 갖춘 공유 백본 모델이 향후 교차 도메인 과학 멀티모달 탐험(exploration)을 위한 유망한 기반을 제공할 수 있음을 시사한다. 모델과 코드는 https://github.com/Shanghai-Academy-of-AI-For-Science/MKB 및 https://huggingface.co/sais-org/MKB에서 공개적으로 이용할 수 있다.
생성 분자 모델은 de novo 방식으로 새로운 후보 화합물을 제안함으로써 초기 약물 발견을 지원할 수 있다. 실제로 유용한 후보는 표적 관련 활성, 합성 접근성, 물리화학적 특성 및 기타 다중 매개변수 설계 제약을 균형 있게 만족해야 한다. 그러나 분자 생성기를 평가하는 데 일반적으로 사용되는 지표는 생성된 화합물이 의약적으로 타당하고 하류 계산에 적합한지를 약하게만 반영한다. 이는 모델 평가에서 위양성, 잘못된 가정, 그리고 계산 자원의 비효율적 사용을 초래할 수 있다. 우리는 산업적 hit identification 워크플로에 영감을 받은 통합 6단계 여과 벤치마크인 HEDGEHOG를 제안한다: (i) 전처리; (ii) 물리화학적 descriptor 스크리닝; (iii) structural alerts 및 그래프 무결성 검사; (iv) 합성 가능성; (v) 도킹(docking) 및 결합 친화도(binding affinity) 추정; (vi) 3차원 포즈(pose) 및 상호작용 검사. 표준화된 프로토콜 하에서 세 가지 모델 클래스에 걸친 23개의 분자 생성기를 평가한다. 230,000개의 생성 분자 중 초기 분자의 0.65%만이 모든 단계를 통과한다. 우리 결과는 현재 분자 생성기의 핵심 한계를 드러낸다: 개별 기준에서는 허용 가능해 보이는 분자가 의약화학, 합성, 도킹, 3D 포즈 필터를 동시에 만족하는 경우는 드물다.
약물 발견 및 개발은 시간과 자원이 많이 소요되어, 최초 약물 설계(de novo drug design)를 위한 확산 모델(diffusion model)과 같은 계산적 접근법을 촉진한다. 이러한 모델 중 많은 것이 구조 기반 약물 설계(SBDD) 패러다임을 따르며, 표적 결합 포켓에 맞는 분자를 생성한다. 그러나 기존 확산 기반 SBDD 방법은 일반적으로 포켓과 리간드 표현 학습을 결합하고, 상호작용을 원자 수준에서만 모델링하며, 다른 개발 가능성(developability) 속성보다 결합 친화도(binding affinity)를 우선시한다. 여기서 우리는 강한 결합 친화도와 유리한 ADMET 속성을 갖는 리간드를 생성하기 위한 조건부 확산 기반 SBDD 프레임워크인 conDitar-dev를 제안한다. 이는 세 가지 모듈로 구성된다: 사전학습된 다중 스케일 포켓 표현 학습 모듈인 msPRL, msPRL 표현에 의해 안내되는 포켓 조건부 확산 모델인 conDitar, 그리고 리간드 개발 가능성을 최적화하는 생성 시점 방법인 paOPT이다. 새롭게 구축한 인간 질병 표적 벤치마크에서 conDitar는 최신 SBDD 기준선을 능가하며, 평균 결합 점수 -8.85 kcal/mol을 달성한다. 5가지 ADMET 속성에 걸쳐, conDitar-dev는 conDitar 대비 최대 73%까지 성능을 향상시킨다. conDitar-dev가 개발 가능한 분자를 생성하는 능력을 추가로 검증하기 위해, 우리는 이를 두 가지 검증된 약물화 가능(druggable) 표적인 프로그램된 세포 사멸 리간드 1(PD-L1) 및 콜로니 자극 인자 1 수용체(CSF1R) 단백질에 적용하였다. 상위 순위의 생성적으로 설계된 분자와 그 유사체는 실험적으로 합성되고 생물학적으로 검증되었다. PD-L1을 위해 conDitar-dev가 직접 생성한 두 분자는 각각 SPR로부터 도출된 $K_D$ 값이 3.49 및 3.75 $μ$M이었다. conDitar-dev로 설계된 분자를 기반으로 한 히트 확장(hit expansion)은 IC$_{50}$ 값이 최저 200 nM인 선택적 CSF1R 억제제를 확인하였으며, 약물 재창출(drug repositioning)의 기회도 발견하였다.
플로우 매칭에서의 커플링(coupling)—노이즈 벡터와 데이터 포인트를 짝짓는 규칙—은 일반적으로 계산상의 선택으로 다루어진다. 본 논문에서는 이 커플링이 정렬 인터페이스로 기능할 수 있음을 보인다. 목표 분자 속성에 따라 노이즈와 데이터를 매칭함으로써, 제어 가능한 구조를 학습된 플로우 필드에 직접 내재시킬 수 있다. 이러한 관점에 기반하여, 우리는 Reward Transport를 소개한다. 이 방법은 학습 시 최적 전송 커플링(optimal transport coupling)을 사용해 스칼라 노이즈 공간 좌표를 분자 보상과 정렬하며, 추론 시에는 이 좌표를 변화시킴으로써 오라클, 보상 모델, 그래디언트 가이던스, 혹은 추가 연산 없이 생성 분포를 조종한다. 커플링 보존 극한(coupling-preserving limit)에서, 이 좌표에 임계값을 적용하면 교차 엔트로피 방법(Cross-Entropy Method)의 절단된 보상 분포가 복원되어, 원칙에 기반한 연속적으로 조정 가능한 분포 수준의 제어 노브를 제공한다. 실험적으로, ZINC-250K와 GuacaMol에서 스칼라를 스위핑하면 logP의 단조 제어와 동작 범위 내에서의 일관된 QED 제어가 유도된다. 가장 주목할 점은, 동일한 노브가 서로 다른 목표에 대해 반대 방향의 구조적 반응을 생성한다는 것이다—logP에 대해서는 분자가 커지고 QED에 대해서는 작아짐—이는 일반적인 크기 바이어스를 배제한다. 이 인터페이스는 분류자 없는 가이던스(classifier-free guidance) 및 조건부 플로우 매칭과 상호 보완적이며, epsilon-예측 확산 모델에서의 부정적 결과는 커플링 수준의 정렬이 구조적으로 부재한 경우를 명확히 한다. 코드: https://github.com/KehanGuo2/reward-transport
질병 온톨로지(disease ontology)와 타겟 단백질 서열을 동시에 조건으로 활용하는 생성 모델 DrugGen-2는 GPT-2를 기반으로 지도 파인튜닝과 GRPO 강화학습을 순차 적용해 개발되었다. 당뇨병성 신증 관련 5개 단백질 타겟 평가에서 DrugGPT 및 DrugGen 대비 고유 분자 생성 수, 구조적 유효성, 승인 약물과의 유사도, 예측 결합 친화도 모두에서 유의미하게 높은 성능을 달성하였다.
MARLIN은 탠덤 질량 분석(MS/MS) 스펙트럼으로부터 분자식 없이 직접 소분자 구조를 규명하는 de novo 방법으로, 자기지도 인코더가 원시 피크에서 분자 지문(molecular fingerprint)을 예측하고 블록-확산 언어 모델이 해당 지문과 전구체 질량만을 조건으로 후보 구조를 생성한다. NPLIB1 벤치마크에서 분자식 없이 평가된 방법 중 가장 높은 성능을 달성했으며, 분자식 없이도 전용 예측기 수준으로 올바른 분자식을 부산물로 복원할 수 있음을 보였다.
분자 대규모 언어 모델(LLM)이 화학 공간을 진정으로 일반화할 수 있는지 검증하기 위해, Graph Edit Distance(GED)로 제어된 구문 유효 구조 변형을 생성하는 Molecular Perturbation 프레임워크를 도입하여 모델의 매니폴드 정규성을 분석하였다. 단 하나의 구조적 편집만으로도 성능이 크게 저하되는 취약성이 확인되었으며, 구조적으로 유사한 분자를 기반으로 예측을 수행하는 In-Context Tuning(ICT)이 이러한 취약성을 부분적으로 완화하고 신뢰 영역을 확장할 수 있음을 보였다.
SynLaD은 리간드 기반 약물 설계의 3D 파마코포어(pharmacophore) 조건부 분자 생성과 합성 가능성을 동시에 만족하는 잠재 확산(latent diffusion) 프레임워크로, 단일 인코더에서 3D 구조 복원 헤드와 합성 경로 생성 헤드를 함께 학습한다. Lit-PCBA 벤치마크의 생체활성 리간드 유사체 생성 실험에서 기존 베이스라인 대비 합성 가능하고 다양한 히트 분자 생성 성능이 향상됨을 입증했다.
사전학습 없이 분자를 푸리에 계수 행렬로 표현하고 NSGA-II 기반 진화 연산으로 다목적 최적화를 수행하는 SpectralMol을 제안하며, 저주파 모드가 스캐폴드 수준의 변화를, 고주파 모드가 국소적 하위구조 변이를 담당하는 해석 가능한 구조를 제공한다. ClpP 표적 약물 발견 벤치마크에서 강화학습 기반 모델 대비 더 많은 도킹 히트와 다양한 스캐폴드를 생성하며 경쟁력 있는 물리화학적 특성을 유지하는 것으로 검증되었다.
심층 학습은 입력이 흔히 그래프 또는 3D 격자로 표현되는 생화학적 분자 시스템 모델링에서 상당한 성공을 거두었다. 주요 과제는 계산 비용이 해상도에 따라 증가한다는 점으로, 이로 인해 분자 밀도에 대한 전체 그래프/격자 계산이 비용이 크고 종종 불안정해진다. 우리는 이산화 간 매개변수 전달을 통해 저해상도 최적화를 활용하여 고해상도에서의 학습을 가속하는 멀티그리드 학습 전략을 제안한다. 그래프 분자 표현의 경우, 편향 랜덤 워크 업샘플링(biased random walk upsampling)을 통해 거친 그래프에서 학습된 매개변수를 점점 더 세밀한 그래프들의 순서로 점진적으로 전달한다. 3D 분자 생성의 경우, 분자 구조를 여러 해상도로 복셀화(voxelize)하고, 저해상도 조건부 변분 오토인코더(conditional Variational Autoencoder, CVAE)를 사전학습한 뒤, 거친 모델로부터 형상 호환(shape compatible) 합성곱 매개변수를 전달하여 고해상도 CVAE를 초기화한다. 수용체 조건(receptor-conditioned) 3D 리간드 생성에 대한 수치 실험은, 처음부터 학습하는 경우에 비해 멀티그리드 학습이 수렴을 가속하고 일반화를 개선함을 보여준다.
양성자 해리 상수(pKa)는 기능성 분자 발견 및 분자 모델링에 있어 중요합니다. 현재까지 확립된 가장 큰 실험적 pKa 데이터베이스인 iBonD를 기반으로, 본 연구진과 다른 연구자들은 머신러닝 기반 경험적 예측 및 고정밀 에너지 계산을 포함한 여러 방법을 개발해 왔습니다. 이러한 기반에도 불구하고, 고품질 pKa 데이터의 신속한 증강은 여전히 근본적으로 제한되어 있습니다. 본 연구의 일환으로, 우리는 광범위하게 최적화된 머신러닝 모델 컬렉션을 사용하여 레이블이 없는 분자 데이터셋에 대해 대규모 회귀 기반 pKa 예측을 수행했습니다. 결과에 따르면, 레이블이 없는 분자 데이터셋의 특징(feature) 분포로 인해 pKa 데이터 분포는 정규성을 띠지만 꼬리 영역(tail-region) 샘플은 극도로 희소한 것으로 나타났습니다. 이러한 데이터 증강은 전반적인 데이터 가용성과 예측 모델링을 향상시키는 데 매우 가치가 있지만, 광범위한 스펙트럼의 pKa 특성을 가진 분자를 효율적으로 발견하는 데에는 여전히 부족합니다. 이를 해결하기 위해, 우리는 광대한 화학 공간에서 희소한 pKa 특성을 가진 분자의 목표 지향 생성을 탐구합니다. 분자 생성을 위한 기존의 연속 잠재 공간 VAE-RNN 방법은 안정성이 부족하고 희소 데이터를 보완하는 데 있어 명확한 이점을 보이지 못한다는 점을 고려하여, 우리는 양자 보조 희소-pKa 분자 생성 방식을 설계하고 구현했습니다. 타당성은 시뮬레이션된 양자 어닐러에서 검증되었으며, 물리적 코히어런트 이징 머신(Coherent Ising Machines, CIMs)에서는 우수한 극값 샘플링이 추가로 달성되었습니다. (계속)
순환 펩타이드(cyclic peptides) 디노보 설계의 어려움을 해결하기 위해, 사이클화(cyclization)를 명시적으로 모델링하고 다중 물리화학적 특성을 공동 최적화하는 타겟 인식 생성 프레임워크인 APCyc를 제안합니다. 확장된 잔여 어휘와 베이지안 사후 가이던스를 활용하여 타겟 의존적 사이클화 선호도를 학습하고 효과적인 다중 속성 최적화를 달성했습니다.
미리 정의된 단량체 집합으로 구성된 합성 무작위 이종중합체(RHPs)는 단백질 유사 물질 설계에 대한 접근 방식을 제공합니다. 적절하게 설계된 경우 이러한 RHP는 단백질 거동과 기능을 모방할 수 있습니다. 따라서 RHP 설계를 효율적으로 안내할 계산 도구가 필요합니다. 우리는 준지도 학습 프레임워크 하에서 수정된 변이형 오토인코더(VAE) 모델인 DeepRHP를 개발하여 이러한 격차를 해소합니다. DeepRHP는 고전적 VAE에 추가적인 특징(feature) 기반 VAE를 장착하여 잠재 공간이 중요한 화학적 특징의 구조와 개별 RHP 시퀀스 패턴을 모두 포착하도록 강제합니다. 이러한 의미에서 우리의 방법은 관련된 모든 특징이 하이브리드 방식으로 통합될 수 있도록 허용하므로 유연합니다. 우리는 비천연 환경에서 막 단백질(예: Aquaporin Z)을 안정화하는 잠재적인 단량체 조성을 제안하고 기존 연구 결과와 교차 검증을 수행함으로써 DeepRHP의 효과를 입증합니다. 우리 모델과 실제 RHP 기능 간의 일치성은 단백질 및 기타 생물학적 화합물에 대한 RHP 설계를 안내하기 위해 하이브리드 오토인코더 아키텍처를 활용할 수 있는 강력한 잠재력을 시사합니다.
생성형 AI 모델은 구조 기반 약물 설계(structure-based drug design)에서 획기적인 성공을 거두었지만, 주로 깊은 결합 포켓(binding pocket)에 의존하며, 역사적으로 '약물 표적화 불가능(undruggable)'한 암 표적(oncology targets)인 KRAS와 MYC와 같이 다루기 힘든 약물 결합 가능성이 낮은 표적에 대해서는 유효한 리간드(ligand)를 샘플링하는 데 어려움을 겪고 있습니다. 이러한 격차를 해결하기 위해, 우리는 CrossDocked2020에서 추출된 5,780개의 얕은 포켓 표적으로 구성된 엄격하게 선별된 벤치마크인 ShallowBench를 소개합니다. 알파 형상(Alpha Shape) 'lid' 부피와 기저 단백질 원자 복셀(voxel) 부피의 차이를 계산하여, 결합에 필요한 충분한 표면적을 확보하면서도 낮은 오목성(concavity)을 가진 표적을 성공적으로 분리해 냈습니다. 다양한 최첨단 생성형 모델을 평가한 결과, 이러한 오목성이 낮은 인터페이스에서 예측된 결합 친화도(binding affinity)가 더 낮게 나타났습니다. 따라서 ShallowBench는 생성형 생물학 모델을 위한 엄격한 벤치마크를 제공하며, 이러한 도전적인 표적을 탐색할 수 있는 새로운 아키텍처 혁신이나 손실 함수(loss function)의 필요성을 강조합니다.