A novel molecule generative model of VAE combined with Transformer for unseen structure generation
원문 초록
Recently, molecule generation using deep learning has been actively investigated in drug discovery. In this field, Transformer and VAE are widely used as powerful models, but they are rarely used in combination due to structural and performance mismatch of them. This study proposes a model that combines these two models through structural and parameter optimization in handling diverse molecules. The proposed model shows comparable performance to existing models in generating molecules, and showed by far superior performance in generating molecules with unseen structures. Another advantage of this VAE model is that it generates molecules from latent representation, and therefore properties of molecules can be easily predicted or conditioned with it, and indeed, we show that the latent representation of the model successfully predicts molecular properties. Ablation study suggested the advantage of VAE over other generative models like language model in generating novel molecules. It also indicated that the latent representation can be shortened to ~32 dimensional variables without loss of reconstruction, suggesting the possibility of a much smaller molecular descriptor or model than existing ones. This study is expected to provide a virtual chemical library containing a wide variety of compounds for virtual screening and to enable efficient screening.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Assay2Mol: large language model-based drug design using BioAssay context
화학 언어 모델의 스케일링 한계에 대한 대규모 연구
A Large Scale Investigation of Scaling Limits in Chemical Language Models
화학 언어 모델(CLM)은 최근 모델(model) 규모, 연산량 및 데이터셋(dataset) 크기의 성장에 힘입어 신약 설계(de novo drug design)에 점점 더 많이 활용되고 있다. 그러나 설계 선택, 학습(training) 역학, 그리고 다운스트림 생성 품질 간의 관계는 여전히 잘 이해되지 않고 있다. 본 논문에서는 분자 표현(SMILES, SELFIES, SAFE), 토큰화(원자 수준 및 바이트 페어 인코딩), 모델 규모(0.5M~1B 매개변수), 누출이 통제된 데이터셋(MOSES, ChEMBL, PubChem, ZINC-22), 아키텍처(디코더 전용 및 인코더-디코더) 전반에 걸쳐 30,000회 이상의 실험으로 구성된 연산량 통제 CLM 스케일링(scaling) 연구를 제시한다. IsoFLOP 프로파일을 피팅하여 사전학습(pre-training) 손실(loss)의 명확한 스케일링 경향을 확립했으나, 이러한 개선이 목표 지향적 분자 설계에서의 상응하는 성능 향상으로 이어지지 않음을 확인했다. 층(layer)별 프로빙 및 희소 오토인코더 분석은 화학적 표현의 지속적인 발전을 보여준다. 즉, 화학적 구문은 조기에 포화되는 반면 의미론적 특성은 더 천천히 나타나며 추가적인 학습과 모델 규모 확장을 통해 점진적으로 접근 가능해진다. 이러한 표현적 이득은 평가된 프로토콜 및 오라클 예산 하에서 목표 지향적 생성의 개선세가 감소하는 현상과 공존한다. 본 연구를 통해 도출된 모델 제품군인 NovoMolGen은 최첨단(state-of-the-art) 결과를 달성하여, 신약 개발 작업 전반의 목표 지향적 분자 생성에서 기존 CLM 및 특화된 생성 모델을 능가한다. 이러한 발견은 화학적 표현 학습과 다운스트림 분자 설계 사이의 단절을 드러내며, 화학적 의미론을 보다 직접적으로 학습하는 사전학습 패러다임 개발의 필요성을 시사한다.
어디서 자를 것인가, 얼마나 깊이: 화학 SMILES에서의 BPE와 유니그램 언어 모델
Where to cut, how deep: BPE and Unigram-LM on chemistry SMILES
SMILES를 입력으로 받는 모든 화학 언어 모델은 토크나이저에서 시작하지만, 이 분야는 자연어 처리의 바이트 페어 인코딩(BPE)을 충분한 검토 없이 그대로 차용해 왔다. 자연어 처리에서 BPE의 주된 대안인 유니그램 언어 모델(Unigram-LM)은 구조적으로 상이한 어휘를 구성하는 것으로 알려져 있으나, 이러한 차이가 화학 영역에서도 나타나는지는 미해결 문제였다. 본 연구는 고정된 165개 토큰의 화학 기반 어휘 위에서, 토큰 임베딩이 학습 가능한 소규모 어휘 크기 구간에서, 세 가지 코퍼스 유형(다양성, 의약품 유사, 천연물)과 두 가지 사전 토큰화 경계 정책에 걸쳐 BPE와 유니그램 언어 모델을 통제된 방식으로 비교한 결과를 보고한다. 두 알고리즘은 수렴하지 않는다. 22개의 대응 조건 전부에서 두 알고리즘은 거의 겹치지 않는 서브워드 어휘를 구성하며, 학습된 조각에 대한 알고리즘 간 자카드(Jaccard) 중첩은 0.161을 초과하지 않고, 모델이 가장 많이 업데이트하는 고빈도 조각에 가중치를 부여하면 최대 0.05에 불과하다. 유니그램 언어 모델은 또한 보류 분자를 29~41% 더 많은 토큰으로 분절하며, 두 알고리즘은 어디서 자를지에 대해서는 대체로 일치하지만 얼마나 깊이 자를지에 대해서는 일치하지 않으므로, BPE의 분절은 분자의 80~99%에서 유니그램 언어 모델 분절의 엄격한 거친 버전에 해당한다. 이 분리는 코퍼스, 경계 정책, 어휘 크기에 걸쳐 유지되며, 해당 규모의 8배에서도 지속된다. 따라서 서브워드 알고리즘은 자유롭게 선택할 수 있는 기본값이 아니라 모델링 결정 사항이다. 본 연구에서는 언어 모델을 학습하지 않는다.
Large Language Model Agent for Modular Task Execution in Drug Discovery
리피드 나노입자(LNP) 전입 효율 예측을 위한 머신러닝 벤치마킹 프레임워크
A Machine Learning Benchmarking Framework for Lipid Nanoparticle Transfection Efficiency Prediction
효율적인 리피드 나노입자(LNP) 매개 RNA 전달을 위한 새로운 이온화성 리피드(ionizable lipid)의 발견은 RNA 치료제 개발에서 여전히 주요 병목으로 남아 있다. 최근 발전은 리피드 구조로부터 직접 전입(transfection) 효율을 예측할 수 있는 머신러닝(ML) 모델의 잠재력을 보여주며, 이는 고처리량 가상 스크리닝을 가능하게 하고 후보 물질(lead) 선별을 가속한다. 그러나 LNP 전입 예측을 위한 새로운 모델이 계속 등장함에 따라, 엄격하고 표준화된 벤치마킹의 부재는 상당한 위험을 초래하며, 발견(discovery) 목적에서의 신뢰성에 대한 확신을 약화시킬 수 있다. 여기서 우리는 이온화성 리피드 구조에 기반한 전입 예측 모델을 평가하기 위한 견고한 ML 벤치마킹 프레임워크를 제시한다. 이 프레임워크는 전통적인 모델, 순전파 신경망(feedforward neural network), 그리고 최신(state-of-the-art) 그래프 기반 방법에 이르는 광범위한 ML 아키텍처와 결합된 다양한 분자 표현(molecular representation)을 체계적으로 벤치마킹한다. 또한, 제시된 프레임워크는 모델 일반화(generalization) 평가를 지원하며, 표준 회귀(regression) 지표를 넘어 예측 신뢰성을 평가한다. Xu et al.이 최초로 보고한 HeLa 전입 데이터셋에서 파생된 1,100개의 고유 이온화성 리피드 구조로 구성된 큐레이션 데이터셋을 사용하여, 이 프레임워크 내에서 명시적 분자 부분구조(substructure) 인코딩을 활용하는 모델들이 지속적으로 최고의 예측 정확도를 달성하며, 보다 정교한 새로운 모델 개발을 위한 필수 베이스라인으로 기능해야 함을 보여준다. 반면, AGILE, Chemprop, KPGT를 포함한 일부 현재의 그래프 기반 모델들은 비교적으로 낮은 정확도를 보이는 경향이 있다. 제시된 프레임워크는 표준화되고 투명하며 포괄적인 벤치마킹 자원을 제공하여, 새롭게 등장하는 아키텍처의 의미 있는 비교를 가능하게 하고 리피드 기반 RNA 전달에서의 예측 모델 향후 개발을 위한 강력한 베이스라인을 확립한다.
Making Language Model a Hierarchical Classifier and Generator
토론
이 논문과 연결된 포럼 글이 아직 없습니다.