arXiv:2207.06010

Does GNN Pretraining Help Molecular Representation?

Ruoxi Sun, Hanjun Dai, Adams Wei Yu

제출 2022-07-13

원문 초록

Extracting informative representations of molecules using Graph neural networks (GNNs) is crucial in AI-driven drug discovery. Recently, the graph research community has been trying to replicate the success of self-supervised pretraining in natural language processing, with several successes claimed. However, we find the benefit brought by self-supervised pretraining on small molecular data can be negligible in many cases. We conduct thorough ablation studies on the key components of GNN pretraining, including pretraining objectives, data splitting methods, input features, pretraining dataset scales, and GNN architectures, to see how they affect the accuracy of the downstream tasks. Our first important finding is, self-supervised graph pretraining do not always have statistically significant advantages over non-pretraining methods in many settings. Secondly, although noticeable improvement can be observed with additional supervised pretraining, the improvement may diminish with richer features or more balanced data splits. Thirdly, hyper-parameters could have larger impacts on accuracy of downstream tasks than the choice of pretraining tasks, especially when the scales of downstream tasks are small. Finally, we provide our conjectures where the complexity of some pretraining methods on small molecules might be insufficient, followed by empirical evidences on different pretraining datasets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.22252v2cs.LG공통 태그 Drug Discovery공식 코드 · Papers with Code

B-XAIC 데이터셋: 화학 데이터를 이용한 그래프 신경망용 설명 가능한 AI 벤치마킹

B-XAIC Dataset: Benchmarking Explainable AI for Graph Neural Networks Using Chemical Data

딥러닝 모델 예측의 근거를 이해하는 것은 분자 설계가 특성을 결정하는 화학정보학과 신약 개발에서 매우 중요하다. 그러나 이 분야에서 설명 가능한 AI(XAI)에 대한 현재의 평가 체계는 인공적인 데이터셋이나 단순화된 과제에 의존하는 경우가 많고, 실제 시나리오의 복잡성을 포착하지 못하며 설명 충실도와의 직접적인 연관성이 부족한 데이터 기반 지표를 사용한다. 이를 해결하기 위해, 우리는 실제 분자 데이터와, 부여된 레이블에 대한 정답 근거가 알려진 다양한 과제로 구성된 새로운 벤치마크인 B-XAIC를 소개한다. B-XAIC를 이용한 포괄적인 평가를 통해 분자 영역에서 그래프 신경망(GNN)을 위한 기존 XAI 방법의 한계를 밝힌다. 이 벤치마크는 XAI의 충실도에 대한 더 깊은 통찰을 얻는 데 유용한 자원을 제공하며, 더 신뢰할 수 있고 해석 가능한 모델의 개발을 촉진한다.

arXiv:2507.03209v2q-bio.QM공통 태그 Drug Discovery공식 코드 · Papers with Code

리피드 나노입자(LNP) 전입 효율 예측을 위한 머신러닝 벤치마킹 프레임워크

A Machine Learning Benchmarking Framework for Lipid Nanoparticle Transfection Efficiency Prediction

효율적인 리피드 나노입자(LNP) 매개 RNA 전달을 위한 새로운 이온화성 리피드(ionizable lipid)의 발견은 RNA 치료제 개발에서 여전히 주요 병목으로 남아 있다. 최근 발전은 리피드 구조로부터 직접 전입(transfection) 효율을 예측할 수 있는 머신러닝(ML) 모델의 잠재력을 보여주며, 이는 고처리량 가상 스크리닝을 가능하게 하고 후보 물질(lead) 선별을 가속한다. 그러나 LNP 전입 예측을 위한 새로운 모델이 계속 등장함에 따라, 엄격하고 표준화된 벤치마킹의 부재는 상당한 위험을 초래하며, 발견(discovery) 목적에서의 신뢰성에 대한 확신을 약화시킬 수 있다. 여기서 우리는 이온화성 리피드 구조에 기반한 전입 예측 모델을 평가하기 위한 견고한 ML 벤치마킹 프레임워크를 제시한다. 이 프레임워크는 전통적인 모델, 순전파 신경망(feedforward neural network), 그리고 최신(state-of-the-art) 그래프 기반 방법에 이르는 광범위한 ML 아키텍처와 결합된 다양한 분자 표현(molecular representation)을 체계적으로 벤치마킹한다. 또한, 제시된 프레임워크는 모델 일반화(generalization) 평가를 지원하며, 표준 회귀(regression) 지표를 넘어 예측 신뢰성을 평가한다. Xu et al.이 최초로 보고한 HeLa 전입 데이터셋에서 파생된 1,100개의 고유 이온화성 리피드 구조로 구성된 큐레이션 데이터셋을 사용하여, 이 프레임워크 내에서 명시적 분자 부분구조(substructure) 인코딩을 활용하는 모델들이 지속적으로 최고의 예측 정확도를 달성하며, 보다 정교한 새로운 모델 개발을 위한 필수 베이스라인으로 기능해야 함을 보여준다. 반면, AGILE, Chemprop, KPGT를 포함한 일부 현재의 그래프 기반 모델들은 비교적으로 낮은 정확도를 보이는 경향이 있다. 제시된 프레임워크는 표준화되고 투명하며 포괄적인 벤치마킹 자원을 제공하여, 새롭게 등장하는 아키텍처의 의미 있는 비교를 가능하게 하고 리피드 기반 RNA 전달에서의 예측 모델 향후 개발을 위한 강력한 베이스라인을 확립한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.