Extreme Acceleration of Graph Neural Network-based Prediction Models for Quantum Chemistry
원문 초록
Molecular property calculations are the bedrock of chemical physics. High-fidelity \textit{ab initio} modeling techniques for computing the molecular properties can be prohibitively expensive, and motivate the development of machine-learning models that make the same predictions more efficiently. Training graph neural networks over large molecular databases introduces unique computational challenges such as the need to process millions of small graphs with variable size and support communication patterns that are distinct from learning over large graphs such as social networks. This paper demonstrates a novel hardware-software co-design approach to scale up the training of graph neural networks for molecular property prediction. We introduce an algorithm to coalesce the batches of molecular graphs into fixed size packs to eliminate redundant computation and memory associated with alternative padding techniques and improve throughput via minimizing communication. We demonstrate the effectiveness of our co-design approach by providing an implementation of a well-established molecular property prediction model on the Graphcore Intelligence Processing Units (IPU). We evaluate the training performance on multiple molecular graph databases with varying degrees of graph counts, sizes and sparsity. We demonstrate that such a co-design approach can reduce the training time of such molecular property prediction models from days to less than two hours, opening new possibilities for AI-driven scientific discovery.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SenCos-GEM: SENet 보정 및 코사인 법칙 제약 기하 강화 분자 표현을 통한 물성 예측
SenCos-GEM: SENet-Calibrated and Law-of-Cosines-Constrained Geometry-Enhanced Molecular Representation for Property Prediction
효과적인 분자 표현 학습은 정확한 분자 물성 예측에 필수적이다. 최근 약물 발견을 위해 포괄적인 3D 구조 정보를 포착하기 위해 3D GNN을 활용한 다수의 자기지도 학습(SSL) 접근법이 개발되었다. 그러나 기존 방법들은 명시적인 물리적 제약이 부족하며, 대규모 사전학습 과정에서 거친 경험적 힘장(empirical force field)에 의해 유발되는 기하학적 노이즈에 매우 취약하다. 또한 하류 적응(downstream adaptation) 과정에서 동적 특징 변조(feature modulation)를 간과하여, 종종 치명적 망각(catastrophic forgetting)과 부정적 전이(negative transfer)를 초래한다. 이러한 한계를 해결하기 위해, 본 연구는 SENet 보정 및 코사인 법칙 제약 강화를 통합한 새로운 명시적 분리형 기하 강화 분자 표현 학습 프레임워크인 SenCos-GEM을 제안한다. SenCos-GEM은 코사인 법칙에 기반한 물리 유도 기하학적 일관성 손실(geometric consistency loss)을 사용하여 고충실도이며 수학적으로 불변인 3D 공간 사전지식(spatial priors)을 도출한다. 또한 경량 Squeeze-and-Excitation(SE) 모듈이 태스크별 어댑터(task-specific adapter)로 백본에 통합되며, 이중 변조(dual-modulation) 예측 헤드는 Feature-wise Linear Modulation(FiLM)과 SENet 메커니즘을 결합하여 동적 특징 재보정(feature recalibration)을 가능하게 한다. SenCos-GEM은 MoleculeNet 벤치마크에서 다양한 분류 및 회귀 태스크 전반에 걸쳐 매우 경쟁력 있는 성능을 보이며, FreeSolv, Lipophilicity, QM9와 같은 3D conformation에 민감한 회귀 태스크에서 특히 새로운 최신(state-of-the-art) 결과를 달성하여, 각각 상대 오류를 12.9%(RMSE), 5.3%(RMSE), 8.2%(MAE) 감소시켰다. 또한 본 모델은 입체 이성질체(stereoisomer)를 구별하고 conformational perturbation을 판별하는 뛰어난 능력을 보여, 강건한 공간 모델링 성능을 입증한다. 종합적으로 SenCos-GEM은 정확한 분자 물성 예측 분야에서 중요한 돌파구를 제시한다.
순환 펩타이드 앙상블에 대한 그래프 학습: 분자 앙상블 모델링 연구
Graph Learning on Ensembles of Cyclic Peptides: An Investigation of Molecular Ensemble Modeling
구조로부터 분자 특성을 예측할 때, 용액 속에서 많은 분자가 conformational ensemble(구조 앙상블)로 존재함에도 불구하고 종종 단일 대표 conformation(구조)을 사용한다. 본 연구는 EnsembleEGNN을 제안한다. 이는 분자 앙상블 기초 모델로, 먼저 공유된 Equivariant Graph Neural Network(EGNN) 레이어로 각 컨포머(conformer)를 인코딩한 다음, Set Attention Block으로 결과 컨포머 표현을 풀링하여 앙상블을 인코딩한다. CREMP(순환 펩타이드 앙상블 데이터셋)에서 마스크된 토큰 복원, 노이즈 좌표 재구성, 쌍별 거리 재구성을 결합한 다중 과제 자기지도 목적 함수를 사용하여 모델을 사전학습한다. CREMP-CycPeptMPDB 데이터셋에서 EnsembleEGNN을 처음부터 학습하면 완전히 실패한다($R^2=0.005$). 그러나 사전학습된 모델은 $R^2=0.477$ 및 Pearson $r=0.699$에 도달하여, 서열 전용 BERT 기준선($R^2=0.439$, Pearson $r=0.667$)을 능가한다. EnsembleEGNN이 BERT 서열 인코더와 end-to-end로 공동 학습되면, 하이브리드 모델은 $R^2=0.538$ 및 Pearson $r=0.737$로 더욱 향상된다. 이 결과는 conformational ensemble을 단일 열역학적으로 정보화된 임베딩으로 인코딩하면 순환 펩타이드 특성 예측이 향상됨을 보여준다.
path_boost: 경로 기반 그래디언트 부스팅을 활용한 해석 가능한 그래프 수준 예측을 위한 Python 패키지
path_boost: A Python Package for Interpretable Graph-Level Prediction using Path-Based Gradient Boosting
우리는 그래프 구조 입력 데이터에 대한 해석 가능한 지도 학습을 위한 Python 패키지인 path_boost를 소개한다. 이 패키지는 학습 과정에서 그래프 내의 예측력 있는 레이블 경로를 자동으로 발견하는 그래디언트 부스팅 알고리즘인 PathBoost를 구현한다. 일반적으로 해석이 어려운 그래프 신경망(GNN)과 달리, PathBoost는 어떤 하위 구조가 예측을 이끄는지 명시적으로 드러내는 경로 기반 특징에 대한 가산 예측 모델을 생성한다. 가능한 모든 경로의 전수 열거를 피하기 위해, 이 알고리즘은 학습 중 예측력을 기반으로 경로를 반복적으로 선택하고 확장하며, 부스팅을 사용하여 약한 학습기들을 강력한 앙상블로 결합한다. 이 패키지는 회귀와 이진 분류를 모두 지원한다. 주요 기능으로는 scikit-learn 워크플로와의 호환성, 사용자 정의 기본 학습기 및 선택기 지원, 자동 시작 노드 선택, 앵커 노드 전반에 걸친 병렬 학습, 내장된 변수 중요도 계산이 포함된다. 우리는 원자가 노드로, 결합이 에지로 기능하는 전이 금속 화합물의 분자 특성 예측에 PathBoost를 적용하고, 여섯 개의 분자 데이터셋에서 기존의 그래프 신경망 및 그래프 커널 방법과 PathBoost를 추가로 벤치마크한다. 이 패키지는 오픈소스 라이선스 하에 PyPI와 GitHub에서 이용 가능하다.
Multimodal Molecular Representation Learning with Graph Neural Networks, Deep & Cross Networks, and SMILES Embeddings
분자 특성 예측은 흔히 단일 데이터 모달리티에 의존하는데, 연속적인 3D 그래프 신경망(GNN)은 장거리 위상적 의존성과 정확한 거시적 휴리스틱을 효율적으로 포착하는 데 어려움을 겪는다. 본 연구에서는 세 가지 직교 모달리티—3D 공간 기하(SchNet), 이산 위상 문법(ChemBERTa를 통한 SMILES), 명시적 거시적 물리화학적 기술자(Deep & Cross Network)—를 통합하는 매개변수 효율적인 삼중 분기 모듈 융합 신경망을 제안한다. 표준 스칼라 리드아웃을 우회하고 공유 후기 융합 아키텍처를 채택함으로써, 본 프레임워크는 국소 메시지 패싱의 산술적 한계 및 과평활화(oversmoothing) 문제를 효과적으로 해소하는 수학적으로 엄밀한 멀티모달 잠재 공간을 구성한다. 제안된 아키텍처는 QM9 벤치마크에서 0 K 원자화 에너지($U_0^{\mathrm{atom}}$)라는 광범위한 열역학적 특성을 대상으로 평가하였다. 체계적인 조합 ablation 실험과 잠재 병목 최적화($d_e=64$)를 통해, 삼중 모달 프레임워크는 검증 평균 절대 오차(MAE) 0.0207 eV를 달성하였다. 100만 개 미만의 매개변수로 동작하는 본 아키텍처는 화학 정확도 임계값을 명확히 상회하며, 엄격하게 통제된 기하학적 기준선 대비 20.6%의 오차 감소를 실현한다. 최종적으로, 본 연구 결과는 직교하는 거시적·위상적 데이터 스트림의 통합이 시너지적인 $\mathcal{O}(1)$ 물리적 지름길을 제공함을 입증한다. 이러한 멀티모달 정렬은 무차별적인 매개변수 스케일링에 대한 고효율 대안을 제시하며, 고처리량 가상 스크리닝(HTVS) 파이프라인을 위한 강건한 대리 모델을 확립한다.
수용성에 대한 화학적·구조적 기여를 특성화하기 위한 덧셈형 MLP-GNN 프레임워크
An Additive MLP-GNN Framework for Characterizing Chemical and Structural Contributions to Aqueous Solubility
수용성(aqueous solubility)은 초기 신약 개발에서 핵심적인 성질이지만, 대부분의 예측 모델은 물리화학적 기술자(physicochemical descriptors)와 분자 그래프 정보를 단일 표현으로 병합하여, 예측이 전역 화학, 분자 구조, 혹은 양자 모두에 의해 주도되는지를 불분명하게 만든다. 우리는 이 두 정보 소스를 학습 전반에 걸쳐 분리된 상태로 유지하는 덧셈형 딥러닝 프레임워크를 제안한다. 물리화학적 기술자는 다층 퍼셉트론(MLP, 화학 브랜치)으로, 분자 그래프 위상은 그래프 신경망(GNN, 구조 브랜치)으로 각각 인코딩되며, 두 출력은 선택적 곱셈 상호작용을 포함한 덧셈 모델을 통해 예측 단계에서만 결합된다. 이 설계는 학습 후 개별적으로 검토할 수 있는 화학적·구조적 성분의 직접적인 분해를 제공한다. 또한, 대규모 AqSolDB 데이터셋에 대한 사전학습과 소규모 BigSolDB2 데이터셋에 대한 미세조정은 정확도를 크게 향상시키고 실행 간 변동을 줄여, 데이터가 풍부한 환경에서 학습된 특징의 일반화 가능성을 시사한다. 우리는 브랜치 출력의 최적 선형 투영, 용해도 클래스 전반에 걸친 분자 수준 임베딩 요약, 그리고 작용기(functional groups)에 걸쳐 집계된 원자 수준 GNNExplainer 마스크를 활용하여 학습된 모델을 해석한다. 이러한 분석은 화학 브랜치가 친숙한 물리화학적 기술자와 부합하는 반면, 구조 브랜치는 용해도와 관련된 그래프 위상적 패턴 및 작용기 패턴을 포착함을 보여준다. 두 데이터셋 모두에서 이 프레임워크는 경쟁력 있는 예측 성능을 달성하는 동시에 화학적 정보와 구조적 정보의 뚜렷한 역할을 보다 투명하게 드러낸다.
ElemeNet: Multiscale Molecular Machine Learning with Uncertainty Quantification Across the Periodic Table
토론
이 논문과 연결된 포럼 글이 아직 없습니다.