arXiv:2008.12187

Graph Neural Network Architecture Search for Molecular Property Prediction

Shengli Jiang, Prasanna Balaprakash

제출 2020-08-27

원문 초록

Predicting the properties of a molecule from its structure is a challenging task. Recently, deep learning methods have improved the state of the art for this task because of their ability to learn useful features from the given data. By treating molecule structure as graphs, where atoms and bonds are modeled as nodes and edges, graph neural networks (GNNs) have been widely used to predict molecular properties. However, the design and development of GNNs for a given data set rely on labor-intensive design and tuning of the network architectures. Neural architecture search (NAS) is a promising approach to discover high-performing neural network architectures automatically. To that end, we develop an NAS approach to automate the design and development of GNNs for molecular property prediction. Specifically, we focus on automated development of message-passing neural networks (MPNNs) to predict the molecular properties of small molecules in quantum mechanics and physical chemistry data sets from the MoleculeNet benchmark. We demonstrate the superiority of the automatically discovered MPNNs by comparing them with manually designed GNNs from the MoleculeNet benchmark. We study the relative importance of the choices in the MPNN search space, demonstrating that customizing the architecture is critical to enhancing performance in molecular property prediction and that the proposed approach can perform customization automatically with minimal manual effort.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.26404v2cs.LG공통 태그 Neural Architecture Search, Graph Neural Network

메시지 패싱은 얼마나 중요한가? 신경망 그래프 회귀를 위한 GNN 층의 드롭인 연구

How Much Does Message Passing Matter? A Drop-In Study of GNN Layers for Neural Network Graph Regression

그래프 신경망(GNN)은 신경망 구조의 정확도를 예측하는 등 회귀 모델로서 널리 사용됩니다. 그러나 새로운 메시지 패싱(MP) 층들은 거의 독점적으로 분류(classification) 태스크를 중심으로 개발 및 벤치마킹되고 있으며, 회귀 파이프라인은 일반적으로 어블레이션 없이 단일 MP 층을 채택합니다. 본 연구에서는 그래프 수준의 회귀에서 MP 층의 선택이 얼마나 중요한지 묻습니다. 기존 4가지 GNN 회귀 모델의 아키텍처, 손실(loss), 학습(training) 방식을 고정한 채, 합성곱(convolutional), 동형성(isomorphism) 기반, 어텐션(attention) 기반 설계를 포괄하는 10가지 MP 구성을 대체 적용합니다. 그래프당 10개 미만에서 1,000개 이상의 노드, 수백 개에서 40만 개 이상의 샘플에 이르는 신경망 그래프의 11개 데이터셋에서 이를 평가하며, 순위 상관관계, 예측 오차, 상위 $k$개(top-$k$) 검색, 지연 시간 및 메모리를 측정합니다. MP 선택은 결과를 실질적으로 변화시키며, 최선의 선택은 그래프 크기, 학습 세트 크기 및 회귀 목표에 따라 달라짐을 발견했습니다. GEN, $k$-GNN, PNA와 같은 전통적인 층들은 더 낮은 비용으로 작은 아키텍처 그래프에서 어텐션 기반 층과 비슷하거나 뛰어난 성능을 보이는 반면, GATv2는 소수의 대형 그래프로 구성된 데이터셋에서 우수한 성능을 보입니다.

arXiv:2607.20551v1cs.LG공통 태그 Graph Neural Network, Molecular Property Prediction

SenCos-GEM: SENet 보정 및 코사인 법칙 제약 기하 강화 분자 표현을 통한 물성 예측

SenCos-GEM: SENet-Calibrated and Law-of-Cosines-Constrained Geometry-Enhanced Molecular Representation for Property Prediction

효과적인 분자 표현 학습은 정확한 분자 물성 예측에 필수적이다. 최근 약물 발견을 위해 포괄적인 3D 구조 정보를 포착하기 위해 3D GNN을 활용한 다수의 자기지도 학습(SSL) 접근법이 개발되었다. 그러나 기존 방법들은 명시적인 물리적 제약이 부족하며, 대규모 사전학습 과정에서 거친 경험적 힘장(empirical force field)에 의해 유발되는 기하학적 노이즈에 매우 취약하다. 또한 하류 적응(downstream adaptation) 과정에서 동적 특징 변조(feature modulation)를 간과하여, 종종 치명적 망각(catastrophic forgetting)과 부정적 전이(negative transfer)를 초래한다. 이러한 한계를 해결하기 위해, 본 연구는 SENet 보정 및 코사인 법칙 제약 강화를 통합한 새로운 명시적 분리형 기하 강화 분자 표현 학습 프레임워크인 SenCos-GEM을 제안한다. SenCos-GEM은 코사인 법칙에 기반한 물리 유도 기하학적 일관성 손실(geometric consistency loss)을 사용하여 고충실도이며 수학적으로 불변인 3D 공간 사전지식(spatial priors)을 도출한다. 또한 경량 Squeeze-and-Excitation(SE) 모듈이 태스크별 어댑터(task-specific adapter)로 백본에 통합되며, 이중 변조(dual-modulation) 예측 헤드는 Feature-wise Linear Modulation(FiLM)과 SENet 메커니즘을 결합하여 동적 특징 재보정(feature recalibration)을 가능하게 한다. SenCos-GEM은 MoleculeNet 벤치마크에서 다양한 분류 및 회귀 태스크 전반에 걸쳐 매우 경쟁력 있는 성능을 보이며, FreeSolv, Lipophilicity, QM9와 같은 3D conformation에 민감한 회귀 태스크에서 특히 새로운 최신(state-of-the-art) 결과를 달성하여, 각각 상대 오류를 12.9%(RMSE), 5.3%(RMSE), 8.2%(MAE) 감소시켰다. 또한 본 모델은 입체 이성질체(stereoisomer)를 구별하고 conformational perturbation을 판별하는 뛰어난 능력을 보여, 강건한 공간 모델링 성능을 입증한다. 종합적으로 SenCos-GEM은 정확한 분자 물성 예측 분야에서 중요한 돌파구를 제시한다.

arXiv:2607.21561v1cs.LG공통 태그 Graph Neural Network, Molecular Property Prediction

순환 펩타이드 앙상블에 대한 그래프 학습: 분자 앙상블 모델링 연구

Graph Learning on Ensembles of Cyclic Peptides: An Investigation of Molecular Ensemble Modeling

구조로부터 분자 특성을 예측할 때, 용액 속에서 많은 분자가 conformational ensemble(구조 앙상블)로 존재함에도 불구하고 종종 단일 대표 conformation(구조)을 사용한다. 본 연구는 EnsembleEGNN을 제안한다. 이는 분자 앙상블 기초 모델로, 먼저 공유된 Equivariant Graph Neural Network(EGNN) 레이어로 각 컨포머(conformer)를 인코딩한 다음, Set Attention Block으로 결과 컨포머 표현을 풀링하여 앙상블을 인코딩한다. CREMP(순환 펩타이드 앙상블 데이터셋)에서 마스크된 토큰 복원, 노이즈 좌표 재구성, 쌍별 거리 재구성을 결합한 다중 과제 자기지도 목적 함수를 사용하여 모델을 사전학습한다. CREMP-CycPeptMPDB 데이터셋에서 EnsembleEGNN을 처음부터 학습하면 완전히 실패한다($R^2=0.005$). 그러나 사전학습된 모델은 $R^2=0.477$ 및 Pearson $r=0.699$에 도달하여, 서열 전용 BERT 기준선($R^2=0.439$, Pearson $r=0.667$)을 능가한다. EnsembleEGNN이 BERT 서열 인코더와 end-to-end로 공동 학습되면, 하이브리드 모델은 $R^2=0.538$ 및 Pearson $r=0.737$로 더욱 향상된다. 이 결과는 conformational ensemble을 단일 열역학적으로 정보화된 임베딩으로 인코딩하면 순환 펩타이드 특성 예측이 향상됨을 보여준다.

arXiv:2607.15217v1cs.NE공통 태그 Neural Architecture Search, Graph Neural Network

NeuronSoup: 역전파 없이 진화하는 비동기 공유 뉴런 시간 그래프

NeuronSoup: Evolving Asynchronous, Shared-Neuron Temporal Graphs without Backpropagation

NeuronSoup를 제시한다. 이는 동기식 층별 처리를 공유 뉴런 풀을 통한 비동기·지연 매개 신호 전파로 대체하는 신경 계산 아키텍처이다. 네트워크의 각 경로는 가변적인 수의 중간 은닉 뉴런을 거쳐 하나의 입력 뉴런에서 하나의 출력 뉴런으로 연속값 신호를 라우팅한다. 은닉 뉴런은 경로 간 물리적으로 공유된다. 두 경로가 동일한 뉴런을 통과할 때, 두 번째 도달은 첫 번째가 남긴 누적 상태를 만나며, 신호 극성과 도달 시각에 따라 상보적 또는 상쇄적 간섭을 일으킨다. 전체 아키텍처—위상, 가중치, 지연, 연결성—는 14,602개 유전자로 구성된 평탄한 실수값 게놈 위에서 작동하는 유전 알고리즘으로 공진화된다. 입력으로 고정된 ResNet18 특징을 사용한 10클래스 MNIST 숫자 분류에서, 시스템은 266개의 은닉 뉴런(다중 경로에 걸쳐 156개 공유, 한 뉴런은 11개의 서로 다른 경로에 참여)을 통과하는 204개의 활성 경로로 구성된 네트워크를 진화시키며, 10,000세대 후 85.9% 테스트 정확도를 달성한다. 학습된 모델은 115 KB를 차지한다. 이 아키텍처가 현재 심층 학습의 근본적 한계를 해소한다고 주장한다. 미분 가능한 계산 그래프가 필요 없고, 샘플별로 계산 깊이를 적응시키며, 현재 아키텍처가 명시적으로 설계해야 하는 처리 경로 간 측면 상호작용을 발견한다. 유전 알고리즘이 이 문제 클래스에 적합한 최적화 도구인 이유, CMA-ES가 이 규모에서 실패하는 이유, 그리고 인코더와 출력 구조를 교체함으로써 임의의 도메인으로 일반화하는 방법을 논의한다.

arXiv:2607.11746v1cs.LG공통 태그 Neural Architecture Search, Graph Neural Network

HiFi-LLP: 강건한 HW-NAS를 위한 신뢰도 기반 고충실도·저비용 지연 시간 예측기

HiFi-LLP: High-Fidelity, Low-Cost Latency Predictors with Confidence for Robust HW-NAS

심층 신경망(DNN)이 엣지 디바이스에 점점 더 많이 배포됨에 따라, HW 인식 압축 및 HW 인식 신경망 구조 탐색(HW-NAS)과 같은 하드웨어(HW) 인식 최적화 기법이 필수적이 되었다. 이러한 방법들은 효율적인 배포를 위해 DNN 아키텍처를 조정하는 데 목표 하드웨어의 실제 피드백에 의존한다. 탐색은 병렬화할 수 있지만, 하드웨어-인-더-루프(HIL)를 통한 지연 시간 측정은 순차적 특성으로 인해 병목 지점으로 남아 있다. 최근 접근법들은 비용이 많이 드는 HIL 피드백을 대체하기 위해 지연 시간 예측기를 활용하지만, 두 가지 과제가 지속된다: (1) 플랫폼별 예측기는 종종 수만 개의 샘플을 필요로 하며, (2) 부정확한 예측이 NAS 과정을 잘못 인도할 수 있다. 이를 해결하기 위해, 우리는 신뢰도 지표로 보강된 그래프 어텐션 네트워크 기반의 고충실도·저비용 지연 시간 예측기인 HiFi-LLP를 소개한다. HiFi-LLP는 LatBench 데이터셋의 6개 디바이스에 걸쳐 10% 정확도 범위 기준에서 기존 플랫폼별 예측기 대비 최대 9 퍼센트 포인트(p.p.) 높은 성능을 달성하며, 스피어만 순위 상관계수 최대 0.996을 달성한다. 나아가 신뢰도가 낮은 예측을 HIL로 라우팅하는 하이브리드 NAS 프레임워크를 제안하여, 경쟁력 있는 파레토 프론트를 유지하면서 일반적인 NAS 대비 최대 8.6배의 속도 향상을 달성한다.

arXiv:2607.07935v1cs.LG공통 태그 Graph Neural Network, Molecular Property Prediction

path_boost: 경로 기반 그래디언트 부스팅을 활용한 해석 가능한 그래프 수준 예측을 위한 Python 패키지

path_boost: A Python Package for Interpretable Graph-Level Prediction using Path-Based Gradient Boosting

우리는 그래프 구조 입력 데이터에 대한 해석 가능한 지도 학습을 위한 Python 패키지인 path_boost를 소개한다. 이 패키지는 학습 과정에서 그래프 내의 예측력 있는 레이블 경로를 자동으로 발견하는 그래디언트 부스팅 알고리즘인 PathBoost를 구현한다. 일반적으로 해석이 어려운 그래프 신경망(GNN)과 달리, PathBoost는 어떤 하위 구조가 예측을 이끄는지 명시적으로 드러내는 경로 기반 특징에 대한 가산 예측 모델을 생성한다. 가능한 모든 경로의 전수 열거를 피하기 위해, 이 알고리즘은 학습 중 예측력을 기반으로 경로를 반복적으로 선택하고 확장하며, 부스팅을 사용하여 약한 학습기들을 강력한 앙상블로 결합한다. 이 패키지는 회귀와 이진 분류를 모두 지원한다. 주요 기능으로는 scikit-learn 워크플로와의 호환성, 사용자 정의 기본 학습기 및 선택기 지원, 자동 시작 노드 선택, 앵커 노드 전반에 걸친 병렬 학습, 내장된 변수 중요도 계산이 포함된다. 우리는 원자가 노드로, 결합이 에지로 기능하는 전이 금속 화합물의 분자 특성 예측에 PathBoost를 적용하고, 여섯 개의 분자 데이터셋에서 기존의 그래프 신경망 및 그래프 커널 방법과 PathBoost를 추가로 벤치마크한다. 이 패키지는 오픈소스 라이선스 하에 PyPI와 GitHub에서 이용 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.