arXiv:2402.07249

Impact of Domain Knowledge and Multi-Modality on Intelligent Molecular Property Prediction: A Systematic Survey

Taojie Kuang, PengFei Liu, Zhixiang Ren

제출 2024-02-11

원문 초록

The precise prediction of molecular properties is essential for advancements in drug development, particularly in virtual screening and compound optimization. The recent introduction of numerous deep learning-based methods has shown remarkable potential in enhancing molecular property prediction (MPP), especially improving accuracy and insights into molecular structures. Yet, two critical questions arise: does the integration of domain knowledge augment the accuracy of molecular property prediction and does employing multi-modal data fusion yield more precise results than unique data source methods? To explore these matters, we comprehensively review and quantitatively analyze recent deep learning methods based on various benchmarks. We discover that integrating molecular information significantly improves molecular property prediction (MPP) for both regression and classification tasks. Specifically, regression improvements, measured by reductions in root mean square error (RMSE), are up to 4.0%, while classification enhancements, measured by the area under the receiver operating characteristic curve (ROC-AUC), are up to 1.7%. We also discover that enriching 2D graphs with 1D SMILES boosts multi-modal learning performance for regression tasks by up to 9.1%, and augmenting 2D graphs with 3D information increases performance for classification tasks by up to 13.2%, with both enhancements measured using ROC-AUC. The two consolidated insights offer crucial guidance for future advancements in drug discovery.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02574v1cs.LG공통 태그 regression, Drug Discovery, Molecular Property Prediction

DISSOLVR: 수계 및 유기 용해도 예측을 위한 해석 가능하고 빠른 프레임워크

DISSOLVR: An Interpretable and Fast Framework for Aqueous and Organic Solubility Prediction

고충실도(high-fidelity) 용해도 예측은 다양한 화학적 환경 전반에서 분자 구조와 열역학적 거동을 정확하게 결합해 모델링해야 하는 의약품 개발 및 환경 분배(environmental partitioning) 분야의 기초가 됩니다. 그러나 최근의 발전은 예측력을 위해 물리적 해석 가능성을 희생하는 경우가 많은 심층 학습(deep learning) 아키텍처가 주도해 왔습니다. 본 연구에서는 최고 수준의 성능을 달성하는 데 이러한 불투명한 아키텍처가 필수적이지 않음을 보여줌으로써 이와 같은 경향에 도전합니다. 이를 해결하기 위해 분자 용해도 예측을 위한 투명한 프레임워크인 DISSOLVR을 소개합니다. 아울러 포괄적인 문헌 검토와 다양한 방법론에 대한 벤치마킹 연구를 수행합니다. 분자를 물리적 기반의 기술자(descriptor)에 매핑하여 얻은 구조적 불변성을 통해, DISSOLVR이 실험적 불확실성의 우연적 한계(aleatoric limit)에 근접하고 OOD(분포 외) 일반화를 달성함을 입증합니다. 이어서 기호 기반 모델 아티팩트와 화학적 기반 설명 사이의 격차를 좁히는 LLM 보조 사후 설명 파이프라인을 제시합니다. 마지막으로 전문 화학자 22명이 참여한 설문 조사 비교 벤치마크를 통해 전문가 평가자가 심층적인 인사이트를 제공함을 밝힙니다.

arXiv:2607.20551v1cs.LG공통 태그 regression, Drug Discovery, Molecular Property Prediction

SenCos-GEM: SENet 보정 및 코사인 법칙 제약 기하 강화 분자 표현을 통한 물성 예측

SenCos-GEM: SENet-Calibrated and Law-of-Cosines-Constrained Geometry-Enhanced Molecular Representation for Property Prediction

효과적인 분자 표현 학습은 정확한 분자 물성 예측에 필수적이다. 최근 약물 발견을 위해 포괄적인 3D 구조 정보를 포착하기 위해 3D GNN을 활용한 다수의 자기지도 학습(SSL) 접근법이 개발되었다. 그러나 기존 방법들은 명시적인 물리적 제약이 부족하며, 대규모 사전학습 과정에서 거친 경험적 힘장(empirical force field)에 의해 유발되는 기하학적 노이즈에 매우 취약하다. 또한 하류 적응(downstream adaptation) 과정에서 동적 특징 변조(feature modulation)를 간과하여, 종종 치명적 망각(catastrophic forgetting)과 부정적 전이(negative transfer)를 초래한다. 이러한 한계를 해결하기 위해, 본 연구는 SENet 보정 및 코사인 법칙 제약 강화를 통합한 새로운 명시적 분리형 기하 강화 분자 표현 학습 프레임워크인 SenCos-GEM을 제안한다. SenCos-GEM은 코사인 법칙에 기반한 물리 유도 기하학적 일관성 손실(geometric consistency loss)을 사용하여 고충실도이며 수학적으로 불변인 3D 공간 사전지식(spatial priors)을 도출한다. 또한 경량 Squeeze-and-Excitation(SE) 모듈이 태스크별 어댑터(task-specific adapter)로 백본에 통합되며, 이중 변조(dual-modulation) 예측 헤드는 Feature-wise Linear Modulation(FiLM)과 SENet 메커니즘을 결합하여 동적 특징 재보정(feature recalibration)을 가능하게 한다. SenCos-GEM은 MoleculeNet 벤치마크에서 다양한 분류 및 회귀 태스크 전반에 걸쳐 매우 경쟁력 있는 성능을 보이며, FreeSolv, Lipophilicity, QM9와 같은 3D conformation에 민감한 회귀 태스크에서 특히 새로운 최신(state-of-the-art) 결과를 달성하여, 각각 상대 오류를 12.9%(RMSE), 5.3%(RMSE), 8.2%(MAE) 감소시켰다. 또한 본 모델은 입체 이성질체(stereoisomer)를 구별하고 conformational perturbation을 판별하는 뛰어난 능력을 보여, 강건한 공간 모델링 성능을 입증한다. 종합적으로 SenCos-GEM은 정확한 분자 물성 예측 분야에서 중요한 돌파구를 제시한다.

arXiv:2607.21561v1cs.LG공통 태그 regression, Drug Discovery, Molecular Property Prediction

순환 펩타이드 앙상블에 대한 그래프 학습: 분자 앙상블 모델링 연구

Graph Learning on Ensembles of Cyclic Peptides: An Investigation of Molecular Ensemble Modeling

구조로부터 분자 특성을 예측할 때, 용액 속에서 많은 분자가 conformational ensemble(구조 앙상블)로 존재함에도 불구하고 종종 단일 대표 conformation(구조)을 사용한다. 본 연구는 EnsembleEGNN을 제안한다. 이는 분자 앙상블 기초 모델로, 먼저 공유된 Equivariant Graph Neural Network(EGNN) 레이어로 각 컨포머(conformer)를 인코딩한 다음, Set Attention Block으로 결과 컨포머 표현을 풀링하여 앙상블을 인코딩한다. CREMP(순환 펩타이드 앙상블 데이터셋)에서 마스크된 토큰 복원, 노이즈 좌표 재구성, 쌍별 거리 재구성을 결합한 다중 과제 자기지도 목적 함수를 사용하여 모델을 사전학습한다. CREMP-CycPeptMPDB 데이터셋에서 EnsembleEGNN을 처음부터 학습하면 완전히 실패한다($R^2=0.005$). 그러나 사전학습된 모델은 $R^2=0.477$ 및 Pearson $r=0.699$에 도달하여, 서열 전용 BERT 기준선($R^2=0.439$, Pearson $r=0.667$)을 능가한다. EnsembleEGNN이 BERT 서열 인코더와 end-to-end로 공동 학습되면, 하이브리드 모델은 $R^2=0.538$ 및 Pearson $r=0.737$로 더욱 향상된다. 이 결과는 conformational ensemble을 단일 열역학적으로 정보화된 임베딩으로 인코딩하면 순환 펩타이드 특성 예측이 향상됨을 보여준다.

arXiv:2609.27144v2cs.LG공통 태그 regression, Prediction

미관측 교란 변수에 강건한 위험 점수 학습

Learning Risk Scores Robust to Unobserved Confounders

미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.

arXiv:2610.13649v1physics.chem-ph공통 태그 Drug Discovery, Molecular Property Prediction

대리 범함수를 활용한 전자 밀도 기반 분자 특성 예측

Electron-Density-Informed Molecular Property Prediction Using Surrogate Functionals

양자역학 계산의 과도한 연산 비용을 피하기 위해 분자 구조로부터 화학적 특성을 직접 예측하는 데 머신러닝 방법이 점점 더 널리 사용되고 있습니다. 최근 연구에 따르면 머신러닝 모델의 입력으로 바닥상태(ground-state) 전자 밀도를 포함하면 이러한 설정에서 정확도를 향상시킬 수 있는 것으로 나타났습니다. 본 연구에서는 원래 무궤도 밀도 범함수 이론(orbital-free density functional theory)을 위해 개발된 최근의 대리 범함수(surrogate functional) 프레임워크를 차용하여 분자 특성 예측으로 확장합니다. 바닥상태 밀도를 모델의 입력으로 전달하는 동시에 이를 대리 범함수의 최솟값이 되도록 강제함으로써 QM9 데이터셋의 7가지 크기 성질(extensive properties) 중 6가지에서 최고 수준의 성능(SOTA)을 능가함을 보여줍니다. 또한 이 접근 방식은 QM40 데이터셋의 더 큰 분자에 대해서도 향상된 일반화 능력을 보입니다. 두 데이터셋의 모든 크기 성질에서 본 연구의 접근법은 바닥상태 밀도를 반영하지만 대리 범함수 제약 조건을 강제하지 않는 모델보다 우수한 성능을 나타냅니다.

arXiv:2609.12223v2cs.LG공통 태그 Drug Discovery, Molecular Property Prediction

GRACE를 활용한 충돌 단면적 예측: 조기 융합을 통한 기하학적 잔차 첨가생성물 조건화

Predicting Collision Cross Sections with GRACE: Geometric Residual Adduct Conditioning via Early-fusion

이온 이동도 질량 분석법에서 도출되는 충돌 단면적(CCS, Collision Cross Section)은 분자 주석에 널리 쓰이는 기술자(descriptor)입니다. 기체 상태 분자 이온의 크기, 형태 및 이온화 상태를 반영하기 때문에 머신러닝 모델로 이를 예측하는 것은 까다롭습니다. 기존 예측 모델의 대다수는 명시적인 3차원 구조를 무시하거나 첨가생성물(adduct) 식별자를 후기 범주형 특징(feature)으로 취급하여, 첨가생성물에 따른 기하학적 영향을 포착하는 데 한계가 있습니다. 본 연구에서는 조기 융합(early-fusion)을 통한 기하학적 잔차 첨가생성물 조건화를 사용하여 사전학습된 분자 기하학 인코더를 적응시키는 3차원 CCS 예측 모델인 GRACE(Geometric Residual Adduct Conditioning via Early-fusion)를 제안합니다. GRACE는 두 가지 귀납적 편향(inductive bias)을 결합합니다. 즉, 첨가생성물을 고려한 물리적 기술자 기준선(baseline) 대비 잔차 목적 함수와, 학습된 첨가생성물 토큰(token) 및 저차원 랭크 어텐션(attention) 어댑터를 통한 인코더 내부의 첨가생성물 조건화입니다. 보간(interpolation), 스캐폴드 일반화, 첨가생성물 기반 일반화를 분리하여 평가할 수 있도록 설계된 무작위(random), 스캐폴드(scaffold), 첨가생성물 민감(adduct-sensitive) 분할을 적용하여 9,000건 이상의 실험적 분자-첨가생성물 CCS 레코드로 정제된 데이터셋에서 모델을 평가했습니다. GRACE는 세 가지 분할 모두에서 평가된 학습 모델 중 가장 우수한 평균 백분율 차이(mean percentage difference)를 달성했습니다(무작위 분할 1.67%, 스캐폴드 분할 2.11%, 첨가생성물 민감 분할 2.36%). 진단 분석 결과, 잔차 학습은 지배적인 질량-CCS 추세를 제거함으로써 학습(training)을 안정화하고, 조기 융합은 후기 융합에 비해 첨가생성물 민감 예측 성능을 개선하는 것으로 나타났습니다. 4개의 독립적인 외부 테스트 세트 전반에서 GRACE는 평가된 다른 모델들보다 일관되게 낮은 오차를 보였습니다. 또한 별도로 남겨둔 보류 평가셋(held-out set)에서 GRACE는 이전에 보고된 네 가지 물리 기반 워크플로와 비교했을 때 가장 낮은 평균 백분율 차이를 기록했습니다. 이러한 결과는 잔차 학습과 인코더 수준의 첨가생성물 조건화가 빠르고 정확한 CCS 예측을 위한 실용적인 귀납적 편향임을 뒷받침합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.