arXiv:2407.11086

Pre-training with Fractional Denoising to Enhance Molecular Property Prediction

Yuyan Ni, Shikun Feng, Xin Hong, Yuancheng Sun, Wei-Ying Ma, Zhi-Ming Ma, Qiwei Ye, Yanyan Lan

제출 2024-07-14

원문 초록

Deep learning methods have been considered promising for accelerating molecular screening in drug discovery and material design. Due to the limited availability of labelled data, various self-supervised molecular pre-training methods have been presented. While many existing methods utilize common pre-training tasks in computer vision (CV) and natural language processing (NLP), they often overlook the fundamental physical principles governing molecules. In contrast, applying denoising in pre-training can be interpreted as an equivalent force learning, but the limited noise distribution introduces bias into the molecular distribution. To address this issue, we introduce a molecular pre-training framework called fractional denoising (Frad), which decouples noise design from the constraints imposed by force learning equivalence. In this way, the noise becomes customizable, allowing for incorporating chemical priors to significantly improve molecular distribution modeling. Experiments demonstrate that our framework consistently outperforms existing methods, establishing state-of-the-art results across force prediction, quantum chemical properties, and binding affinity tasks. The refined noise design enhances force accuracy and sampling coverage, which contribute to the creation of physically consistent molecular representations, ultimately leading to superior predictive performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13649v1physics.chem-ph공통 태그 Drug Discovery, Molecular Property Prediction

대리 범함수를 활용한 전자 밀도 기반 분자 특성 예측

Electron-Density-Informed Molecular Property Prediction Using Surrogate Functionals

양자역학 계산의 과도한 연산 비용을 피하기 위해 분자 구조로부터 화학적 특성을 직접 예측하는 데 머신러닝 방법이 점점 더 널리 사용되고 있습니다. 최근 연구에 따르면 머신러닝 모델의 입력으로 바닥상태(ground-state) 전자 밀도를 포함하면 이러한 설정에서 정확도를 향상시킬 수 있는 것으로 나타났습니다. 본 연구에서는 원래 무궤도 밀도 범함수 이론(orbital-free density functional theory)을 위해 개발된 최근의 대리 범함수(surrogate functional) 프레임워크를 차용하여 분자 특성 예측으로 확장합니다. 바닥상태 밀도를 모델의 입력으로 전달하는 동시에 이를 대리 범함수의 최솟값이 되도록 강제함으로써 QM9 데이터셋의 7가지 크기 성질(extensive properties) 중 6가지에서 최고 수준의 성능(SOTA)을 능가함을 보여줍니다. 또한 이 접근 방식은 QM40 데이터셋의 더 큰 분자에 대해서도 향상된 일반화 능력을 보입니다. 두 데이터셋의 모든 크기 성질에서 본 연구의 접근법은 바닥상태 밀도를 반영하지만 대리 범함수 제약 조건을 강제하지 않는 모델보다 우수한 성능을 나타냅니다.

arXiv:2609.12223v2cs.LG공통 태그 Drug Discovery, Molecular Property Prediction

GRACE를 활용한 충돌 단면적 예측: 조기 융합을 통한 기하학적 잔차 첨가생성물 조건화

Predicting Collision Cross Sections with GRACE: Geometric Residual Adduct Conditioning via Early-fusion

이온 이동도 질량 분석법에서 도출되는 충돌 단면적(CCS, Collision Cross Section)은 분자 주석에 널리 쓰이는 기술자(descriptor)입니다. 기체 상태 분자 이온의 크기, 형태 및 이온화 상태를 반영하기 때문에 머신러닝 모델로 이를 예측하는 것은 까다롭습니다. 기존 예측 모델의 대다수는 명시적인 3차원 구조를 무시하거나 첨가생성물(adduct) 식별자를 후기 범주형 특징(feature)으로 취급하여, 첨가생성물에 따른 기하학적 영향을 포착하는 데 한계가 있습니다. 본 연구에서는 조기 융합(early-fusion)을 통한 기하학적 잔차 첨가생성물 조건화를 사용하여 사전학습된 분자 기하학 인코더를 적응시키는 3차원 CCS 예측 모델인 GRACE(Geometric Residual Adduct Conditioning via Early-fusion)를 제안합니다. GRACE는 두 가지 귀납적 편향(inductive bias)을 결합합니다. 즉, 첨가생성물을 고려한 물리적 기술자 기준선(baseline) 대비 잔차 목적 함수와, 학습된 첨가생성물 토큰(token) 및 저차원 랭크 어텐션(attention) 어댑터를 통한 인코더 내부의 첨가생성물 조건화입니다. 보간(interpolation), 스캐폴드 일반화, 첨가생성물 기반 일반화를 분리하여 평가할 수 있도록 설계된 무작위(random), 스캐폴드(scaffold), 첨가생성물 민감(adduct-sensitive) 분할을 적용하여 9,000건 이상의 실험적 분자-첨가생성물 CCS 레코드로 정제된 데이터셋에서 모델을 평가했습니다. GRACE는 세 가지 분할 모두에서 평가된 학습 모델 중 가장 우수한 평균 백분율 차이(mean percentage difference)를 달성했습니다(무작위 분할 1.67%, 스캐폴드 분할 2.11%, 첨가생성물 민감 분할 2.36%). 진단 분석 결과, 잔차 학습은 지배적인 질량-CCS 추세를 제거함으로써 학습(training)을 안정화하고, 조기 융합은 후기 융합에 비해 첨가생성물 민감 예측 성능을 개선하는 것으로 나타났습니다. 4개의 독립적인 외부 테스트 세트 전반에서 GRACE는 평가된 다른 모델들보다 일관되게 낮은 오차를 보였습니다. 또한 별도로 남겨둔 보류 평가셋(held-out set)에서 GRACE는 이전에 보고된 네 가지 물리 기반 워크플로와 비교했을 때 가장 낮은 평균 백분율 차이를 기록했습니다. 이러한 결과는 잔차 학습과 인코더 수준의 첨가생성물 조건화가 빠르고 정확한 CCS 예측을 위한 실용적인 귀납적 편향임을 뒷받침합니다.

arXiv:2610.02574v1cs.LG공통 태그 Drug Discovery, Molecular Property Prediction

DISSOLVR: 수계 및 유기 용해도 예측을 위한 해석 가능하고 빠른 프레임워크

DISSOLVR: An Interpretable and Fast Framework for Aqueous and Organic Solubility Prediction

고충실도(high-fidelity) 용해도 예측은 다양한 화학적 환경 전반에서 분자 구조와 열역학적 거동을 정확하게 결합해 모델링해야 하는 의약품 개발 및 환경 분배(environmental partitioning) 분야의 기초가 됩니다. 그러나 최근의 발전은 예측력을 위해 물리적 해석 가능성을 희생하는 경우가 많은 심층 학습(deep learning) 아키텍처가 주도해 왔습니다. 본 연구에서는 최고 수준의 성능을 달성하는 데 이러한 불투명한 아키텍처가 필수적이지 않음을 보여줌으로써 이와 같은 경향에 도전합니다. 이를 해결하기 위해 분자 용해도 예측을 위한 투명한 프레임워크인 DISSOLVR을 소개합니다. 아울러 포괄적인 문헌 검토와 다양한 방법론에 대한 벤치마킹 연구를 수행합니다. 분자를 물리적 기반의 기술자(descriptor)에 매핑하여 얻은 구조적 불변성을 통해, DISSOLVR이 실험적 불확실성의 우연적 한계(aleatoric limit)에 근접하고 OOD(분포 외) 일반화를 달성함을 입증합니다. 이어서 기호 기반 모델 아티팩트와 화학적 기반 설명 사이의 격차를 좁히는 LLM 보조 사후 설명 파이프라인을 제시합니다. 마지막으로 전문 화학자 22명이 참여한 설문 조사 비교 벤치마크를 통해 전문가 평가자가 심층적인 인사이트를 제공함을 밝힙니다.

arXiv:2609.40030v2cs.LG공통 태그 Denoising, Drug Discovery

펜첼 틸팅: 생성 모델의 효율적인 미세조정을 위한 가중 보정

Fenchel Tilting: Weighted Correction for Efficient Finetuning of Generative Models

사전학습된 생성 모델을 효용 함수로 표현되는 임의의 선호도에 적응시키는 것은 보상 정렬(reward alignment), 유도 설계(guided design), 제약 조건 충족의 기초가 되며 다양한 응용을 가능하게 합니다. 기존의 미세조정(fine-tuning) 방법들은 범용성과 계산 비용 간의 트레이드오프를 겪습니다. 즉, 최적화를 단순하게 유지하기 위해 지원되는 선호도 군을 제한하거나, 효율성을 희생하면서 범용성을 유지합니다. 본 논문에서는 효용 최적화와 생성 모델 피팅을 분리하는 펜첼 틸트 흐름 제어(Fenchel Tilt Flow Control, FTFC)를 제안합니다. FTFC는 먼저 사전학습된 샘플에 대해 유효 보상과 밀도비 가중치를 공동으로 피팅하여 목표 분포에 대해 최적화합니다. 이 방법은 효용의 변분 구조와 펜첼 쌍대성(Fenchel duality)을 결합하여, 보상이 분포 보정 가중치로 변환되는 방식을 결정하는 일반적인 $f$-다이버전스 페널티를 지원합니다. 그런 다음 이러한 가중치를 고정하고, 샘플링 궤적을 통한 미분 없이 단일 단계의 중요도 가중치 디노이징 또는 플로우 매칭에서 확산 또는 플로우 모델을 수정하는 데 사용합니다. 우리는 적절한 조건에서 오목 효용에 대한 정확한 쌍대성을 규명하고, 가중 피팅이 주어진 효용에 대한 최적의 목표 분포를 재현함을 보입니다. 이미지 및 분자 생성 벤치마크 전반에 걸쳐 FTFC는 다양한 선호도 함수에서 베이스라인 대비 성능을 향상시키는 동시에 최대 20배 더 효율적입니다. 제안된 방법은 복잡한 최적화 없이 기대 보상 극대화를 넘어선 적응을 가능하게 하며, 베이스라인과 비교하여 더 일반적인 효용 함수 군에 대한 견고성을 유지합니다.

arXiv:2607.21634v1cs.LG공통 태그 Denoising, Drug Discovery

MotifRole-Diff: 마스킹 분자 그래프 확산을 위한 위험 최적 역할 인식 손상

MotifRole-Diff: Risk-Optimal Role-Aware Corruption for Masked Molecular Graph Diffusion

분자 그래프 생성을 위한 마스킹 이산 확산(masked discrete diffusion)은 일반적으로 무손실 그래프-투-시퀀스(graph-to-sequence) 표현의 모든 토큰에 균일한 손상(corruption) 스케줄을 적용하며, 구조적으로 이질적인 분자 구성 요소를 재구성 난이도와 중요도가 동일한 것처럼 암묵적으로 취급한다. 그러나 서로 다른 분자 그래프 토큰 역할은 디노이징(denoising) 난이도와 디코딩된 분자에 미치는 영향에서 상당한 차이를 보이므로, 역할별 손상 전략이 필요하다. 본 논문은 MotifRole-Diff를 제안한다. 이는 경험적으로 측정된 디노이징 난이도와 그래프 수준 교란(perturbation) 영향에 따라 마스킹 비율을 할당하는 역할 인식 손상 과정으로, 모델 아키텍처, 깨끗한 시퀀스 공간, 무손실 분자 그래프 디코더는 그대로 유지한다. 우리는 스케줄 선택을 고정된 마스킹 예산을 토큰 역할 간에 위험 최적으로 할당하는 문제로 공식화한다. 우리의 정리는 모델링된 역할 가중 잔여 위험(role-weighted residual risk)에 대한 최적성을 특성화하며, 하류 생성 성능은 경험적으로 평가한다. 동일한 아키텍처, 학습 예산, 샘플링 연산량 하에서 MotifRole-Diff는 QM9에서 validity를 0.905에서 0.944로 향상시키고 FCD를 1.701에서 1.609로 감소시켰으며, MOSES에서는 validity를 0.920에서 0.938로 향상시키고 FCD를 2.125에서 1.850으로 감소시켰다. 역할별 진단은 분자 그래프 토큰 범주 전반에 걸친 재구성 개선을 추가로 보여준다. 종합하면, 이러한 동일 연산량 결과는 구조적으로 정보를 반영한 손상이 직렬화된 분자 그래프 확산에 있어 균일 스케줄보다 더 효과적인 마스킹 전략임을 시사한다.

arXiv:2607.20551v1cs.LG공통 태그 Drug Discovery, Molecular Property Prediction

SenCos-GEM: SENet 보정 및 코사인 법칙 제약 기하 강화 분자 표현을 통한 물성 예측

SenCos-GEM: SENet-Calibrated and Law-of-Cosines-Constrained Geometry-Enhanced Molecular Representation for Property Prediction

효과적인 분자 표현 학습은 정확한 분자 물성 예측에 필수적이다. 최근 약물 발견을 위해 포괄적인 3D 구조 정보를 포착하기 위해 3D GNN을 활용한 다수의 자기지도 학습(SSL) 접근법이 개발되었다. 그러나 기존 방법들은 명시적인 물리적 제약이 부족하며, 대규모 사전학습 과정에서 거친 경험적 힘장(empirical force field)에 의해 유발되는 기하학적 노이즈에 매우 취약하다. 또한 하류 적응(downstream adaptation) 과정에서 동적 특징 변조(feature modulation)를 간과하여, 종종 치명적 망각(catastrophic forgetting)과 부정적 전이(negative transfer)를 초래한다. 이러한 한계를 해결하기 위해, 본 연구는 SENet 보정 및 코사인 법칙 제약 강화를 통합한 새로운 명시적 분리형 기하 강화 분자 표현 학습 프레임워크인 SenCos-GEM을 제안한다. SenCos-GEM은 코사인 법칙에 기반한 물리 유도 기하학적 일관성 손실(geometric consistency loss)을 사용하여 고충실도이며 수학적으로 불변인 3D 공간 사전지식(spatial priors)을 도출한다. 또한 경량 Squeeze-and-Excitation(SE) 모듈이 태스크별 어댑터(task-specific adapter)로 백본에 통합되며, 이중 변조(dual-modulation) 예측 헤드는 Feature-wise Linear Modulation(FiLM)과 SENet 메커니즘을 결합하여 동적 특징 재보정(feature recalibration)을 가능하게 한다. SenCos-GEM은 MoleculeNet 벤치마크에서 다양한 분류 및 회귀 태스크 전반에 걸쳐 매우 경쟁력 있는 성능을 보이며, FreeSolv, Lipophilicity, QM9와 같은 3D conformation에 민감한 회귀 태스크에서 특히 새로운 최신(state-of-the-art) 결과를 달성하여, 각각 상대 오류를 12.9%(RMSE), 5.3%(RMSE), 8.2%(MAE) 감소시켰다. 또한 본 모델은 입체 이성질체(stereoisomer)를 구별하고 conformational perturbation을 판별하는 뛰어난 능력을 보여, 강건한 공간 모델링 성능을 입증한다. 종합적으로 SenCos-GEM은 정확한 분자 물성 예측 분야에서 중요한 돌파구를 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.