MolCAP: Molecular Chemical reActivity pretraining and prompted-finetuning enhanced molecular representation learning
원문 초록
Molecular representation learning (MRL) is a fundamental task for drug discovery. However, previous deep-learning (DL) methods focus excessively on learning robust inner-molecular representations by mask-dominated pretraining framework, neglecting abundant chemical reactivity molecular relationships that have been demonstrated as the determining factor for various molecular property prediction tasks. Here, we present MolCAP to promote MRL, a graph pretraining Transformer based on chemical reactivity (IMR) knowledge with prompted finetuning. Results show that MolCAP outperforms comparative methods based on traditional molecular pretraining framework, in 13 publicly available molecular datasets across a diversity of biomedical tasks. Prompted by MolCAP, even basic graph neural networks are capable of achieving surprising performance that outperforms previous models, indicating the promising prospect of applying reactivity information for MRL. In addition, manual designed molecular templets are potential to uncover the dataset bias. All in all, we expect our MolCAP to gain more chemical meaningful insights for the entire process of drug discovery.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
대리 범함수를 활용한 전자 밀도 기반 분자 특성 예측
Electron-Density-Informed Molecular Property Prediction Using Surrogate Functionals
양자역학 계산의 과도한 연산 비용을 피하기 위해 분자 구조로부터 화학적 특성을 직접 예측하는 데 머신러닝 방법이 점점 더 널리 사용되고 있습니다. 최근 연구에 따르면 머신러닝 모델의 입력으로 바닥상태(ground-state) 전자 밀도를 포함하면 이러한 설정에서 정확도를 향상시킬 수 있는 것으로 나타났습니다. 본 연구에서는 원래 무궤도 밀도 범함수 이론(orbital-free density functional theory)을 위해 개발된 최근의 대리 범함수(surrogate functional) 프레임워크를 차용하여 분자 특성 예측으로 확장합니다. 바닥상태 밀도를 모델의 입력으로 전달하는 동시에 이를 대리 범함수의 최솟값이 되도록 강제함으로써 QM9 데이터셋의 7가지 크기 성질(extensive properties) 중 6가지에서 최고 수준의 성능(SOTA)을 능가함을 보여줍니다. 또한 이 접근 방식은 QM40 데이터셋의 더 큰 분자에 대해서도 향상된 일반화 능력을 보입니다. 두 데이터셋의 모든 크기 성질에서 본 연구의 접근법은 바닥상태 밀도를 반영하지만 대리 범함수 제약 조건을 강제하지 않는 모델보다 우수한 성능을 나타냅니다.
어디를 볼 것인가가 중요하다: 3D 의료 자기지도학습에서의 서브 볼륨 샘플링 재고
Where to Look Matters: Rethinking Sub-Volume Sampling in 3D Medical Self-supervised Learning
3D 의료 영상에서의 자기지도학습(self-supervised learning)은 일반적으로 사전학습(pre-training) 중 무작위 서브 볼륨(sub-volume) 샘플링에 의존합니다. 그러나 무작위 크롭(random cropping)은 해부학적 사전 지식과 공간적 중복성으로 인해 영역 간 표현 학습(representation learning) 가치가 본질적으로 불균등함에도 불구하고, 모든 공간 영역을 관찰할 가치가 동일한 것으로 암묵적으로 취급합니다. 이를 위해, 본 연구는 먼저 제어된 크롭 품질 조작 실험을 통해 더 나은 서브 볼륨이 더 우수한 다운스트림 전이(transfer)로 이어진다는 점을 보임으로써, 관찰 정책(observation policy)이 3D 의료 SSL에서 간과되어 온 병목 현상임을 밝힙니다. 이러한 발견에 착안하여 서브 볼륨 샘플링을 어디를 볼 것인가(\emph{where-to-look})의 문제로 재검토합니다. 우리는 무작위 크롭을 해부학 인식(\textit{anatomy-awareness}), 정보성(\textit{informativeness}), 다양성(\textit{diversity})에 기반한 오프라인 조-세밀(coarse-to-fine) 프로브 뱅크로 대체하는 플러그 앤 플레이 프레임워크인 \textbf{\method}를 제안합니다. 경량 볼륨 내재적 사전 지식만으로 충분한지, 혹은 더 풍부한 의미론적 단서가 신뢰할 수 있는 추가적인 가치를 제공하는지 검증하기 위해 기하학적 및 영상 통계적 단서를 활용하는 경량 변형인 \lite와 고정된 시각적 특징을 활용하는 진단 변형인 \feat로 \method를 구현합니다. 여러 3D 의료 SSL 백본 및 다운스트림 태스크에 걸친 광범위한 실험을 통해, \method-\lite가 무작위 샘플링 대비 전이 성능을 일관되게 향상시킴을 입증합니다. 나아가 메커니즘 분석을 통해 이러한 이득이 해부학적으로 더 타당하고 정보성이 높은 관찰, 감소된 공간적 중복성, 더 효율적인 학습 역학(learning dynamics), 그리고 더 구조화된 표현에 기인함을 밝힙니다.
DISSOLVR: 수계 및 유기 용해도 예측을 위한 해석 가능하고 빠른 프레임워크
DISSOLVR: An Interpretable and Fast Framework for Aqueous and Organic Solubility Prediction
고충실도(high-fidelity) 용해도 예측은 다양한 화학적 환경 전반에서 분자 구조와 열역학적 거동을 정확하게 결합해 모델링해야 하는 의약품 개발 및 환경 분배(environmental partitioning) 분야의 기초가 됩니다. 그러나 최근의 발전은 예측력을 위해 물리적 해석 가능성을 희생하는 경우가 많은 심층 학습(deep learning) 아키텍처가 주도해 왔습니다. 본 연구에서는 최고 수준의 성능을 달성하는 데 이러한 불투명한 아키텍처가 필수적이지 않음을 보여줌으로써 이와 같은 경향에 도전합니다. 이를 해결하기 위해 분자 용해도 예측을 위한 투명한 프레임워크인 DISSOLVR을 소개합니다. 아울러 포괄적인 문헌 검토와 다양한 방법론에 대한 벤치마킹 연구를 수행합니다. 분자를 물리적 기반의 기술자(descriptor)에 매핑하여 얻은 구조적 불변성을 통해, DISSOLVR이 실험적 불확실성의 우연적 한계(aleatoric limit)에 근접하고 OOD(분포 외) 일반화를 달성함을 입증합니다. 이어서 기호 기반 모델 아티팩트와 화학적 기반 설명 사이의 격차를 좁히는 LLM 보조 사후 설명 파이프라인을 제시합니다. 마지막으로 전문 화학자 22명이 참여한 설문 조사 비교 벤치마크를 통해 전문가 평가자가 심층적인 인사이트를 제공함을 밝힙니다.
OQM9HK: A Large-Scale Graph Dataset for Machine Learning in Materials Science
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
삭제가 아닌 은닉: 네트워크가 얽힌 특징을 억제하는 방식
Hidden not Deleted: How Networks Suppress Entangled Features
신경망이 어떤 특징을 더 이상 보고하지 않을 때, 그 특징을 잊은 것인가 아니면 단지 숨긴 것인가? 공유 표현은 이 질문에 대한 답을 복잡하게 만든다. 한 특징의 방향을 제거하면 다른 특징도 손상될 수 있기 때문이다. 우리는 입력을 압축하고 복원하는 소규모 오토인코더에서 이 문제를 연구하며, 이를 통해 개별 특징의 기여를 직접 추적할 수 있다. 표현을 고정한 상태에서 단일 편향을 복원하면 출력의 활성화 임계값 뒤에 숨겨진 신호가 드러나면서 대상 검출이 부분적으로 회복된다. 대상이 없는 입력에 대한 테스트는 이러한 회복을 단순히 출력을 증가시키는 개입과 구별한다. 표현이 변할 수 있도록 허용하면 동일한 편향 개입은 효과가 떨어진다. 우리는 대상 자체의 출력에 대한 손실이 없더라도 다른 출력만 학습시키면 대상의 기여가 약해질 수 있음을 발견하였다. 조건부 이론적 분석은 유지되는 예측과의 간섭이 어떻게 이러한 압력을 만드는지를 설명한다. 그러나 더 유연한 예측기는 여전히 잔여 대상 정보를 검출한다. 이러한 결과는 회복이 특징 기하와 어떤 파라미터가 학습되는지에 따라 달라짐을 보여주며, 침묵하는 출력만으로는 망각의 충분한 증거가 되지 못하는 이유를 설명한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.