Accurate Molecular-Orbital-Based Machine Learning Energies via Unsupervised Clustering of Chemical Space
원문 초록
We introduce an unsupervised clustering algorithm to improve training efficiency and accuracy in predicting energies using molecular-orbital-based machine learning (MOB-ML). This work determines clusters via the Gaussian mixture model (GMM) in an entirely automatic manner and simplifies an earlier supervised clustering approach [J. Chem. Theory Comput., 15, 6668 (2019)] by eliminating both the necessity for user-specified parameters and the training of an additional classifier. Unsupervised clustering results from GMM have the advantage of accurately reproducing chemically intuitive groupings of frontier molecular orbitals and having improved performance with an increasing number of training examples. The resulting clusters from supervised or unsupervised clustering is further combined with scalable Gaussian process regression (GPR) or linear regression (LR) to learn molecular energies accurately by generating a local regression model in each cluster. Among all four combinations of regressors and clustering methods, GMM combined with scalable exact Gaussian process regression (GMM/GPR) is the most efficient training protocol for MOB-ML. The numerical tests of molecular energy learning on thermalized datasets of drug-like molecules demonstrate the improved accuracy, transferability, and learning efficiency of GMM/GPR over not only other training protocols for MOB-ML, i.e., supervised regression-clustering combined with GPR(RC/GPR) and GPR without clustering. GMM/GPR also provide the best molecular energy predictions compared with the ones from literature on the same benchmark datasets. With a lower scaling, GMM/GPR has a 10.4-fold speedup in wall-clock training time compared with scalable exact GPR with a training size of 6500 QM7b-T molecules.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
시그모이드 신경망의 사후 학습 압축을 위한 역활성화 회귀 기반 뉴런 병합
Neuron merging via inverse-activation regression for post-training compression of sigmoid neural networks
신경망의 규모가 지속적으로 커짐에 따라, 제한된 계산 자원 환경에서의 효율적인 추론을 위한 모델 압축의 중요성이 점차 커지고 있습니다. 구조적 가지치기(structured pruning) 방식은 덜 중요하다고 추정되는 뉴런이나 채널을 제거하지만, 이렇게 제거된 단위들도 여전히 유용한 정보를 담고 있을 수 있습니다. 학습된 네트워크를 조대화(coarse-graining)하는 관점에서 볼 때, 여러 뉴런 자유도가 통합될 때 어떤 정보를 보존해야 하는지 묻는 것은 가치 있는 일입니다. 본 논문에서는 학습된 신경망의 압축을 위한 군집 기반 병합 방법을 논의합니다. 데이터가 필요 없는(data-free) 기여도 가중 평균 방식뿐만 아니라, 뉴런 반응을 역활성화 함수를 통해 사전 활성화(pre-activation) 공간으로 역매핑하고 최소자승법을 사용하여 각 대표 뉴런의 가중치와 편향을 추정하는 뉴런 병합 방법을 제안합니다. 또한 실제 학습 입력을 활용하는 데이터 보조 전략과 무작위로 생성된 입력을 사용하는 데이터 무관(data-free) 전략을 모두 검토합니다. 이러한 비교를 통해 실험 대상인 시그모이드 네트워크에서 병합 과정 시 군집화에는 가중치 정보가 특히 유용하고, 대표 뉴런 복원에는 활성화 정보가 유용하다는 실증적 증거를 제공합니다.
HierarchicalDAEW: H&E 조직병리학으로부터 다중 섹션 공간 유전자 발현 예측을 위한 증거적 불확실성을 갖춘 도메인 인식 엣지 가중 그래프 합성곱
HierarchicalDAEW: Domain-Aware Edge-Weighted Graph Convolution with Evidential Uncertainty for Multi-Section Spatial Gene Expression Prediction from H&E Histology
공간 전사체학(spatial transcriptomics) 분석은 여전히 비용이 많이 들고 기술적으로 까다로워, 전사체 전체 프로파일링을 전문 환경에만 국한시키고 일상적인 임상 적용을 막고 있다. H&E 조직병리학으로부터 공간적으로 분해된 유전자 발현을 예측하면 이 격차를 메울 수 있지만, 현재 방법들은 대체로 기저 조직 구조를 무시하고 예측을 얼마나 신뢰할 수 있는지 거의 정량화하지 않는다. 우리는 HierarchicalDAEW를 제안하며, 이는 두 격차를 모두 해결하는 이중 그래프 아키텍처이다. spot 그래프에서는 도메인 인식 엣지 가중 합성곱 연산자가 Leiden 클러스터링에서 도출된 도메인 간, 도메인 내, 경계 엣지에 대해 별도의 투영을 학습하여, 모델이 조직 이질성을 암묵적 신호가 아니라 명시적 구조적 신호로 다루게 한다. 두 번째 유전자 수준 그래프는 STRING-DB의 단백질-단백질 상호작용 사전(prior)과 조직 특이적 공발현을 학습된 어텐션 게이팅으로 융합하여, 랜드마크 유전자 집합에서 더 넓은 유전자 패널로 예측을 전파한다. 신뢰성은 증거적 불확실성 추정(evidential uncertainty estimation)으로 처리되며, 동일한 조건에서 Monte Carlo 드롭아웃보다 훨씬 더 잘 보정된 신뢰구간을 산출한다. 유방, 대장, 전립선, 소뇌 조직에 걸친 6개의 human Visium 섹션과 13개의 공개 베이스라인을 대상으로 한 결과, HierarchicalDAEW는 실측 발현과 가장 강한 상관을 달성했으며, 다중 시드 재현성 검증과 위치적 지름길을 배제하는 음성 대조군에서도 이득이 유지된다. Ablation은 도메인 인식 엣지 유형화와 계층적 깊이가 모두 이 개선에 필요함을 추가로 확인했으며, 보정된 불확실성 추정은 임상 조치 전 병리의사 검토를 위해 낮은 신뢰도 예측을 식별한다.
Gaussian Process Regression With Interpretable Sample-Wise Feature Weights
Extraction of Heart Rate from PPG Signal: A Machine Learning Approach using Decision Tree Regression Algorithm
Single-Document Summarization Using Sentence Embeddings and K-Means Clustering
Using Data Mining to Predict Hospital Admissions From the Emergency Department
토론
이 논문과 연결된 포럼 글이 아직 없습니다.