양자역학 계산의 과도한 연산 비용을 피하기 위해 분자 구조로부터 화학적 특성을 직접 예측하는 데 머신러닝 방법이 점점 더 널리 사용되고 있습니다. 최근 연구에 따르면 머신러닝 모델의 입력으로 바닥상태(ground-state) 전자 밀도를 포함하면 이러한 설정에서 정확도를 향상시킬 수 있는 것으로 나타났습니다. 본 연구에서는 원래 무궤도 밀도 범함수 이론(orbital-free density functional theory)을 위해 개발된 최근의 대리 범함수(surrogate functional) 프레임워크를 차용하여 분자 특성 예측으로 확장합니다. 바닥상태 밀도를 모델의 입력으로 전달하는 동시에 이를 대리 범함수의 최솟값이 되도록 강제함으로써 QM9 데이터셋의 7가지 크기 성질(extensive properties) 중 6가지에서 최고 수준의 성능(SOTA)을 능가함을 보여줍니다. 또한 이 접근 방식은 QM40 데이터셋의 더 큰 분자에 대해서도 향상된 일반화 능력을 보입니다. 두 데이터셋의 모든 크기 성질에서 본 연구의 접근법은 바닥상태 밀도를 반영하지만 대리 범함수 제약 조건을 강제하지 않는 모델보다 우수한 성능을 나타냅니다.
밀도 범함수 이론(DFT)을 위한 머신러닝 대리 모델은 제일원리 계산 비용을 줄이기 위해 점점 더 널리 사용되고 있습니다. 이 분야에서 실공간 전자 밀도를 예측하는 것은 자체 일관 장(SCF) 절차를 위한 확장 가능하고 전이 가능한 초기화를 제공합니다. 그러나 기존 방식들은 명확한 딜레마에 직면해 있습니다. 즉, 그리드 기반 아키텍처는 높은 계산 비용을 초래하는 반면, 기저 함수계 방식은 계수 공간에 내재된 구조적 상관관계를 포착하지 못합니다. 본 연구에서는 플로우 매칭(flow matching)을 통해 가우스형 궤도함수(GTO) 계수를 예측하는 $\mathrm{SE}(3)$-등변(equivariant) 생성 모델인 OrbFlow를 개발합니다. OrbFlow는 조밀한 원자 중심 기저의 효율성을 유지하면서, 점별 회귀를 전체 계수 공간에 걸쳐 학습된 확률 경로로 대체합니다. 이 모델은 수치 적분 중 발생하는 이산화 드리프트를 완화하는 2단계 궤적 커리큘럼을 통해 학습됩니다. OrbFlow는 QM9에서 이전 최고 성능 모델 대비 밀도 오차를 13.6% 줄이며 SOTA(state-of-the-art) 정확도를 달성하고, 동일한 기저를 공유하는 가장 강력한 기존 기법 대비 MD 벤치마크의 모든 분자에서 오차를 51%에서 63%까지 줄입니다. 또한 예측된 밀도는 학습 시 보지 못한 교환-상관 범함수로의 제로샷(zero-shot) 전이를 통해 SCF 반복 횟수를 최대 68%까지 줄이며, 어떠한 SCF 계산 없이도 DFT 참조값의 수 퍼센트 이내로 쌍극자 및 사중극자 모멘트를 복원합니다.
결합 클러스터(Coupled-cluster) 이론은 분자 전자 구조 특성의 정확도 기준을 정의하지만 일상적인 적용에는 연산량 스케일링이 지나치게 가파른 반면, 밀도 범함수 이론(DFT)은 계산 비용이 저렴하지만 체계적인 바이어스(bias)를 보입니다. 본 연구에서는 단일 등변 신경망(equivariant network)인 HARP(Hamiltonian Read-out for Properties)를 통해 이러한 트레이드오프를 해결합니다. HARP는 저비용의 B3LYP/def2-SVP 계산 한 번으로부터 유효 일전자 해밀토니안(one-electron Hamiltonian)을 예측하고, 연구가 상대적으로 미흡했던 인(P), 황(S), 염소(Cl) 화학을 포함한 9개 주족 원소 전반에 걸쳐 결합 클러스터 수준의 정확도로 광범위한 특성(에너지, 광학 갭, 쌍극자, 사중극자, 분극률, 뮬리켄 원자 전하, 마이어 결합 차수)들을 도출합니다. 본 모델은 9개 원소 전반에 걸쳐 CCSD(T) 수준으로 계산된 다중 특성 라벨의 사내 신규 데이터셋으로 학습되었습니다. 검증용(held-out) 테스트셋에서, 복합 CCSD(T)/cc-pVTZ를 기준으로 반국소, 하이브리드, 이중 하이브리드 DFT 대비 모든 특성의 오차를 3.8배에서 270배 줄였으며, 분자당 약 0.1초의 실행 시간만 추가하여 단 한 번의 DFT 계산 비용으로 결합 클러스터 품질의 예측을 제공합니다. 특히, 원자별 피처를 풀링(pooling)하는 대신 예측된 해밀토니안으로부터 모든 특성을 도출함으로써 올바른 크기 스케일링을 모델 아키텍처에 내재화합니다. π-공액 올리고티오펜(oligothiophene)에서 해당 참조 계산이 감당 가능한 최대 크기(44개 및 37개 원자, 단일 CCSD 필드 포인트 계산만으로도 모델 전체 추론 비용의 약 500배에 달함)에서 유한장 CCSD 분극률에 약 1%, EOM-CCSD 광학 갭에 약 3% 수준으로 일치하며, 풀링 기반 아키텍처가 구조적으로 실패하는 영역인 58개 원자 사슬까지 보정된 경향성을 외삽합니다. 따라서 정확한 외삽은 학습 데이터가 아니라 모델의 귀납적 바이어스(inductive bias)에 의해 결정됩니다.
기계 학습(ML) 연산자 모델은 밀도 범함수 이론(DFT) 해밀토니안/밀도 행렬을 훨씬 낮은 계산 비용으로 예측하도록 학습될 수 있으며, 이를 통해 전자 구조 계산을 기존에는 불가능했던 규모로 확장할 수 있다. 본 논문에서는 MALOQ(Massively Accelerated Learning of Operators for Quantum Transport)를 소개한다. 이는 소수에서 최대 100,000개의 원자로 구성되고, 대규모 기저 집합(basis set)으로 기술되며, 광범위한 원소를 포함하는 시스템에 대한 전자 구조 행렬을 학습하고 예측하기 위해 구축된 애플리케이션이다. 최신 SO(2)-등변(equivariant) 백본 아키텍처를 기반으로, MALOQ는 (i) 고차 해밀토니안 행렬 데이터를 처리하기 위한 커스텀 데이터 처리 커널과 (ii) 원자 그래프의 확장 가능한 에지 단위 분산을 제공한다. 현재 이용 가능한 가장 대규모의 분자 해밀토니안 데이터셋으로 학습된 결과, 분자 단위 분산 프레임워크 대비 에포크당 시간을 30% 이상 단축하며, 임의 크기의 물질 그래프에 대한 추론을 가능하게 한다. Alps 슈퍼컴퓨터에서 3,000~12,000개의 원자에 대해 각각 최대 192개 및 256개의 GPU를 활용하여 확장 가능한 학습과 추론을 실증한다.