arXiv:2610.02651v1 physics.chem-ph

전자 밀도 예측을 위한 등변 플로우 매칭

Equivariant Flow Matching for Electron Density Prediction

Chenxing Liang, Chengdong Wang, Yuchao Lin, Xiaofeng Qian, Shuiwang Ji

제출 2026-10-02

한국어 초록

밀도 범함수 이론(DFT)을 위한 머신러닝 대리 모델은 제일원리 계산 비용을 줄이기 위해 점점 더 널리 사용되고 있습니다. 이 분야에서 실공간 전자 밀도를 예측하는 것은 자체 일관 장(SCF) 절차를 위한 확장 가능하고 전이 가능한 초기화를 제공합니다. 그러나 기존 방식들은 명확한 딜레마에 직면해 있습니다. 즉, 그리드 기반 아키텍처는 높은 계산 비용을 초래하는 반면, 기저 함수계 방식은 계수 공간에 내재된 구조적 상관관계를 포착하지 못합니다. 본 연구에서는 플로우 매칭(flow matching)을 통해 가우스형 궤도함수(GTO) 계수를 예측하는 $\mathrm{SE}(3)$-등변(equivariant) 생성 모델인 OrbFlow를 개발합니다. OrbFlow는 조밀한 원자 중심 기저의 효율성을 유지하면서, 점별 회귀를 전체 계수 공간에 걸쳐 학습된 확률 경로로 대체합니다. 이 모델은 수치 적분 중 발생하는 이산화 드리프트를 완화하는 2단계 궤적 커리큘럼을 통해 학습됩니다. OrbFlow는 QM9에서 이전 최고 성능 모델 대비 밀도 오차를 13.6% 줄이며 SOTA(state-of-the-art) 정확도를 달성하고, 동일한 기저를 공유하는 가장 강력한 기존 기법 대비 MD 벤치마크의 모든 분자에서 오차를 51%에서 63%까지 줄입니다. 또한 예측된 밀도는 학습 시 보지 못한 교환-상관 범함수로의 제로샷(zero-shot) 전이를 통해 SCF 반복 횟수를 최대 68%까지 줄이며, 어떠한 SCF 계산 없이도 DFT 참조값의 수 퍼센트 이내로 쌍극자 및 사중극자 모멘트를 복원합니다.

원문 초록

Machine learning surrogates for density functional theory (DFT) have been increasingly used to reduce the cost of first-principles calculations. In this arena, predicting real-space electron densities offers a scalable and transferable initialization for self-consistent field (SCF) procedures. However, current methods face a clear dilemma. That is, grid-based architectures incur a high computational cost, while basis-set methods fail to capture the structural correlations inherent in the coefficient space. Here, we develop OrbFlow, an $\mathrm{SE}(3)$-equivariant generative model that predicts Gaussian-type orbital (GTO) coefficients via flow matching. OrbFlow retains the efficiency of a compact atom-centered basis while replacing pointwise regression with a learned probability path over the full coefficient space. It is trained through a two-phase trajectory curriculum that mitigates discretization drift during numerical integration. OrbFlow achieves state-of-the-art accuracy on QM9, reducing density error by 13.6% relative to the previous best model, and reduces error by 51% to 63% on every molecule of the MD benchmark relative to the strongest prior method sharing its basis. The predicted density also cuts SCF iterations by up to 68% with zero-shot transfer to unseen exchange-correlation functionals and recovers dipole and quadrupole moments to within a few percent of DFT references without any SCF calculation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02651v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2410.02548v4stat.ML공통 태그 flow matching공식 코드 · Papers with Code

지역 Flow Matching 생성 모델

Local Flow Matching Generative Models

Flow Matching(FM)은 두 분포를 보간하는 연속적·가역적 flow를 학습하는 시뮬레이션 없는 방법이며, 특히 노이즈에서 데이터를 생성한다. 확산 과정이 그래디언트 flow로서 갖는 변분적 성질에 영감을 받아, 우리는 단계적 FM 모델인 지역 Flow Matching(LFM)을 제안한다. LFM은 FM 서브모델들의 시퀀스를 순차적으로 학습하고, 각 서브모델은 데이터에서 노이즈 방향으로의 time-step 크기에 해당하는 범위까지 확산 과정과 일치시킨다. 각 단계에서 서브-flow 모델이 보간하는 두 분포는 데이터와 노이즈 분포를 보간하는 전체 flow matching 모델의 경우보다 더 가깝다. 이를 통해 더 작은 모델과 더 효율적인 학습이 가능하다. 이러한 변분적 관점은 또한 확산 과정의 수축(contraction) 성질을 활용하여, 생성된 분포와 실제 데이터 분포 사이의 $χ^2$-발산에 대한 관점에서 제안 flow 모델의 이론적 생성 보장을 증명할 수 있게 한다. 실제로 LFM의 단계적 구조는 모델 지식 증류에 자연스럽게 적합하며, 다양한 지식 증류 기법을 적용하여 생성을 가속할 수 있다. 우리는 실험적으로 LFM이 표 형식 및 이미지 데이터셋의 비조건부 생성과 로봇 조작 정책의 조건부 생성에서 FM과 비교해 경쟁력 있는 생성 성능을 달성함을 보인다.

arXiv:2610.03391v2cs.CV공통 태그 flow matching

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

arXiv:2609.14743v3cs.CL공통 태그 flow matching

음성-텍스트 언어 모델에서 생성 모달리티 간극 정량화

Quantifying the Generation Modality Gap in Speech-Text Language Models

순수 음성 언어 모델(speech language model)은 일관성 있는 콘텐츠를 생성하는 데 있어 텍스트 및 음성-텍스트 언어 모델에 비해 뒤처지는 경우가 많지만, 음성과 텍스트 시스템이 일반적으로 서로 다른 지표로 평가되고 서로 다른 데이터로 학습(training)되기 때문에 이러한 간극을 정량화하기는 어렵습니다. 본 연구에서는 연속적인 음향 특징(feature) 생성을 위한 플로우 매칭(flow matching)을 기반으로 하는 일련의 음성 언어 모델 계열에서 음성-텍스트 모달리티 간극(modality gap)을 연구합니다. 일치된 데이터 분포에서 학습되고 일치된 생성 환경에서 평가되는 음성 전용, 텍스트 전용, 음성-텍스트 언어 모델을 비교하는 통합 생성 기반 평가 스위트를 구축합니다. 생성된 음성을 전사하고 참조 언어 모델로 점수를 매겨 측정한 의미론적 일관성(semantic coherence), 음소 n-그램 분포 통계로 측정한 국소적 음소 구조, 화자 일관성 및 음향 품질, 감정 기반 분포 지표 등 여러 차원에 걸쳐 생성된 연속 발화를 평가합니다. 데이터셋 전반에 걸쳐 음성-텍스트 결합 모델링이 의미론적 일관성을 크게 향상시킨다는 점을 확인했습니다. 그러나 이러한 개선이 모든 지표에서 균일하지는 않습니다. 음소 수준 지표는 미미하게만 변화하고, 음성-텍스트 연속 생성물에서 화자 유사도와 예측 품질은 더 낮은 반면 감정 기반 분포 지표는 향상됩니다. 더 큰 규모의 음성 전용 모델과 비교할 때, 제안하는 음성-텍스트 모델은 전사 기반 의미론적 일관성에서 스케일링(scaling) 격차의 상당 부분을 좁히며, 이는 텍스트가 음성 언어 모델링에 효율적인 의미론적 학습 신호를 제공함을 시사합니다.

arXiv:2607.12380v2cs.LG공통 태그 flow matching

SinAE: 교차 도메인 원자계를 위한 단일 아키텍처 플로우 매칭 오토인코더

SinAE: A Single-Architecture Flow-Matching Autoencoder for Cross-Domain Atomic Systems

소분자, 결정체, 단백질은 모두 3차원 공간의 원자로 환원되지만, 생성 파이프라인은 여전히 도메인별로 분절되어 있으며 각각 고유한 그래프, 등변(equivariant), 또는 프레임 기반 아키텍처를 사용한다. 교차 도메인 학습은 도메인별 데이터 부족을 완화할 수 있지만, 3차원 좌표 공간에서의 직접 생성은 세 도메인 모두의 이질적인 구조적 사전지식을 쉽게 다루기 어렵고, 기존 잠재 오토인코더 중 무손실이면서 세 도메인 모두에 걸쳐 아키텍처적으로 일반적인 것은 없다. 우리는 분자, 결정체, 단백질을 위한 단일 아키텍처 플로우 매칭 오토인코더인 SinAE를 제안하며, 이는 바닐라 트랜스포머 인코더와 디코더를 사용하고 등변, 그래프, 또는 도메인 특화 연산자를 포함하지 않는다. 인코더가 세밀한 기하를 포착하도록 요구하는 대신, SinAE는 재구성 부담을 반복적 플로우 매칭 디코더로 옮겨 도메인 전반에 걸쳐 거의 무손실 재구성을 달성하고, 기존 잠재 베이스라인 대비 재구성 오차를 여러 차수에 걸쳐 감소시킨다. 동일한 토큰별 잠재는 표준 Diffusion Transformer 사전 모델을 지원하며, 이는 분자, 결정체, 단백질 생성 벤치마크에서 강력한 성능을 달성한다. 분자-결정체 공동 학습은 두 도메인 모두를 뚜렷이 개선하여, 공유 원자 잠재를 통한 교차 도메인 전이의 직접적 증거를 제공한다. 코드는 https://github.com/BlueWhaleLab/SinAE 에서 이용할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.