Enhanced Diffusion Sampling: Efficient Rare Event Sampling and Free Energy Calculation with Diffusion Models
한국어 초록
희귀 사건 샘플링 문제는 분자 동역학(MD), 특히 생체분자 시뮬레이션에서 오랫동안 핵심적인 제한 요인이었다. 최근 BioEmu와 같은 확산 모델이 복잡한 분자 분포로부터 독립 샘플을 생성하는 강력한 평형 샘플러로 부상하여 희귀 전이 사건 샘플링 비용을 제거하고 있다. 그러나 평형 상태에서 희귀한 상태에 의존하는 관측량, 예를 들어 폴딩 자유 에너지를 계산할 때는 여전히 샘플링 문제가 남아 있다. 본 논문에서는 향상된 확산 샘플링(enhanced diffusion sampling)을 도입하여, 편향되지 않은 열역학적 추정량을 보존하면서 희귀 사건 영역의 효율적인 탐험을 가능하게 한다. 핵심 아이디어는 정량적으로 정확한 조종 프로토콜(steering protocol)을 수행하여 편향 앙상블(biased ensemble)을 생성하고, 이후 정확한 재가중(reweighting)을 통해 평형 통계를 복원하는 것이다. 본 프레임워크를 세 가지 알고리즘으로 구체화한다: UmbrellaDiff(확산 모델을 이용한 우산 샘플링), MetaDiff(메타다이나믹스의 배치 방식 유사체), $\Delta$G-Diff(기울어진 앙상블을 통한 자유 에너지 차이 계산). 장난감 시스템, 단백질 폴딩 에너지 지형, 폴딩 자유 에너지에 걸쳐, 제안된 방법들은 시스템당 GPU 수분에서 수시간 내에 평형 특성의 빠르고 정확하며 확장 가능한 추정을 달성하여, 확산 모델 평형 샘플러 등장 이후에도 남아 있던 희귀 사건 샘플링 격차를 해소한다.
원문 초록
The rare-event sampling problem has long been the central limiting factor in molecular dynamics (MD), especially in biomolecular simulation. Recently, diffusion models such as BioEmu have emerged as powerful equilibrium samplers that generate independent samples from complex molecular distributions, eliminating the cost of sampling rare transition events. However, a sampling problem remains when computing observables that rely on states which are rare in equilibrium, for example folding free energies. Here, we introduce enhanced diffusion sampling, enabling efficient exploration of rare-event regions while preserving unbiased thermodynamic estimators. The key idea is to perform quantitatively accurate steering protocols to generate biased ensembles and subsequently recover equilibrium statistics via exact reweighting. We instantiate our framework in three algorithms: UmbrellaDiff (umbrella sampling with diffusion models), MetaDiff (a batchwise analogue for metadynamics), and $Δ$G-Diff (free-energy differences via tilted ensembles). Across toy systems, protein folding landscapes and folding free energies, our methods achieve fast, accurate, and scalable estimation of equilibrium properties within GPU-minutes to hours per system-closing the rare-event sampling gap that remained after the advent of diffusion-model equilibrium samplers.
요약
BioEmu와 같은 확산 모델 기반 평형 샘플러가 느린 혼합 문제는 해결했지만 희귀 상태(rare state) 추정 문제는 여전히 남아 있다는 한계를 극복하기 위해, 편향 앙상블(biased ensemble) 생성 후 정확한 재가중(reweighting)으로 평형 통계를 복원하는 enhanced diffusion sampling 프레임워크를 제안하며 UmbrellaDiff, MetaDiff, ΔG-Diff의 세 알고리즘으로 구체화했다. 단백질 폴딩 자유 에너지를 포함한 다양한 시스템에서 GPU 수분~수시간 내에 정확하고 확장 가능한 평형 특성 추정을 달성해 기존 방법 대비 극적인 효율 개선을 입증했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2602.16634v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
완전 이산 조건부 확산 모델에 대한 유한 표본 보장
Finite-Sample Guarantees for Fully Discrete Conditional Diffusion Models
본 연구에서는 데이터로부터 학습(training)되고 유한한 수의 노이즈 제거 단계를 통해 구현되는 조건부 확산 모델(conditional diffusion models)에 대한 유한 표본 보장(finite-sample guarantees)을 정립합니다. 제안하는 접근법은 스코어 학습 목적식을 샘플링 그리드와 일치시켜 통계적 추정 오차와 수치적 이산화 오차를 함께 분석할 수 있도록 합니다. 매끄러운 조건부 밀도 모델 하에서 생성된 분포의 오차에 대한 높은 확률의 한계(high-probability bounds)를 도출하고 필요한 스코어 평가 횟수를 정량화합니다. 모든 매끄러움 지수 $β>0$에 대해, 적절한 그리드는 조기 종료(early stopping) 여부와 관계없이 원래 타깃 대비 $\widetilde O_p(n^{-2β/(d_x+d_y+2β)})$의 평균 조건부 쿨백-라이블러(KL) 발산을 산출합니다. 전체 샘플러와 조기 종료 샘플러 모두 $\widetilde O_p(n^{-β/(d_x+d_y+2β)})$의 평균 타깃 총변동(TV) 오차를 달성합니다. 여기서 $n$은 표본 크기이고, $d_x, d_y$는 데이터 및 조건부 변수의 차원이며, 오차는 조건부 변수에 대해 평균화됩니다. 이 총변동 한계는 로그 인자를 제외하면 기존 조건부 분포 추정 이론에서 확립된 수렴율과 일치합니다.
분포 변화 하에서 확산 모델의 강건성
Robustness of Diffusion Models under Distribution Shift
스코어 기반 확산 모델(score-based diffusion models)은 기저 데이터 분포가 학습(training) 분포와 다를 수 있는 환경에서 점차 많이 고려되고 있으나, 기존의 이론적 보장은 주로 분포 변화가 없는 환경에 초점을 맞추고 있습니다. 본 연구에서는 기준 분포의 바서슈타인 섭동(Wasserstein perturbations) 하에서 강건한 스코어 추정을 연구합니다. 오룬슈타인-울렌벡(Ornstein-Uhlenbeck) 확산에 대해, 강건한 추정이 두 가지 핵심 요소, 즉 기준 분포를 학습하는 데 따르는 통계적 비용과 분포 변화 자체의 본질적 비용으로 분해됨을 보입니다. 후자는 바서슈타인 반경에 대해 2차(quadratically)로 스케일링되며, 이러한 의존성은 미니맥스 최적(minimax optimal)입니다. 우리는 변화 반경을 알지 못하더라도 도출된 강건한 미니맥스 속도를 달성하는 명시적인 유한 표본 추정기를 구성합니다. 기준 분포가 미지의 저차원 부분공간에 놓여 있을 때, 통계적 항은 본질적 차원에 적응하는 반면 변화 비용은 변하지 않은 채 유지됩니다. 마지막으로, 우리는 동일한 분해가 양의 시간 역방향 샘플링(positive-time reverse sampling)에도 적용됨을 보이고 KL 발산에서 일치하는 미니맥스 보장을 도출합니다. 종합적으로, 이러한 결과들은 유한한 데이터, 본질적 차원, 그리고 분포 변화가 스코어 기반 확산 모델의 강건성에 미치는 영향을 규명합니다.
확산 모델과 개념 형성
Diffusion Models and Concept Formation
인간은 중첩된 추상화 수준과 사람들이 최소한의 인지적 노력으로 사물을 인식하고 이름을 붙이는 \emph{기본 수준}(basic level)을 가진 개념 분류 체계로 지식을 구조화합니다. Cobweb은 범주 효용(category utility)을 극대화하여 확률적 개념 계층을 구축하는 점진적 학습자로서 이러한 능력에 대한 고전적인 인지적 설명을 제공합니다. 본 논문에서는 확산 모델(diffusion model)이 이미지 합성을 위해 설계되었음에도 불구하고 암묵적으로 동일한 계산을 수행한다고 주장합니다. 확산 모델의 노이즈 주변 확률 분포(noisy marginals)는 데이터 분포의 가우시안 평활화(Gaussian smoothing)이며, 이러한 주변 확률 분포의 모드(mode)들은 네 가지 측면에서 확률적 프로토타입의 Cobweb 트리와 일치하는 계층을 형성합니다. 두 모델 모두 계층적 밀도 모델이고, 가우시안 프로토타입을 갖는 계층적 베이지안(hierarchical-Bayesian) 모델이며, 범주화를 불확실성을 줄이는 점수 추적(score-following)으로 취급하고, 두 모델 모두에서 기본 수준이 창발적(emergent)으로 나타납니다. 우리는 확산 모델의 이러한 기본 수준을 중간 노이즈 수준에 위치시키며, 최근 분석에 따르면 역과정(reverse process)이 샘플의 클래스 정체성을 확정하는 지점임을 보여줍니다. 두 모델은 주로 분류 체계를 표현하고 학습(training)하는 방식에서 차이를 보입니다. Cobweb은 이산 트리를 점진적으로 학습하는 반면, 확산 모델은 데이터 분포에 적합화된 단일 학습 스코어 필드(score field) 내에 연속적이고 보간 가능한 계층을 인코딩합니다. 우리는 모드 탐색(mode-finding)을 통해 확산 계층을 복원하고 두 모델의 기본 수준을 비교함으로써 MNIST와 Fashion-MNIST에서 이러한 대응 관계를 검증합니다. 이는 확산 모델을 개념 형성의 인지 모델로 재구성하고 Cobweb에 연속적이고 확장 가능한(scalable) 구현체를 제공합니다.
스코어 기반 확산 모델에서 스코어 근사에서 분포 근사로
From Score Approximation to Distribution Approximation in Score-Based Diffusion Models
스코어 기반 확산 모델은 생성 모델링에서 눈에 띄는 실증적 성공을 거두었지만, 근사 이론적 기반은 여전히 불완전하다. 특히, 고전적 범용 근사 정리들이 신경망이 스코어 함수를 근사할 수 있음을 보장하더라도, 그러한 근사 보장이 역확산 과정에 의해 생성되는 확률 분포의 근사로 이어지는지는 여전히 불분명하다. 본 논문에서는 이 두 개념 사이의 엄밀한 정량적 연결을 확립한다. 구체적으로, 신경망이 참 스코어 함수를 충분히 정확하게 근사하면, 해당 역확산 모델에 의해 생성되는 확률 분포가 Kullback-Leibler(KL) 발산 관점에서 목표 데이터 분포에 가깝다는 것을 증명한다. 다만 이는 순방향 확산 과정의 종단 분포와 역과정 초기화에 사용된 사전분포(prior) 사이의 불가피한 불일치까지를 허용한 결과이다. 더 정확히 말하면, 분포 근사 오차에 대한 명시적 상한을 스코어 근사 오차, 확산 노이즈 스케줄, 종단 사전분포 불일치로 표현하여 유도한다. 우리의 분석은 Hornik의 범용 근사 정리, 경로 공간에서의 Girsanov 정리, 상대 엔트로피에 대한 데이터 처리 부등식을 결합한다. 유한 표본 통계적 설정과 데이터 분포에 대한 구조적 가정 하에서 스코어 근사를 연구하는 최근 연구를 보완하여, 본 연구는 고전적 신경망 근사 이론에 기반한 근사 이론적 분석을 전개한다. 그 결과로 얻어진 정리는 스코어 함수에 대한 신경망 근사와 역확산 모델에 의해 생성되는 확률 분포의 근사를 연결하는 단순하고 명시적인 보장을 제공한다.
밀도 행렬 임베딩 프레임워크 내 양자 선택 구성 상호작용을 위한 기계학습 기반 컴팩트 부분공간 생성
Machine-Learned Compact Subspace Generation for Quantum Selected Configuration Interaction within Density Matrix Embedding Framework
확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크
Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework
디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.