arXiv:2607.15682v3 cs.LG

보정된 볼츠만 샘플링을 위한 신경 비평형 해밀토니안 몬테카를로

Neural Non-Equilibrium Hamiltonian Monte Carlo for Corrected Boltzmann Sampling

Moxian Qian

제출 2026-07-17

저자 비고

arXiv Comments

65 pages, 30 figures, including appendices

한국어 초록

학습된 동역학적 제안(dynamical proposal)은 다루기 쉬운 종점 밀도(endpoint density)를 제공하지 않고도 구성을 생성할 수 있습니다. 비평형 경로 확률은 이러한 제안을 보정하는 방법을 제공하지만, 보정 자체만으로는 분리된 영역들을 연결하는 능력을 결정짓지 못합니다. 우리는 조건부 모멘텀(momentum) 분포를 가역적이고 부피를 보존하는 동역학에 결합한 신경 비평형 해밀토니안 몬테카를로(Neural Non-Equilibrium Hamiltonian Monte Carlo, NHMC)를 소개합니다. 순방향-역방향 경로 비율은 학습(training), 중요도 가중치 부여, 정규화 상수 추정, 그리고 메트로폴리스 보정에 사용되는 일(work)을 제공합니다. 그런 다음 역방향 및 순방향 경로가 중간 구성을 공유하는 구성 공간 왕복 커널(kernel)을 구축합니다. 해당 구성에 조건화되었을 때, 이 커널의 경로 기록 업데이트는 독립 메트로폴리스-헤이스팅스(independence Metropolis–Hastings)가 됩니다. 우리는 이의 정상 상태 영역 간 흐름(inter-region flow)을 정확한 조건부 매칭 하에서 얻은 흐름과 비교하고, 그 차이를 조건부 경로 불일치로 경계를 설정(bound)합니다. 이는 조건부 제안의 오류를 종점 영역과 중간 구성 간의 의존성으로부터 분리합니다. 다중 우물(many-well) 실험을 통해 정규화 상수와 모드 확률을 테스트하며, 통제된 격자 $φ^4$ 실험은 섹터 간 흐름을 섹터 완화와 연관시킵니다. 2차원 $U(1)$, $\mathrm{SU}(2)$, $\mathrm{SU}(3)$ 실험에서는 해석적 힘 및 학습된 힘을 가진 경로를 포함하여 구조화된 참조를 공유하는 네 가지 제안 구성을 비교합니다.

원문 초록

Learned dynamical proposals can generate configurations without providing a tractable endpoint density. Nonequilibrium path probabilities offer a way to correct such proposals, but correction alone does not determine their ability to connect separated regions. We introduce Neural Non-Equilibrium Hamiltonian Monte Carlo (NHMC), which combines conditional momentum distributions with reversible, volume-preserving dynamics. The forward--reverse path ratio gives the work used for training, importance weighting, normalizer estimation, and Metropolis correction. We then construct a configuration-space round-trip kernel whose reverse and forward paths share an intermediate configuration. Conditional on that configuration, its path-record update is independence Metropolis--Hastings. We compare its stationary inter-region flow with the flow obtained under exact conditional matching and bound their difference by the conditional path mismatch. This separates errors in the conditional proposal from dependence between the endpoint region and the intermediate configuration. Many-well experiments test normalizers and mode probabilities; a controlled lattice $φ^4$ experiment relates inter-sector flow to sector relaxation. Two-dimensional $U(1)$, $\mathrm{SU}(2)$, and $\mathrm{SU}(3)$ experiments compare four proposal constructions sharing a structured reference, including paths with analytic and learned forces.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.15682v3
  2. arXiv:2607.15682v2제출 시각 미확인
  3. arXiv:2607.15682v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13397v1stat.ML공통 태그 Bayesian Inference, Density Estimation

모델 프리 베이지안 클러스터링 및 다봉 사후분포 요약

Model-free Bayesian Clustering and Multimodal Posterior Summarisation

본 논문에서는 예측 베이지안(predictive Bayesian) 관점에서 클러스터링에 대한 마팅게일 사후분포(martingale posterior)를 구성하는 모델 프리(model-free) 노이즈 인식 베이지안 클러스터링 프레임워크를 개발합니다. 이 방법은 명시적인 가능도(likelihood)-사전분포 모델 명시, 비용이 큰 MCMC 샘플링, 모드 탐색적 변분 근사를 피하는 동시에 불규칙한 클러스터 형태를 수용하고 사후분포 표본의 병렬 생성을 가능하게 합니다. 고차원 노이즈 인식 클러스터링에 대한 사후분포를 해석하기 위해 와서스테인(Wasserstein) 유형의 요약 방법을 도입합니다. 새로운 노이즈 인식 손실(loss)을 활용하여 대규모 사후분포 표본 집합을 소수의 가중치 기반 대표 집합으로 압축함으로써 서로 다른 클러스터 구조와 노이즈 할당을 포착합니다. 또한 밀도 수준의 불확실성을 주변화(marginalize)하여 특정 선택에 의존하지 않도록 합니다. 제안된 손실의 이론적 성질과 수준 주변화 사후분포 근사에 대한 보장을 규명합니다. 실험 결과는 클러스터링 및 노이즈 불확실성을 포착하는 데 있어 본 프레임워크의 효과성을 입증합니다.

arXiv:2609.13047v2cs.AI공통 태그 Bayesian Inference, Density Estimation

확산 모델과 개념 형성

Diffusion Models and Concept Formation

인간은 중첩된 추상화 수준과 사람들이 최소한의 인지적 노력으로 사물을 인식하고 이름을 붙이는 \emph{기본 수준}(basic level)을 가진 개념 분류 체계로 지식을 구조화합니다. Cobweb은 범주 효용(category utility)을 극대화하여 확률적 개념 계층을 구축하는 점진적 학습자로서 이러한 능력에 대한 고전적인 인지적 설명을 제공합니다. 본 논문에서는 확산 모델(diffusion model)이 이미지 합성을 위해 설계되었음에도 불구하고 암묵적으로 동일한 계산을 수행한다고 주장합니다. 확산 모델의 노이즈 주변 확률 분포(noisy marginals)는 데이터 분포의 가우시안 평활화(Gaussian smoothing)이며, 이러한 주변 확률 분포의 모드(mode)들은 네 가지 측면에서 확률적 프로토타입의 Cobweb 트리와 일치하는 계층을 형성합니다. 두 모델 모두 계층적 밀도 모델이고, 가우시안 프로토타입을 갖는 계층적 베이지안(hierarchical-Bayesian) 모델이며, 범주화를 불확실성을 줄이는 점수 추적(score-following)으로 취급하고, 두 모델 모두에서 기본 수준이 창발적(emergent)으로 나타납니다. 우리는 확산 모델의 이러한 기본 수준을 중간 노이즈 수준에 위치시키며, 최근 분석에 따르면 역과정(reverse process)이 샘플의 클래스 정체성을 확정하는 지점임을 보여줍니다. 두 모델은 주로 분류 체계를 표현하고 학습(training)하는 방식에서 차이를 보입니다. Cobweb은 이산 트리를 점진적으로 학습하는 반면, 확산 모델은 데이터 분포에 적합화된 단일 학습 스코어 필드(score field) 내에 연속적이고 보간 가능한 계층을 인코딩합니다. 우리는 모드 탐색(mode-finding)을 통해 확산 계층을 복원하고 두 모델의 기본 수준을 비교함으로써 MNIST와 Fashion-MNIST에서 이러한 대응 관계를 검증합니다. 이는 확산 모델을 개념 형성의 인지 모델로 재구성하고 Cobweb에 연속적이고 확장 가능한(scalable) 구현체를 제공합니다.

arXiv:2607.11631v2stat.CO공통 태그 Bayesian Inference, Density Estimation

확산 경로를 이용한 마르코프 연쇄 몬테카를로

Markov Chain Monte Carlo with Diffusion Paths

다중 모드 분포(multimodal distribution)로부터의 샘플링은 고전적인 로컬 마르코프 연쇄 몬테카를로(MCMC) 방법에서 오랜 난제였다. 널리 쓰이는 해결책은 목표 분포와 더 단순한 참조 분포 사이를 보간하는 중간 분포 시퀀스를 도입하는 것이다. 고전적인 방법인 템퍼링(tempering)은 밀도를 거듭제곱으로 올리지만, 비대칭 모드들의 상대적 가중치를 왜곡하고 혼합 성능을 저하시킬 수 있다. 이에 대한 대안으로, 우리는 목표 분포를 가우시안으로 이끄는 노이징 확산 과정의 주변 분포인 확산 경로(diffusion path)를 따라 보간하는 방법을 제안한다. 이 경로는 모드들의 상대적 가중치를 보존하며 유리한 혼합 특성을 지니는데, 이를 대응하는 이상적인 전이 커널의 스펙트럴 갭(spectral-gap) 분석을 통해 엄밀히 밝힌다. 경로를 따른 샘플링에는 중간 스코어(intermediate score)가 필요하며, 이는 비정규화 목표 분포로부터 변분적(variational) 접근법을 통해 추정할 수 있어 근사 샘플러만 얻어진다. 이로 인한 바이어스를 제거하기 위해, 우리는 메트로폴리스-보정 확산 경로(MAD-Path) 샘플러를 도입한다. 이 샘플러는 증강된 경로 공간(augmented path space)에서 확산 경로 제안을 보정하며, 학습된 스코어의 정확도나 이산화 오류와 무관하게 목표 분포를 불변으로 유지한다. 또한 이 두 오류가 수락 확률에 미치는 영향을 정량화하여 실용적인 튜닝을 위한 지침을 제공한다. 다양한 베이지안 사후 분포(Bayesian posterior)에 대한 실험에서 MAD-Path는 템퍼링 기반 MCMC 방법 및 비보정 확산 샘플러에 비해 전역 탐험과 모드 가중치 추정을 개선함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.