리만 다양체에서 기브스 측도의 급속 혼합
Rapid mixing for Gibbs measures in Riemannian manifolds
한국어 초록
리만 다양체 위의 랑주뱅 역학(Langevin dynamics)을 분석합니다. 적절한 대수 소볼레프 부등식(logarithmic Sobolev inequality, 기브스 측도로의 급속 혼합)의 존재를 보장하는 조건을 식별합니다. 이러한 조건은 다양체의 곡률, 역온도, 안장점에서의 탈출 방향을 포함하며, 바렌 고원(barren plateaus)과 허위 국소 최솟값(spurious local minima)을 배제합니다. 이러한 조건이 충족될 때, 다양체의 차원에 대해 다항식적인 혼합 시간(mixing times)을 달성할 수 있음을 보여줍니다. 이 결과는 정의역과 리만 준사상(Riemannian submersion)의 상에서의 랑주뱅 과정 사이의 관계를 통해 얻어집니다. 이러한 관계는 그 자체로도 독립적인 관심사가 될 수 있습니다.
원문 초록
Langevin dynamics on Riemannian manifolds is analyzed. Conditions ensuring the existence of a suitable logarithmic Sobolev inequality (rapid mixing to the Gibbs measure) are identified. These conditions involve the curvature of the manifold, the inverse temperature, escaping directions from saddle points, and exclude barren plateaus and spurious local minima. We show that when these conditions are met, mixing times polynomial in the dimension of the manifold are achievable. This result is obtained through a relation between Langevin processes in the domain and in the image of a Riemannian submersion. Such a relation can be of independent interest.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.13453v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
완화된 확률 제어 문제를 위한 연속 정책 및 가치 반복과 그 수렴성
Continuous Policy and Value Iteration for Relaxed Stochastic Control Problems and Its Convergence
본 논문에서는 랑주뱅(Langevin) 유형의 동역학을 통해 확률 제어 문제의 가치 함수 근사와 최적 제어를 동시에 업데이트하는 연속 정책-가치 반복(continuous policy-value iteration) 알고리즘을 소개합니다. 본 연구는 무한 구간(infinite horizon)을 갖는 엔트로피 정규화된 완화 제어 문제에 초점을 맞춥니다. 해밀토니안(Hamiltonian)의 단조성 조건 하에서 정책 개선을 확립하고 최적 제어로의 수렴(convergence)을 입증합니다. 정책 반복 방향을 따라 연속적인 업데이트를 수행하기 위해 랑주뱅 유형의 확률 미분 방정식을 활용함으로써, 제안하는 접근법은 머신러닝의 분포 샘플링 기법을 사용하여 가치 함수를 최적화하고 최적 제어를 동시에 식별할 수 있도록 합니다. 비오목(non-concave) 보상(reward)을 갖는 LQ 모델(model)과 비대칭 라플라스(skewed-Laplace) 최적 제어를 갖는 비-LQ 예제에 대한 수치 실험 결과를 제시합니다.
일반화된 랑주뱅 역학을 위한 메모리 조건부 확산 모델
Memory-Conditioned Diffusion Model for Generalized Langevin Dynamics
일반화된 랑주뱅 방정식(Generalized Langevin equation)은 분해된 변수(resolved variable)의 진화가 과거에 의존하는 비마르코프 역학(non-Markovian dynamics)을 설명합니다. 본 연구에서는 메모리 커널(memory kernel)을 식별하거나 미분해 변수(unresolved variable)를 재구성하지 않고도, 관측된 궤적으로부터 이러한 역학의 확률적 흐름 맵(stochastic flow map)을 학습하기 위한 메모리 조건부 확산 기법을 제안합니다. 컴팩트하고 재귀적으로 업데이트되는 지수 필터 뱅크(bank of exponential filters)를 통해 흐름 맵은 긴 관측 윈도우에 조건을 부여하지 않고도 여러 시간 척도에 걸쳐 예측 이력을 유지할 수 있습니다. 다음 단계 분포는 현재 관측값과 이 메모리 상태를 조건으로 하며, 고정된 뱅크 크기에서 메모리 상태의 저장 및 업데이트 비용은 이력 길이와 무관합니다. 예측 기준을 통해 메모리 예산을 결정하고 벡터 벤치마크에서는 참조 지원 선택을 활용하며, 선택적 선형 투영을 통해 조건부 차원을 더욱 축소합니다. 커널 기반 스코어 추정기는 스코어 네트워크를 학습(training)시키지 않고도 조건부 샘플을 생성하며, 이 샘플들은 자기회귀 시뮬레이션을 위한 신경 흐름 맵을 학습하는 데 사용됩니다. 세 가지 수치 예제를 통해 작은 조건부 차원에서의 긴 메모리 유지력, 결합된 벡터 역학에서의 예측 압축, 비가우스 조건부 분포 및 간헐적 이벤트를 평가(evaluation)합니다. 비가우스 예제는 플라스마 스크레이프-오프 층(plasma scrape-off layer)의 확률적 모델에서 조건부 비대칭성과 버스트 통계를 재현합니다.
정칙 매개변수 다양체에서의 점근 효율성 이론을 향하여
Toward an Asymptotic Efficiency Theory on Regular Parameter Manifolds
점근 효율성 이론은 현대 수리통계학의 기초를 이루는 핵심 축 중 하나이다. 이 이론은 통계적 방법을 평가하기 위한 엄밀한 이론적 기준을 제공할 뿐만 아니라, 새로운 통계 절차를 개발하고 통합하는 방향을 제시한다. 예를 들어, 영향 함수(influence function)의 미적분학은 지난 수십 년간 많은 중요한 통계적 돌파구로 이어졌다. 점점 더 복잡한 데이터셋, 특히 비유클리드적/비선형 구조를 가진 데이터셋을 분석해야 하는 시급한 과제에 대응하여, 최근 수년간 많은 새로운 통계 모델과 방법이 제안되었다. 그러나 기존의 효율성 이론은 이러한 경우에 항상 바로 적용 가능하지는 않다. 그 이유는 이 이론이 대부분 표본 공간과 매개변수 공간 모두가 노름 선형 공간(normed linear space)이라는, 종종 간과되는 전제 하에 개발되었기 때문이다. 그 결과, 노름 선형 공간 밖에서의 효율성 결과는 매우 드물고 산발적이며, 개별 사례별로 도출되어 왔다. 본 논문은 표본 공간, 매개변수 공간, 또는 양쪽 모두가 특정 정칙 조건을 만족하는 리만 다양체(Riemannian manifold)일 수 있도록 허용하는 보다 통합된 점근 효율성 이론을 개발하는 것을 목표로 한다. 우리는 (국소적으로) 정칙 추정량, 미분 가능 범함수 등 효율성 이론의 핵심 개념들을 노름 선형 공간에서 리만 다양체로 번역하는 데 도움이 되는 어휘 체계를 구축한다. 효율성 한계는 노름 선형 공간에 대한 조건과 평행한 조건 하에서 확립된다. 또한 두 가지 구체적인 통계 예시, 즉 모집단 프레셰 평균(population Fréchet mean)과 단일지표모형(Single-Index Model)의 회귀 계수 벡터에 적용함으로써 새로운 프레임워크의 개념적 이점을 보여준다.
조정되지 않은 Hamiltonian Monte Carlo와 저감쇠 Langevin에서의 바이어스의 비국소화
Delocalization of bias in unadjusted Hamiltonian Monte Carlo and underdamped Langevin
조정되지 않은 Hamiltonian Monte Carlo와 저감쇠 Langevin과 같은 조정되지 않은(unadjusted) 샘플러는 바이어스가 있음이 잘 알려져 있다. Metropolis--Hastings 조정은 전통적으로 Hamiltonian Monte Carlo에 바이어스를 제거하기 위해 통합되어 왔다. 그러나 합리적인 Metropolis 수용률을 위해 필요한 작은 스텝 크기로 인해, 이 조정은 반복 복잡도를 크게 증가시킬 수 있다. 본 연구에서는 과감쇠 Langevin 알고리즘에 대해 이전에 확립된 \emph{바이어스의 비국소화} 현상을 이 두 조정되지 않은 알고리즘으로 확장한다. 변수 간 약한 또는 희소 상호작용을 가정하면, 고차원 분포의 임의의 $K$차원 주변(marginal)에 대한 $W_2$ 바이어스를 제어하기 위해 $\log d$ 항까지 $O(\sqrt{K})$ 적분 단계로 충분함을 보인다. 여기서의 이산 시간 적분기(integrator)는 과감쇠 설정을 넘어서는 기술적 어려움을 야기하며, 이를 전파자(propagator)를 특성화하는 광범위하게 적용 가능한 행렬-다항식(matrix-polynomial) 프레임워크를 통해 해결한다. 저감쇠 Langevin 알고리즘에 대한 우리의 결과는 모든 큰 마찰(friction) 매개변수에 대해 유효하며, 이는 과감쇠 Langevin 역학(dynamics)에 대한 Leimkuhler-Matthews 적분기 역시 바이어스의 비국소화를 나타냄을 시사한다.
비평형 Langevin 컴퓨팅에서의 모멘트 분해 읽기와 리저버 다양성
Moment-Resolved Readout and Reservoir Diversity in Nonequilibrium Langevin Computing
Langevin dynamics 기반 비선형 열역학 컴퓨터는 열적 요동을 계산의 물리적 기질로 활용한다. 최근 연구는 4차 구속된 요동 자유도가 유한 관측 시간에서 비선형 함수 근사가 가능한 열역학 뉴런(thermodynamic neuron)으로 작용할 수 있음을 보여주었다. 여기서 우리는 이 패러다임을 평균만 사용하는 읽기(mean-only readout)에서 모멘트 분해 읽기(moment-resolved readout)로 확장한다. 각 구동 리저버를 첫 번째 모멘트만으로 표현하는 대신, 원소별 원시 다항 모멘트 \(\mathbb{E}[\bm{x}]\), \(\mathbb{E}[\bm{x}^{\odot 2}]\), \(\mathbb{E}[\bm{x}^{\odot 4}]\)로부터 응답 벡터를 구성한다. 이 관측량들은 변위(displacement)와 중심 형상(central-shape) 기여를 결합하며, 국소 구동 역학의 선형, 2차, 4차 항과 자연스럽게 정렬된다. 더 나아가 서로 다른 초기화와 학습 이력을 가진 세 개의 리저버가 공동 \(2304\)차원 응답 표현을 형성하는 이질적 다중-리저버 아키텍처를 도입한다. 고정된 MNIST \(60000/10000\) 재현 프로토콜 하에서, 특징 수준 융합(feature-level fusion)은 관측된 최고 정확도 \(9695/10000=96.95\%\)를 달성했으며, 이는 최강 단일-리저버 모델의 \(9682/10000=96.82\%\), 동일 가중치 로짓 평균의 \(9684/10000=96.84\%\)와 비교된다. 정확한 쌍체 McNemar 검정은 최강 단일 리저버 대비 통계적으로 유의한 개선을 입증하지 못했지만, ablation 및 wrong-set overlap 결과는 상보적인 분류 오류에 대한 시사적 증거를 제공한다. 이 결과는 유한 시간 Langevin 컴퓨팅을 위한 후보 설계 원칙으로서 고차 다항-모멘트 읽기와 리저버 이질성을 제시한다.
Langevin Dynamics로 학습할 때 unsafe 집합 회피
Avoiding unsafe sets when training with Langevin Dynamics
노이즈가 포함된 경사하강법으로 모델을 학습하는 과정은 과감쇠(overdamped) Langevin dynamics로 이상화할 수 있으며, 자연스러운 안전성(safety) 질문은 궤적이 지정된 실패 영역 $\mathcal{A}_H$에 놓일 확률 $ν_t(\mathcal{A}_H) = \mathbb{P}(Q_t \in \mathcal{A}_H)$를 경계(bound)하는 것이다. 우리는 $d$차원에서 매끄럽고 강볼록(strongly convex)한 손실에 대해 이를 연구하며, $\mathcal{A}_H$는 최소화점(minimizer)과 에너지 갭(energy gap)으로 분리되어 있다. 학습 종료 시 평형 질량(equilibrium mass) $π(\mathcal{A}_H)$는 $d$에 대해 지수적으로 작으며, 노이즈가 작을 때는 상보적인 에너지 장벽(energy-barrier) 속도를 따른다. 궤적을 따라 형태에 무관한(shape-free) 경계 $ν_t(\mathcal{A}_H) \le π(\mathcal{A}_H)(1 + \sqrt{χ_0^2/π(\mathcal{A}_H)}\,e^{-mt})$는 집합 내(in-set) 확률이 전역 스펙트럴 갭(global spectral gap) $m$만을 사용하여 차수 $d$의 burn-in 이후 (두 배의) 정적 값으로 완화(relax)됨을 보여준다. 구체적인 Ornstein-Uhlenbeck 예시는 이 burn-in이 필요함을 보여준다. 평형 shell의 각도 슬라이스(angular slice)는 평형 질량이 매우 작음에도 불구하고 $d$에 대해 지수적인 배수만큼 일시적으로 팽창(swell)할 수 있다. 이를 배제하기 위해 Dirichlet-form Rayleigh 몫(quotient)이 아니라 영역의 중심화된(centered) indicator의 스펙트럴 측도(spectral measure)를 통해 정의된 국소 완화율(local relaxation rate)을 도입한다. 기하학적으로 고립된(geometrically isolated) 영역에 대해 이율은 전역 값을 초과하여 burn-in을 줄이며, maximum principle 상한(ceiling)과 함께 시간에 대해 균일하게(uniformly) 궤적 확률의 상한을 설정한다. 강볼록성(strong convexity)은 학습이 얼마나 빠르게 완화되는지를 정하지만, unsafe 집합의 형태는 평형으로 향하는 과정에서 궤적이 그 집합을 통해 부풀어 오르(bulge)는지 여부를 결정한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.