Wasserstein 공간에서 매끄럽게 변하는 분포에 대한 시간-공간 미니맥스 속도
A Temporal Spatial Minimax Rate for Smoothly-Varying Distributions in Wasserstein Space
한국어 초록
우리는 $2$-Wasserstein 공간 $\mathcal{P}_2(\mathbb{R}^d)$에서 곡선 $t\mapstoμ_t$의 미래 값 $μ_{t_n+h}$를, 과거의 유한한 수의 노이즈가 있는 스냅샷으로부터 추정하는 미니맥스 속도를 연구한다. 여기서 속도장의 $k$번째 공변 도함수에 아디아바틱(adiabatic) 경계 $\|\nabla_t^k v\|\le\varepsilon$가 가정된다. 핵심 결과는 통합된 시간-공간 미니맥스 하한이다: 정칙(regular)하고 국소적으로 수송이 풍부한(transport-rich) 부분군에 대해, 모든 추정량은 $M$ 지수 $γ_d(k+1)/(k+1+γ_d)$를 갖는 $W_2$ 위험을 부담한다. 여기서 $γ_d=\min(1/d,1/2)$이며 $M$은 총 표본 크기이다. 이는 시간에서 공간으로의 축약(temporal-to-spatial reduction)에서 따른다: 매끄러움 예산(smoothness budget)이 도달 가능한 $W_2$-볼을 정의하며, 여기에 수송 패킹(transport packing)이 시간 축을 따라 임베딩(embedding)된다. 전체 스냅샷 실험의 정보는 Fano 논증으로 제어된다. 공간 패킹은 고전적이지만, 매끄러움 허용(smoothness-admissible) 시간 임베딩과 전체 윈도우 분석은 새로운 것이다. 이 경계는 차원 무관(dimension-free) 외삽 하한(extrapolation floor) $\varepsilon h^{k+1}$ 차수와 공간 추정의 저주 $M^{-γ_d}$ 사이를 보간한다. 전자는 관측되지 않은 미래의 환원 불가능한 비용으로, 정확한 과거가 있어도 존재한다. $k\to\infty$일 때 정적 분포 추정 속도를 복원한다. 우리는 임의의 관측 시각에 유효한, 설계 가중 유효 표본 크기(design-weighted effective sample size)를 갖는 설계 의존적 형태로 하한을 제시하고, 조밀한(등간격) 체제에서 폐형 지수(closed-form exponent)를 얻는다. 대응하는 상한은 $k=0$에서 (속도 $M^{-1/(d+1)}$, $d\ge3$) 그리고 평행이동 부분모형(translation submodel)에서 모든 $k$에 대해 확립된다. $k\ge1$의 경우 공변 추정량이 두 추정(비교 기하학 바이어스 경계와 최적 수송 맵 추정 속도)에 조건부로 속도를 달성하며, 무조건적 일반 $k$ 상한은 미해결 문제로 남는다. 합성 곡선(curved) 및 평탄(flat) 패밀리에 대한 수치 실험이 예측된 지수를 뒷받침한다.
원문 초록
We study the minimax rate of estimating a future value $μ_{t_n+h}$ of a curve $t\mapstoμ_t$ in the $2$-Wasserstein space $\mathcal{P}_2(\mathbb{R}^d)$ from finitely many noisy snapshots of its past, under an adiabatic bound $\|\nabla_t^k v\|\le\varepsilon$ on the $k$-th covariant derivative of the velocity field. Our central result is a unified temporal-spatial minimax lower bound: over regular, locally transport-rich subclasses, every estimator incurs $W_2$-risk with $M$-exponent $γ_d(k+1)/(k+1+γ_d)$, $γ_d=\min(1/d,1/2)$ ($M$ the total sample size). It follows from a temporal-to-spatial reduction: the smoothness budget defines a reachable $W_2$-ball into which a transport packing is embedded along the time axis, and the information of the entire snapshot experiment is controlled by a Fano argument -- the spatial packing is classical, but its smoothness-admissible temporal embedding and the full-window analysis are new. The bound interpolates a dimension-free extrapolation floor of order $\varepsilon h^{k+1}$ -- the irreducible cost of an unobserved future, present even with the exact past -- and the spatial estimation curse $M^{-γ_d}$, recovering the static distribution-estimation rate as $k\to\infty$. We state the lower bound in a design-dependent form -- with a design-weighted effective sample size -- valid for arbitrary observation times, and obtain the closed-form exponent in the dense (equispaced) regime. The matching upper bound is established at $k=0$ (rate $M^{-1/(d+1)}$, $d\ge3$) and, in a translation submodel, for all $k$; for $k\ge1$ a covariant estimator attains the rate conditionally on two estimates (a comparison-geometry bias bound and an optimal-transport map-estimation rate), leaving the unconditional general-$k$ upper bound as an open problem. Numerical experiments on synthetic curved and flat families corroborate the predicted exponents.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.07325v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가?
When are bosonic Gaussian states classical to learn?
물리학의 근본적인 질문 중 하나는 양자계에서 고전적 거동이 언제 나타나는가이다. 보손 가우시안 상태(bosonic Gaussian state)는 빛의 고전적 장(field) 거동과 본질적인 양자적 성질을 모두 포착하므로, 이러한 양자-고전 경계를 탐구하기에 자연스러운 환경을 제공한다. 본 연구에서는 학습 이론의 관점에서 이 문제를 다루며 다음과 같이 묻는다. 보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가? 즉, n-모드 보손 가우시안 상태를 고전적인 2n변량 가우시안 분포를 학습할 때 필요한 만큼 적은 샘플과 그만큼 단순한 연산으로 학습할 수 있는 조건은 (있다면) 무엇인가? 우리는 상태의 열적 요동(thermal fluctuation)에 의해 결정되는 학습 가능성의 매끄러운 크로스오버를 규명한다. - 차가운 가우시안 상태는 학습 측면에서 비고전적이다. 공분산 행렬이 $\Sigma\le(\frac12+O(\frac1n))I$를 만족하여 진공 공분산에 가까운 경우, 단일 복사본(single-copy, 즉 얽힘이 없는) 측정 하의 토모그래피(tomography)는 근본적으로 $\Omega(n^3)$개의 복사본을 필요로 하며, 이는 고전적 가우시안 분포를 학습하는 샘플 복잡도 $\Theta(n^2)$를 엄밀하게 초과한다. 우리는 소수 복사본에 대한 얽힘 측정이 허용되더라도 이러한 어려움이 지속됨을 보인다. - 따뜻한 가우시안 상태는 학습 측면에서 고전적이다. 열적 요동이 진공 잡음을 초과하여 임의의 매개변수 $\nu>0$에 대해 $\Sigma\ge(\frac12+\nu)I$로 나타내지는 경우, 단일 복사본 토모그래피에는 $N=\Theta\left(n^2\min(n,1+\nu^{-1})\right)$개의 복사본이 필요함을 증명한다. 이 한계는 타이트(tight)하며, 단순하고 비적응적(non-adaptive)이며 얽힘이 없는 헤테로다인(heterodyne) 측정으로 달성된다. 특히 $\nu=\Omega(1)$인 경우 샘플 복잡도는 $\Theta(n^2)$로 줄어들어 고전적인 경우와 일치한다. 우리의 결과는 보손 가우시안 상태의 학습 가능성에서 나타나는 양자-고전 크로스오버를 엄밀하게 규명하고, 근본 물리학과 통계적 학습 이론 사이의 새로운 연결고리를 드러내며, 실제 센싱 실험에도 시사점을 가진다.
연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계
Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity
AIS 데이터를 활용한 트랜스포머 모델 기반 확률적 선박 궤적 예측
Probabilistic Ship Trajectory Forecasting using Transformer Models on AIS Data
선박 궤적 예측은 해상 항해 시 필수적인 작업입니다. 이는 인간 항해사와 무인 수상정(autonomous surface vessel) 모두에 적용됩니다. 궤적 예측을 통해 충돌 회피와 같은 서브루틴이 상황을 파악하고 제때 적절히 대응할 수 있습니다. 본 논문에서는 협수로에서 수상정의 궤적 예측을 위한 트랜스포머(Transformer) 및 퍼포머(Performer) 모델을 연구합니다. 널리 활용되는 선박 자동 식별 장치(AIS)의 위치 데이터를 사용하여 후보 모델들을 학습(training)하고 평가(evaluation)합니다. 각 에이전트(agent) 주변 국소 영역에서 다른 선박들이 어떻게 이동했는지에 대한 과거 정보는 위치 히트맵을 통해 전달됩니다. 이 히트맵은 커널 밀도 추정(KDE)을 사용하여 생성되며, 트랜스포머 모델에 입력되기 전에 합성곱 신경망(CNN)으로 인코딩됩니다. 시의적절한 충돌 회피에 결정적인 모델 인식 예측 구간(prediction interval)을 효율적으로 도출하기 위해 모델은 분위수 손실(quantile loss)로 학습됩니다. 제안된 모델 구조는 이전 연구보다 크게 뛰어난 성능을 보이는 것으로 나타났으며, 국소 히트맵을 포함함으로써 이전 위치 정보만으로는 알 수 없는 선박의 움직임을 예측할 수 있게 됩니다.
볼록 영역에서의 일반화된 점수 매칭
Generalised Score Matching on Convex Domains
점수 매칭(score matching)은 최대가능도 추정(maximum-likelihood estimation)에서 요구하는 정규화 상수 계산을 회피합니다. 제약이 있는 영역(constrained domains)에서는 일반화된 점수 매칭 변형들이 경계 조건 항이 사라지도록 피셔 발산(Fisher divergence)에 가중치를 부여합니다. 본 연구에서는 이웃 영역의 기하학적 구조가 가중치를 결정하는 최소 확률 흐름(minimum probability flow)의 작은 이웃 극한(small-neighbourhood limit)으로서 $\mathbb{R}^{d}$의 열린 볼록 부분집합(open convex subsets)에 대한 일반화된 점수 매칭을 유도합니다. $\mathbb{R}^{d}$에서의 고전적 점수 매칭 및 $\mathbb{R}_{+}^{d}$의 음이 아닌 데이터에 대한 변형들의 가중치를 포함하여, 모든 $C^{2}$ 양의 정부호(positive definite) 가중치가 이러한 방식으로 발생합니다. 지수족(exponential families)에 대해, 우리는 표준적인 볼록성(convexity), 일치성(consistency) 및 점근적 정규성(asymptotic normality) 결과를 이러한 모든 가중치로 확장하고, 특정 경계 조건 하에서 추정량이 참 매개변수로 수렴함을 보여줍니다. 다포체(polytope) 상의 절단 정규분포(truncated Gaussian)와 심플렉스(simplex) 상의 디리클레 분포(Dirichlet distribution)에 대해, 제안된 추정량들은 50개의 실측(ground-truth) 설정 중 최소 42개에서 비교된 모든 방법 중 가장 낮은 중앙값 오차를 달성합니다.
분포 변화 하에서 확산 모델의 강건성
Robustness of Diffusion Models under Distribution Shift
스코어 기반 확산 모델(score-based diffusion models)은 기저 데이터 분포가 학습(training) 분포와 다를 수 있는 환경에서 점차 많이 고려되고 있으나, 기존의 이론적 보장은 주로 분포 변화가 없는 환경에 초점을 맞추고 있습니다. 본 연구에서는 기준 분포의 바서슈타인 섭동(Wasserstein perturbations) 하에서 강건한 스코어 추정을 연구합니다. 오룬슈타인-울렌벡(Ornstein-Uhlenbeck) 확산에 대해, 강건한 추정이 두 가지 핵심 요소, 즉 기준 분포를 학습하는 데 따르는 통계적 비용과 분포 변화 자체의 본질적 비용으로 분해됨을 보입니다. 후자는 바서슈타인 반경에 대해 2차(quadratically)로 스케일링되며, 이러한 의존성은 미니맥스 최적(minimax optimal)입니다. 우리는 변화 반경을 알지 못하더라도 도출된 강건한 미니맥스 속도를 달성하는 명시적인 유한 표본 추정기를 구성합니다. 기준 분포가 미지의 저차원 부분공간에 놓여 있을 때, 통계적 항은 본질적 차원에 적응하는 반면 변화 비용은 변하지 않은 채 유지됩니다. 마지막으로, 우리는 동일한 분해가 양의 시간 역방향 샘플링(positive-time reverse sampling)에도 적용됨을 보이고 KL 발산에서 일치하는 미니맥스 보장을 도출합니다. 종합적으로, 이러한 결과들은 유한한 데이터, 본질적 차원, 그리고 분포 변화가 스코어 기반 확산 모델의 강건성에 미치는 영향을 규명합니다.
일반화된 랑주뱅 역학을 위한 메모리 조건부 확산 모델
Memory-Conditioned Diffusion Model for Generalized Langevin Dynamics
일반화된 랑주뱅 방정식(Generalized Langevin equation)은 분해된 변수(resolved variable)의 진화가 과거에 의존하는 비마르코프 역학(non-Markovian dynamics)을 설명합니다. 본 연구에서는 메모리 커널(memory kernel)을 식별하거나 미분해 변수(unresolved variable)를 재구성하지 않고도, 관측된 궤적으로부터 이러한 역학의 확률적 흐름 맵(stochastic flow map)을 학습하기 위한 메모리 조건부 확산 기법을 제안합니다. 컴팩트하고 재귀적으로 업데이트되는 지수 필터 뱅크(bank of exponential filters)를 통해 흐름 맵은 긴 관측 윈도우에 조건을 부여하지 않고도 여러 시간 척도에 걸쳐 예측 이력을 유지할 수 있습니다. 다음 단계 분포는 현재 관측값과 이 메모리 상태를 조건으로 하며, 고정된 뱅크 크기에서 메모리 상태의 저장 및 업데이트 비용은 이력 길이와 무관합니다. 예측 기준을 통해 메모리 예산을 결정하고 벡터 벤치마크에서는 참조 지원 선택을 활용하며, 선택적 선형 투영을 통해 조건부 차원을 더욱 축소합니다. 커널 기반 스코어 추정기는 스코어 네트워크를 학습(training)시키지 않고도 조건부 샘플을 생성하며, 이 샘플들은 자기회귀 시뮬레이션을 위한 신경 흐름 맵을 학습하는 데 사용됩니다. 세 가지 수치 예제를 통해 작은 조건부 차원에서의 긴 메모리 유지력, 결합된 벡터 역학에서의 예측 압축, 비가우스 조건부 분포 및 간헐적 이벤트를 평가(evaluation)합니다. 비가우스 예제는 플라스마 스크레이프-오프 층(plasma scrape-off layer)의 확률적 모델에서 조건부 비대칭성과 버스트 통계를 재현합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.