PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27836v3math.ST

Poincar\'e's Inequality on Sliding-Window Occupation Count Kernels and the Optimal Normalized Spectral-Gap Constant

Let $P$ be an irreducible reversible Markov kernel on an $m$-state space $\Omega$, and denote its right spectral gap by $\Gap(P) =1-\lambda_2(P)$. For a stationary trajectory, let $K_t$ be the occupation-count vector of the length-$n$ window beginning at time $t$. The stationary pair $(K_0,K_1)$ defines a reversible projected count kernel $\widetilde P_n$. For each fixed $m\ge2$, define \[ c_m^\star= \inf_{\substack{|\Omega|=m,\ P\ \mathrm{irreducible\ and\ reversible} n\ge2}} \frac{n\Gap(\widetilde P_n)}{\Gap(P)}. \] We prove \[ \frac1{1080m}\le c_m^\star\le q_{m-2}, \qquad q_0=\frac14,\quad q_{r+1}=q_r(1-q_r). \] We also show $q_{m-2}=(m+\log m+O(1))^{-1}$, which implies that $c_m^\star=\Theta(m^{-1})$. Thus, the reciprocal optimal comparison coefficient $C_m^{\mathrm{opt}}=(c_m^\star)^{-1}$ is of the order $m$. In the two-state case, we determine the exact values $c_2^\star=1/4$ and $C_2^{\mathrm{opt}}=4$. %the exact constants for $m\ge3$ remain open. The lower bound also holds for $n=1$ and is uniform in $P$, including sparse and periodic kernels. The proof combines short-window decorrelation with an averaged anchor-excursion decomposition, a Green-kernel hitting estimate, and a stopped Carleson--Hardy inequality. A nested rare-state construction produces finite $m$-state witnesses whose normalized Rayleigh quotients approach $q_{m-2}$ through an ordered sequence of limits. For every fixed finite irreducible reversible aperiodic kernel on at least two states, $\Gap(\widetilde P_n)=\Theta_P(n^{-1})$.

arXiv:2607.22399v1stat.ML

유한 궤적로부터 에르고딕 동역학 시스템 학습

Learning Ergodic Dynamical Systems from a Finite Trajectory

우리는 에르고딕(ergodic) 확률적 동역학 시스템의 단일 유한 궤적로부터 학습하는 문제를 고려한다. 더 구체적으로, 시간 동질(time-homogeneous) 마르코프(Markov) 과정을 정의하는 이산 시간 자율 확률 시스템을 연구한다. 먼저 비선형 최소자승법(nonlinear least squares)으로 최적 1-단계 예측 함수를 추정하고, 과정의 불변 측도(invariant measure)에 대해 측정된 높은 확률 보장(high-probability guarantees)을 도출한다. 이러한 결과는 궤적 데이터의 비독립적·비동일분포적 특성이 고전적 통계적 학습 분석을 어떻게 수정하는지를 명시적으로 보여준다. 그런 다음 이 프레임워크를 고차 시스템과 유한 상태 공간으로 확장한다. 마지막으로, 동일한 최소자승법과 농도(concentration) 논증이 쿠프만 연산자(Koopman operator) 학습으로 자연스럽게 확장됨을 보인다. 우리의 접근법은 통계적 학습 이론과 마르코프 사슬에 대한 정량적 에르고딕 이론의 도구를 결합한다. 특히, 균일 기하학적 에르고딕(uniformly geometrically ergodic) 마르코프 사슬의 힐베르트 공간 값 가법 함수(additive functional)에 대한 농도 부등식(concentration inequality)에 의존한다.

arXiv:2607.14880v1math.ST

Metropolis-Hastings 확산 거리를 통한 공간적 군집 측정

Measuring Spatial Clustering via Metropolis-Hastings Diffusion Distance

그래프 상의 두 확률 분포 $f$와 $g$ 사이의 불일치를 측정하는 새로운 척도를 제안한다. 이를 확산 거리(diffusion distance)라 부르며, 정상 분포가 $g$인 그래프 제약 마르kov 체인 하에서 $f$가 $g$로 수렴하는 속도를 측정한다. 이 마르kov 체인의 기본 선택으로, 그래프 위의 랜덤 워크로 제안을 주고 $g$를 목표로 하는 Metropolis-Hastings 전이 행렬을 사용한다. 관심의 주요 경우는 두 번째 분포 $g$가 균일 분포일 때이며, 이때 확산 거리는 $f$의 공간적 군집을 측정하는 척도가 된다. 이렇게 사용할 때, (Metropolis-Hastings) 균일성에 대한 확산 거리는 단순히 국소적 패턴뿐 아니라 전역 그래프 기하를 반영함으로써 Moran's $I$ 유형의 공간적 자기상관 척도를 확장한다. 실제로 가장 잘 알려진 공간적 자기상관 척도인 Moran's $I$는 특정 공간 가중치를 사용하는 한 확산 거리에 대한 1단계 휴리스틱으로 볼 수 있다. 우리는 이 척도에 대한 이론적 상·하한과 안정성 결과를 정립하며, 이를 그래프 스펙트럼과 최적 수송(optimal transport)에 연결한다. 이어서 확산 거리를 이용한 공간적 군집에 대한 통계적 검정을 개략적으로 제시한다. 순열 null 모델 하에서, 분포 수렴에 대한 정확한 스펙트럼 공식에 기반한 확산 거리의 고확률 상·하한을 도출하여 대규모 데이터셋에서 공간적 군집에 대한 효율적인 통계적 검정을 가능하게 한다. 확산 거리를 Moran's $I$와 수치적 척도 및 통계적 검정 모두의 관점에서 경험적으로 비교한다. 확률적 블록 모델(stochastic block model)을 이용한 합성 데이터에서 확산 거리가 더 높은 검정력을 보임을 보인다. 미국 100개 도시의 흑인 인구 분포에 대한 경험적 분석은 확산 거리가 Moran's $I$가 포착하지 못하는 도시 분리(segregation) 패턴의 미묘한 차이를 탐지함을 보여준다.

arXiv:2607.02800v1cs.LG

유도 헤드는 N-그램을 보간한다

Induction Heads Interpolate N-Grams

유도 헤드(induction heads)는 트랜스포머의 문맥 내 학습(in-context learning)을 뒷받침하는 것으로 여겨지는 어텐션 회로이지만, 이들이 구현하는 추정기에 대한 정확한 특성 규명은 아직 이루어지지 않았다. 우리는 order-$k$ 마르코프 체인으로 학습된 트랜스포머를 연구하고 두 가지 상보적인 스무딩 메커니즘을 규명한다. 첫째, 유한한 어텐션 가중치 스케일에서, 해당 회로는 소프트 컨텍스트 매칭 추정기를 구현한다: 완전 및 부분 컨텍스트 매칭의 기여를 중첩도에 따라 지수적으로 가중하여 집계하며, Jelinek-Mercer 스무딩과 유사하게 데이터 의존적인 컨텍스트 차수 간 보간을 유도한다. 둘째, 시퀀스 시작(BOS) 토큰이 가법적 유사 카운트(pseudo-counts)를 유도하여 디리클레 방식 스무딩을 복원한다. 우리는 두 메커니즘을 모두 구현하는 분리된 트랜스포머를 구성하고, 학습된 트랜스포머가 예측된 어텐션 패턴을 복원함을 보인다. 유사 카운트 스무딩이 최적이거나 저차 컨텍스트가 구조화된 근거를 제공하는 설정에서, 학습된 트랜스포머는 고전적인 카운트 기반 기준선과 동등하거나 이를 능가한다. 우리의 결과는 유도 헤드의 기계적 해석 가능성(mechanistic interpretability)을 고전적 통계 스무딩과 연결하며, 트랜스포머가 단순히 카운팅하는 것이 아니라 문맥 내 추정을 정규화하도록 학습됨을 밝힌다.

arXiv:2606.19859v1cs.IT

Doeblin 곡선

Doeblin Curves

Doeblin 계수에 대한 최근 연구는 마르코프 연쇄 에르고딕성 이론에서의 고전적인 역할과는 별개로, 총 변동 거리(TV distance)에 대한 Dobrushin 수축 계수의 다방향 일반화로서의 유용성을 조명했습니다. 그러나 Doeblin 계수가 정보 수축의 존재를 확립하기 위해서는 0에서 떨어져 유계라는 것과 같은 강한 조건이 일반적으로 필요합니다. 최근 정립된 비선형 정보 수축 개념을 기반으로, Doeblin 계수가 0인 채널에 대해서도 공허하지 않은 수축 보장을 제공하는 다방향 수축 거동에 대한 더 세밀한 Doeblin 기반 특성화를 제안하고자 합니다. 이를 위해 Doeblin 곡선의 개념을 도입합니다. 이는 특정 수준의 발산(divergence)과 파워(power)에서 입력 분포 집합에 대한 마르코프 커널의 수축 거동을 정량화하는 비선형 함수입니다. 분석 과정에서 우리는 Doeblin 계수에 대한 새로운 변분적 특성화를 개발하고, Doeblin 곡선의 여러 속성을 제시하며, 파워 제약(power-constrained) Doeblin 곡선의 여러 버전을 정의하고, 앞서 언급한 변분적 특성화를 사용하여 상한과 하한을 도출합니다. 그 후, 노이즈가 있는 반복 최적화에 대한 일반화 경계, 노이즈가 있는 회로를 이용한 신뢰할 수 있는 계산에 대한 오차 경계, 온라인 반복 알고리즘에 대한 차분 프라이버시(differential privacy) 보장 등 다양한 영역에 이러한 결과를 활용합니다. 특히, Doeblin 곡선을 활용하여 Doeblin 계수보다 더 세밀한 수축 현상을 규명함으로써, 해당 영역의 결과를 더 넓은 영역이나 그룹 설정으로 확장합니다.

arXiv:2606.11487v1math.ST

파라미터화된 마르코프 연쇄의 정상 평균에 대한 무편향 도함수 추정

Unbiased Derivative Estimation for Stationary Mean of Parameterized Markov chains

파라미터화된 마르코프 연쇄 계열과 관련된 정상 평균들의 그래디언트(gradient)에 대한 무편향 추정을 위한 새로운 접근법을 제안합니다. 우리의 추정기는 마르코프 연쇄의 혼합 속도(mixing rate)가 느릴 때 특히 효율적입니다. 우리의 접근법은 주어진 데이터 점에서 천이 밀도(transition density)와 그 그래디언트(gradient)를 평가할 수 있는 오라클(oracle) 외에는 특정한 파라미터화를 요구하지 않으며, 밀도 함수 자체에 대한 추가적인 지식은 필요하지 않습니다. 이는 우리의 추정기를 신경망(neural network)과 관련된 파라미터화에 적합하게 만듭니다. 해당 추정기는 효율성 측면에서 큰 개선을 달성할 잠재력이 있습니다. 수치 실험을 통해 이론적으로 예측된 우수한 성능이 확인되었습니다.