Transformers integrate information from multiple past positions through sparse attention patterns that copy from specific locations. We study how these patterns form during training in a high-order Markov-chain setting, where the next token depends on several groups of past positions with differing statistical importance. Learning proceeds in discrete stages, each marked by the emergence of a sparse attention pattern for the next most important group. The dynamics are initially competitive, with all attention heads focusing on the dominant pattern, but later become cooperative, with different heads specializing in distinct patterns. For a tractable surrogate, the dynamics reduce to those of a tensor factorization problem, enabling us to prove stagewise convergence. Empirically, the number of stages completed depends on training set size, suggesting a form of implicit complexity control through early stopping. Overall, we give a theoretical account of how structured attention patterns and head specialization emerge without an explicit curriculum.
본 논문에서는 최대 평균 불일치(MMD)라고도 불리는 양의 정부호 커널과 연관된 힐베르트 임베딩에 의해 유도된 기하에서 마르코프 연쇄(Markov chain)의 수렴을 연구합니다. 커널 유도 기하에서의 수축 가정과 표준 스펙트럼 갭 가정을 바탕으로, 경험적 점유 측도가 불변 측도로 수렴하는 것에 대한 비점근적 고확률 경계를 확립합니다. 도출된 경계는 두 조건의 역할을 분리합니다. 스펙트럼 갭은 주요 항의 유효 표본 크기를 결정하는 반면, 커널 수축은 선형 보정을 통해서만 반영됩니다. 응용 사례로서, 단일 궤적으로부터 동적 시스템의 1단계 예측을 연구하고 비선형 최소제곱 추정기에 대한 빠른 학습률을 유도합니다. 이 비율은 커널 유도 기하에서의 혼합 특성과 최소제곱 분석에 사용되는 고전적인 소스 및 용량 조건 간의 상호작용을 강조합니다.
본 논문에서는 외생적 균일 에르고딕 마르코프 연쇄(uniformly ergodic Markov chain)에 의해 생성되는 유계 가산 잡음(bounded additive noise)을 갖는 상수 스텝사이즈 SGD의 불변 법칙에 대해 샤프(sharp) 가우스 근사를 증명합니다. 립시츠 헤시안(Lipschitz Hessian)과 비퇴화 장기 잡음 공분산을 갖는 매끄럽고 강볼록(strongly convex)인 목적 함수에 대해, 스텝사이즈의 제곱근으로 정규화된 중심화 반복해는 1-바서슈타인 거리(1-Wasserstein distance)에서 극한 가우스 분포와 $O(\sqrtα)$만큼 가깝습니다. 이 증명은 블록 단위 가우스 비교와 장기 수축(long-run contraction)을 결합합니다. 일회성 잡음 주변 분포가 대칭이고 모든 0이 아닌 지연의 자기공분산이 소멸함에도 불구하고, 4상태 예제는 일치하는 하한을 제공합니다. 이 예제에서는 인접한 3차 혼합 모멘트가 주요 보정을 생성합니다.
우리는 매개변수 추정, 개인화된 선택 예측 및 개인화된 구색 최적화를 포함하는 패널 데이터를 활용한 마르코프 연쇄(MC) 선택 모델 프레임워크를 제안한다. 각 거래가 확률 효용 모델로부터 독립적으로 추출된다고 가정하는 전통적인 설정과 달리, 우리의 프레임워크는 이력 데이터에서 동일 고객의 거래들 간의 의존성을 부분 순서 선호 정보로 포착하여 반영한다. 저자들이 아는 한, 본 프레임워크는 MC 하에서 패널 데이터를 활용한 선택 모델링 연구를 최초로 시작한다. 주요 결과로서, 우리는 부분 순서 기반 고객 선호 정보를 통합하여 MC 매개변수 추정을 위한 새로운 기댓값 최대화(EM) 알고리즘을 제안한다. 합성 데이터셋과 sushi 데이터셋에서, 우리의 EM 알고리즘은 Simsek and Topaloglu(Operations Research, 66, 2018)의 전통적인 EM 알고리즘과 Jagabathula and Vulcano(Management Science, 64, 2018)에서 응용한 다항 로짓 기반 부분 순서 벤치마크를 능가한다. 부차적인 기여로서, 조건부 선택 예측 및 구색 최적화 문제에 대한 계산 복잡도 및 계산 결과를 제시한다. 이러한 결과들은 우리의 추정 프레임워크를 보완하고, 독립적인 관심사가 될 수 있는 조건부 선택 및 구색 최적화의 계산적 지형을 명확히 한다.
비정상(nonstationary) 또는 이력 의존(history-dependent) 행동 정책이 있는 유한 제어 마르코프 체인(CMC)의 전이 커널에 대한 모델 기반 부트스트랩을 제안하며, 부트스트랩 대수의 법칙과 마팅게일 중심극한정리를 핵심 도구로 활용해 분포 일관성을 이론적으로 확립한다. 벨만 연산자의 아다마르 미분가능성 검증을 통해 오프라인 정책 평가(OPE) 및 최적 정책 복원(OPR)까지 이를 확장하였으며, RiverSwim 실험에서 제안된 백분위수 신뢰 구간이 기존 방법 대비 공칭 커버리지에 근접함을 보였다.
볼록 집합과 성형 집합(star-shaped bodies)을 넘어 임의의 컴팩트 비볼록 집합에서의 균등 샘플링 문제를 다루며, 등주 조건(isoperimetry)과 체적 증가 조건(volume growth condition) 하에서 In-and-Out 알고리즘이 차원 및 푸앵카레 상수에 대해 다항식 복잡도를 가짐을 증명한다. 이 결과는 볼록 집합에 대한 기존 이론을 포함하면서 성형 집합의 오차 보장도 Rényi 발산 기준으로 개선한 공통 일반화를 제공한다.
The number of trees is a central computational parameter in Random Forests: increasing it reduces finite-ensemble variability but increases training and prediction cost. Plateau-based tuning adapts this parameter through local comparisons of out-of-bag scores at a geometric triplet of tree counts. After the remaining hyperparameters have stabilized, however, the central triplet point need not converge to a deterministic value; instead, it fluctuates around a stationary regime. This paper develops a stationary-distribution theory for this process. The central ensemble size $B_t$ is modeled as a birth-death Markov chain on a geometric grid, and its stationary distribution is derived through local balance. Under a leading centered folded-normal approximation, equilibrium equations are obtained for the original update rule and a symmetric modified variant, implying that the stationary center $B_*=O(\varepsilon^{-2})$ as $\varepsilon\downarrow 0$. The stationary spread is also characterized. A local Gaussian approximation and a Fokker-Planck interpretation give grid-level variance constants. After conversion to the ensemble-size scale, $σ_{B,*}=O(\varepsilon^{-2})$, while the variance is $O(\varepsilon^{-4})$. The leading relative spread is independent of $\varepsilon$ and controlled by the scale factor and update rule. These results interpret plateau-based Random Forest tuning as a stochastic process rather than a deterministic stopping rule.
The integration of Formal Verification tools with Large Language Models (LLMs) offers a path to scale software verification beyond manual workflows. However, current methods remain unreliable: without a solid theoretical footing, the refinement process acts as a black box that may oscillate, loop, or diverge. This work bridges this critical gap by developing an LLM-Verifier Convergence Theorem, providing the first formal framework with provable guarantees for termination in multi-stage verification pipelines. We model the interaction not as a generic loop, but as a sequential absorbing Markov Chain comprising four essential engineering stages: \texttt{CodeGen}, \texttt{Compilation}, \texttt{InvariantSynth}, and \texttt{SMTSolving}. We prove that for any non-zero stage success probability ($δ> 0$), the system reaches the \texttt{Verified} state almost surely. Furthermore, because of the sequential nature of the pipeline, we derive a precise latency bound of $\mathbb{E}[n] \leq 4/δ$. We stress-tested this prediction in an extensive empirical campaign comprising over 90,000 trials. The results match the theory with striking consistency: every run reached verification, and the empirical convergence factor clustered tightly around $C_f\approx 1.0$, confirming that the $4/δ$ bound accurately mirrors system behavior rather than serving as a loose buffer. Based on this data, we identify three distinct operating zones -- marginal, practical, and high-performance -- and propose a dynamic calibration strategy to handle parameter drift in real-world environments. Together, these contributions replace heuristic guesswork with a rigorous architectural foundation, enabling predictable resource planning and performance budgeting for safety-critical software.
우리는 쌍wise 인간 선호로부터 생성 모델을 정렬하는 기본적인 접근법인 Markov Chain from Human Feedback(MCHF)를 제안한다. 비교를 스칼라 보상으로 축소하는 인간 피드백 강화학습(RLHF)이나, KL 정규화 minimax 최적화를 통해 쌍wise 효용을 보존하는 Nash Learning from Human Feedback(NLHF)과 달리, MCHF는 쌍wise 선호를 직접 사용하여 모델 출력 위의 전이 메커니즘을 정의한다. $y$가 $x$보다 선호되는 정도를 정량화하는 쌍wise 효용 $U(x,y)$와 기준 확률 분포 $μ_{\mathsf{ref}}$가 주어졌을 때, 마르코프 커널 $\mathsf{P}(x, dy)\propto \exp(U(x,y))μ_{\mathsf{ref}}(dy)$를 정의하고, $μ_{\mathsf{ref}}$에서 시작하는 마르코프 체인을 반복적 정렬 절차로 본다. MCHF가 정상 분포에 기하급수적으로 빠르게 수렴함을 보이며, 수렴 속도는 쌍wise 효용의 비전이적 구조를 정량화하는 반노름 $\|U\|_\oplus=\inf_{g,f\in L^\infty(μ_{\mathsf{ref}})}\|U-g\oplus f\|_\infty$에 의해 결정된다. 또한 NLHF를 위한 mirror-descent 알고리즘이 유사한 구조 적응적 수렴 보장을 만족함을 보인다. 마지막으로, 섭동 분석을 통해 $\|U\|_\oplus$가 작을 때 MCHF와 NLHF가 RLHF 해법 주변에서 1차까지 일치함을 증명하며, 이는 정렬에 대한 보상 기반, 게임 이론적, 마르코프적 접근법의 통합적 관점을 제공한다. 특히 MCHF/NLHF 균형에 수렴하는 두 자연스러운 알고리즘에 대해, MCHF와 NLHF의 첫 번째 단계가 열 합 보상 $\hat{f}(y)=\int μ_{\mathsf{ref}}(dx) U(x, y)$에 기반한 RLHF 해법을 복원함을 보이며, 두 번째 반복부터는 두 알고리즘 모두 잔차 $U-(-\hat f)\oplus \hat f$의 동일한 선형 함수형을 포함하며, 이는 쌍wise 효용 $U$의 비전이적 구조를 포착한다.