자기회귀(auto-regressive) 모델은 언어에서 영상에 이르기까지 순차적 데이터를 위한 강력한 도구로 부상하였다. 이러한 모델이 잠재 표현을 학습하는 방법과 그 이유는 아직 열린 이론적 문제로 남아 있다. 본 연구에서는 부분 관측 선형 동적 시스템(partially observed linear dynamical systems)의 데이터에 대해 경험적 위험 최소화(empirical risk minimization)로 학습된 2층 선형 자기회귀 모델이, 칼만 필터링(Kalman filtering)을 자연스럽게 근사하도록 학습됨을 증명한다. 구체적으로, 모델이 기저 동역학이나 상태에 대한 명시적 지식을 갖지 않음에도 불구하고, 학습된 은닉 표현이 유사 변환(similarity transformation)의 차이 내에서 최적 필터인 칼만 필터가 생성하는 상태 추정치와 일치함을 보인다. 이 결과는 세 가지 핵심 통찰에서 도출된다. 첫째, 칼만 필터가 유계 절단 오차(bounded truncation error)를 갖는 자기회귀 모델로 잘 근사됨을 확립한다. 둘째, 비볼록성(non-convexity)에도 불구하고 2층 최적화 경관(optimization landscape)이 양호함을, 즉 모든 정류점(stationary point)이 엄격한 안장점(strict saddle)이거나 전역 최솟값(global minimum)임을 보인다. 마지막으로 주요 기여로서, 예측 오차, 파라미터 추정 오차, 잠재 상태 복원에 대한 유한 표본 보장(finite-sample guarantees)을 제공한다. 수치 시뮬레이션은 이론적 결과를 뒷받침하며, 자기회귀 모델의 잠재 표현이 상태 추정치를 복원함을 실증한다.
자기회귀(AR) 모델은 이미지 생성에 매우 효과적이지만, 표준 최대 가능도 추정(maximum-likelihood estimation) 학습은 샘플 품질과 다양성에 대한 직접적인 최적화가 부족하다. 강화학습(RL)은 확산 모델의 정렬에 활용되어 왔으나, 이러한 방법들은 일반적으로 출력 다양성 붕괴 문제를 겪는다. 마찬가지로, AR 모델을 위한 기존 강화학습 방법들은 인스턴스 수준 보상에만 의존하여 품질을 위해 분포적 커버리지를 희생하는 경우가 많다. 이러한 한계를 해결하기 위해, 본 논문에서는 토큰 기반 AR 합성을 마르코프 결정 과정으로 형식화하고 Group Relative Policy Optimization(GRPO)으로 최적화하는 경량 강화학습 프레임워크를 제안한다. 핵심 기여는 새로운 분포 수준 Leave-One-Out FID(LOO-FID) 보상의 도입으로, 특징 모멘트의 지수 이동 평균을 활용하여 정책 업데이트 과정에서 샘플 다양성을 명시적으로 촉진하고 모드 붕괴를 방지한다. 이를 엄격한 의미적·지각적 충실도를 위한 복합 인스턴스 수준 보상(CLIP 및 HPSv2)과 통합하고, 적응적 엔트로피 정규화 항으로 다목적 학습을 안정화한다. LlamaGen 및 VQGAN 아키텍처에 대한 광범위한 실험을 통해 불과 수백 번의 튜닝 반복 내에서 표준 품질 및 다양성 지표 전반에 걸쳐 명확한 성능 향상을 입증한다. 또한 실험 결과는 모델이 Classifier-Free Guidance 없이도 경쟁력 있는 샘플을 생성하도록 업데이트될 수 있으며, 이로 인한 2배의 추론 비용을 우회할 수 있음을 보여준다.
Discrete diffusion models have steadily improved in quality relative to autoregressive (AR) models. However, these models are normally constrained to fixed-length generation and do not support key-value (KV) caching. Block diffusion partially bridges diffusion and AR by generating token blocks left-to-right, but its fixed-size sequential blocks limit decoding flexibility and parallelism. Here, we present a new class of language models, set diffusion, comprised of (i) a likelihood parameterization that factorizes over flexible-position, flexible-length token sets and (ii) a set-causal diffusion architecture that supports KV cache updates after every inference step. By factorizing over token sets instead of fixed-size blocks, tokens can be decoded in arbitrarily-ordered sets, including sliding-window sets, enabling faster inference and support for any-order decoding. Set diffusion achieves better speed-quality tradeoffs on mathematical reasoning, summarization, and unconditional generation compared to prior diffusion language models while offering stronger infilling performance than block diffusion. We provide the code, along with the model weights and blog post on the project page: https://m-arriola.com/setdlms/