arXiv:2609.27964v1 cs.LG

선형 RNN 스케일링 법칙: 더 긴 시퀀스가 더 많은 시퀀스를 이기는 경우

Linear RNN Scaling Laws: When Longer Sequences Beat More Sequences

Ziyan Chen, Zhongzhu Zhou, Peilin Liu, Ding-Xuan Zhou

제출 2026-09-24

한국어 초록

자기회귀 언어 모델에 대한 경험적 스케일링 법칙은 예측 손실을 모델 크기, 데이터 크기, 최적화 연산량과 연관 짓지만, 순차적 사전학습 설정에서 그 이론적 기원은 여전히 잘 이해되지 않는다. 우리는 안정적인 잠재 선형 RNN이 궤적을 생성하고, 스케치된 선형 순환 학생 모델이 next-token prediction에 대해 safeguarded full-batch WSD 경사하강법으로 학습되는 다루기 쉬운 teacher-student 모델에서 이 질문을 연구한다. 스케치 차원 $M$은 모델 크기의 역할을 하고, 길이 $P$인 $N$개의 독립 궤적이 학습 토큰을 제공한다. innovation과 초기화 공분산이 서로 다른 멱법칙 지수 $\alpha$와 $\theta$를 갖도록 허용한다. 유도된 design spectrum은 spectral crossover로 구분되는 명시적 근사, 최적화, 통계적 스케일링 법칙을 만든다. $\theta\ge\alpha$일 때, 원래의 단일 스케일 비율 $M^{1-\beta_\alpha}$, $R^{(1-\beta_\alpha)/\alpha}$, $(NP)^{-1}\min\{M,R^{1/\alpha}\}$이 복원된다. $\alpha-2r\le\theta<\alpha$일 때, 더 무거운 초기화 꼬리가 $P$에 의존하는 모델 및 최적화 crossover를 넘어서는 비율을 바꾼다. 증명은 공분산 사건만 내부적으로 사용하고, 그 여집합 위에서는 전역적으로 safeguarded step size를 사용한다. 분산은 $(NP)^{-1}$ 인자를 유지하지만, 시퀀스 길이 또한 초기화 과도(transient)를 억제하므로, 이중 스케일 영역에서는 $N$과 $P$가 더 이상 완전히 상호 교환 가능하지 않다.

원문 초록

Empirical scaling laws for autoregressive language models relate prediction loss to model size, data size, and optimization compute, but their theoretical origin is still poorly understood in sequential pretraining settings. We study this question in a tractable teacher--student model where a stable latent linear RNN generates trajectories and a sketched linear recurrent student is trained by safeguarded full-batch WSD gradient descent on next-token prediction. The sketch dimension $M$ plays the role of model size, while $N$ independent trajectories of length $P$ provide the training tokens. We allow the innovation and initialization covariances to have different power-law exponents $\alpha$ and $\theta$. The induced design spectrum produces explicit approximation, optimization, and statistical scaling laws separated by spectral crossovers. When $\theta\ge\alpha$, the original one-scale rates $M^{1-\beta_\alpha}$, $R^{(1-\beta_\alpha)/\alpha}$, and $(NP)^{-1}\min\{M,R^{1/\alpha}\}$ are recovered. When $\alpha-2r\le\theta<\alpha$, the heavier initialization tail changes the rates beyond $P$-dependent model and optimization crossovers. The proof uses a covariance event only internally and a globally safeguarded step size on its complement. The variance retains the factor $(NP)^{-1}$, while sequence length also suppresses the initialization transient, so $N$ and $P$ cease to be fully interchangeable in the two-scale regime.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27964v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26249v2cs.CL공통 태그 Language Modeling, Text Generation

PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩

PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models

LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.

arXiv:2607.22043v2cs.CL공통 태그 Language Modeling, scaling laws

스크래치로부터의 네이티브 멀티모달 사전학습 스케일링

Scaling Native Multimodal Pre-Training From Scratch

대규모 언어 모델(LLM)이 뛰어난 추론 능력을 보여줌에도 불구하고, 텍스트 전용 사전학습에 의존하는 점은 멀티모달 물리적 세계에 대한 인식을 제한합니다. 네이티브 멀티모달 사전학습은 멀티모달 입력을 바탕으로 모델을 스크래치부터 학습(from scratch)함으로써 이러한 한계를 극복하며, 이를 통해 깊은 크로스모달 통합을 달성하고 기존의 후기 융합(late-fusion) 아키텍처에 내재된 최적화 비대칭성을 완화합니다. 이러한 장점에도 불구하고, 이 패러다임의 스케일링(scaling) 특성은 여전히 불완전하게 규명되어 있습니다. 이러한 공백을 해소하기 위해, 본 연구에서는 고정된 계산 예산 하에서 트랜스포머 기반 비전-언어 모델을 학습하기 위한 최적의 모델 크기와 토큰 수를 조사합니다. 연구 결과, 최소 목적 손실은 예측 가능한 연산 법칙을 따르는 반면, 연산 최적의 모델 크기와 토큰 수는 거듭제곱 법칙으로 스케일링됨을 보여줍니다. 특히, 언어 및 멀티모달 목적 함수는 뚜렷이 구분되는 할당 경향을 나타냅니다. 언어 할당 지수는 서로 다른 데이터 혼합 전반에 걸쳐 유사한 범위에 위치합니다. 멀티모달 모델 할당 지수는 멀티모달 토큰 비율에 따라 완만하게 감소하여, 상대적으로 토큰 할당 쪽으로 전환됨을 시사합니다. 또한, 본 스케일링 분석은 예산 보상 규칙을 도출합니다. 구체적으로, 고정된 연산 예산 하에서 네이티브 멀티모달 사전학습에 시각 정보를 통합함으로써 발생하는 텍스트 효율성 저하를 추가적인 멀티모달 토큰 예산으로 상쇄할 수 있습니다. 다운스트림 평가는 네이티브 멀티모달 사전학습이 향상된 공간 추론 및 멀티모달 퓨샷(few-shot) 학습과 연관되어 있음을 추가로 보여줍니다. 전반적으로, 본 실증적 연구는 멀티모달 파운데이션 모델을 예측 가능하게 스케일링하기 위한 필수적인 기반을 마련합니다.

arXiv:2609.06324v5cs.CL공통 태그 Language Modeling, Text Generation

주변분포에서 결합분포로 가는 티켓: 확산 언어 모델의 1단계 블록 생성을 위한 결합 노이즈 증류

A Ticket from Marginals to Joints: Coupled-Noise Distillation for One-Step Block Generation in Diffusion Language Models

확산 언어 모델(diffusion language model)은 단 한 번의 순전파(forward pass)로 일관된 토큰 블록을 생성할 수 있을까요? 마스크 기반 모델은 이미 모든 위치를 한 번에 예측하지만, 각 예측은 가시적 컨텍스트가 주어졌을 때의 주변분포(marginal distribution)이므로 토큰들이 상호 불일치할 수 있으며 후속 단계에서 이미 확정된 토큰을 수정하게 됩니다. 본 연구에서는 서로 다른 노이즈 샘플을 서로 다른 일관된 블록에 매핑하도록 처음부터 학습(train from scratch)된 CONDOR(Coupled-Noise Distillation for One-Step Readout)를 소개합니다. 초기에는 무작위 노이즈가 목표와 자연스럽게 짝지어지지 않습니다. 승자독식(Winner-take-all) 지도 방식을 통해 서로 다른 샘플이 전문화되도록 하며, 자체 증류(self-distillation)를 통해 1회 순전파 출력이 정제된 일관된 블록과 일치하도록 학습합니다. TinyStories 실험에서는 각각 한 번의 순전파만으로 연속적인 블록에 걸쳐 다양하고 일관된 이어 생성을 보여줍니다. 정성적 MNIST 실험을 통해서는 동일한 접근 방식이 텍스트-이미지 생성 및 무조건적 텍스트-이미지 생성과 같은 멀티모달 생성으로 확장될 수 있음을 보여줍니다.

arXiv:2610.06513v2cs.CL공통 태그 Language Modeling, Text Generation

SOL: 이중 슬라이스드 바서슈타인 거리를 이용한 텍스트 분포 간 격차 측정

SOL: Measuring Gaps between Text Distributions by Double Sliced Wasserstein Metrics

텍스트 생성을 평가하려면 생성된 분포가 데이터 분포와 얼마나 잘 일치하는지 측정해야 합니다. 자기회귀 모델의 경우 이는 퍼플렉서티(perplexity)를 통해 이루어집니다. 확산(diffusion) 및 플로우 기반 언어 모델은 가능도(likelihood)의 한계만을 제공할 수 있으며, 이 한계의 엄밀함은 모델 군(model family)마다 다릅니다. 엔트로피를 활용한 생성적 퍼플렉서티와 같은 샘플 기반 대체 지표는 분포의 적합도를 고려하지 않습니다. 본 논문에서는 텍스트 분포 간의 거리 척도인 SOL을 제안합니다. 각 시퀀스는 고정된 트랜스포머(transformer) 아래에서 은닉 상태들의 경험적 측도로 표현되며, 이러한 측도들의 분포는 이중 슬라이스드 바서슈타인 거리(double sliced Wasserstein distance)를 통해 비교됩니다. 저자들은 트랜스포머가 단사(injective) 함수일 경우 SOL이 거리 함수(metric)임을 증명합니다. 실험을 통해 SOL이 분포적 실패를 감지하고, 예상되는 모델 경향성을 복원하며, 안정적인 샘플 기반 추정치를 제공함을 보여줍니다. 저자들은 비자기회귀 모델에 사용되는 현재 평가 프로토콜의 공백을 메우기 위해 SOL을 제시합니다. 첫 번째 단계로, 저자들은 SOL을 사용하여 OpenWebText에서 학습된 다양한 모델들을 재평가합니다.

arXiv:2610.02462v1cs.LG공통 태그 Language Modeling, scaling laws

LLM 압축을 위한 능력 축소 스케일링 법칙

Capability Scaling-Down Laws for LLM Compression

LLM 압축은 추론 비용과 메모리 요구량을 줄여주지만, 비슷한 자원 절감으로도 서로 다른 능력 손실이 발생할 수 있기 때문에 압축 방법과 설정을 선택하는 일은 대부분 경험적으로 이루어진다. 본 연구는 가지치기(pruning), 양자화(quantization), 지식 증류(distillation) 전반에 걸쳐 LLM 압축에 대한 능력 축소 스케일링 법칙을 체계적으로 조사한다. 우리의 프레임워크는 수학, 코드 생성, 질의응답에서의 능력 손실을 측정하고, 이 측정값을 모델 크기, 학습 단계, 압축 설정, 데이터 가용성, 학습 노출(training exposure)과 연관시킨다. 우리는 단순한 예측 관계식을 개발하고, 그 정확도, 측정 효율성, 그리고 보지 못한 설정 및 모델 상태로의 일반화 성능을 평가한다. 가지치기 수준 전반에서 밀도 반응(density response)을 공유하면 가지치기 예측기를 적합시키는 데 필요한 설정 측정 횟수가 절반으로 줄어든다: 새로운 Pythia 상태, 사전 등록된(pre-registered) OLMo-2 테스트 상태, 그리고 Wanda 가지치기 하에서, 이 간결한 관계식은 수학과 코드에 대한 모든 측정값으로 적합시킨 회귀 모델과 토큰당 0.020 나트(nats) 이내로 일치하며, 계수는 각 설정마다 다시 적합된다. 통제된 지식 증류 실험은 과도한 데이터 재사용(heavy data reuse)의 비용이 질의응답 분포 전반에서 반복적으로 나타나는 반면, 순이익(net benefit)은 평가 분포에 따라 달라짐을 보여준다. 우리는 또한 수치적 선택(numerical selection)을 설정 중앙값(configuration median) 및 고정된 방법 우선순위(fixed method priority)와 비교함으로써 이러한 예측의 의사결정 가치를 평가한다. 두 모델 패밀리에 대한 독립적인 평가 결과, 테스트된 후보 집합 내에서 선택 방식이 질의응답에 대해 얻을 수 있는 방법 간 이점(cross-method benefit)의 대부분을 포착하며, 이때 고정된 방법 우선순위도 동일한 리그렛(regret)을 달성하는 반면, 수학과 코드에서는 그 기회가 더 작음을 보여준다. 이러한 결과는 능력 축소 스케일링 법칙의 예측 범위와 압축 방법 선택에서의 활용 방안을 명확히 한다. 코드는 다음 주소에서 공개되어 있다: https://github.com/LabRAI/scaling_down_law.

arXiv:2609.27220v1cs.CL공통 태그 Language Modeling, Text Generation

LOCKR: 확산 언어 모델에서 안정적이지만 잘못된 락인을 감지하고 수정하기 위한 은닉 상태 궤적 유도 플래너

LOCKR: A Hidden-State Trajectory-Guided Planner for Detecting and Repairing Stable-but-Wrong Lock-In in Diffusion Language Models

확산 언어 모델(diffusion language models)은 반복적인 노이즈 제거(denoising)를 통해 텍스트를 생성하며, 최종 답변이 생성되기 전에 중간 궤적을 드러냅니다. 본 논문에서는 상당한 노이즈 제거 과정이 남아있음에도 답변이 조기에 잘못된 값으로 안정화되는 반복적인 추론 실패 현상인 '안정적이지만 잘못된 락인(stable-but-wrong lock-in)'을 규명합니다. 신뢰도(confidence), 엔트로피(entropy), 마진(margin), 답변 안정성과 같은 표면 수준 디코딩 신호는 올바른 락인과 잘못된 락인을 안정적으로 구분하기에 불충분합니다. 이에 본 연구는 선택적 추론 수정을 경량 테스트-타임 계획(test-time planning) 문제로 정식화하고, 은닉 상태(hidden-state) 궤적 유도 플래너인 LOCKR을 제안합니다. LOCKR은 추가 계산을 할당할 시점을 결정하고, 구조화된 타깃 수정 브랜치 세트를 확장하며, 궤적 인식 검증을 사용하여 가장 유망한 연속 생성을 선택합니다. 두 가지 확산 언어 모델과 세 가지 수학적 추론 벤치마크 전반에서, 은닉 상태 궤적은 잘못된 락인 감지 및 수정 선택 모두에서 표면 신호와 단일 은닉 스냅샷을 일관되게 능가했습니다. 자연스러운 평가 분포에서 LOCKR은 평가된 5개 설정 모두에서 2.21~5.37%p의 절대적 정확도 향상을 달성했으며, 수정률은 22%에서 41%에 달했습니다. 이러한 결과는 확산 모델의 은닉 궤적이 선택적 테스트-타임 추론 수정을 위한 실행 가능한 신호임을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.