한국어 초록
루프형 언어 모델은 공유된 레이어 스택을 토큰당 T번 반복함으로써 적은 파라미터 수로 추론을 심화하지만, 이로 인해 재귀 깊이가 곧바로 순차 디코딩 지연 시간이 된다. 기존의 조기 종료 디코딩은 캐시를 완성하지 않은 채 초기 패스 이후 중단하여, 과거 토큰의 캐시된 키-값 상태를 얕은 깊이로 잘라 낸다. 우리는 반대 전략인 후기 진입을 연구한다. 후기 진입에서는 새 토큰이 초기 패스를 건너뛰고 깊은 문맥 캐시 위에서 마지막 K < T번의 패스로 곧바로 진입한다. 경량 미세 조정으로 진입 경계에서의 은닉 상태 노름 불일치를 해소하면, 깊은 캐시 문맥이 건너뛴 토큰 국소 패스를 대체하여 후기 진입은 모델 계열과 패스 예산 전반에서 동일 조건의 조기 종료를 능가한다. 이러한 비대칭성을 깊은 캐시 구축을 위한 정체 없이 실제 시간 단축으로 전환하기 위해, 후보 블록은 임계 경로에서 마지막 K번의 패스만으로 검증되며, 이미 확정된 토큰은 추가 직렬 호출 없이 이후 단계와 함께 1 -> T 패스를 완료한다. 완료된 이러한 T-패스 웨이크 상태를 기존 출력 GEMM 내부에서 투영하는 방식(로짓 마진 허용치 tau in [0, inf]로 제어되는 웨이크 검증)은 탐욕적 정확 T-패스 디코딩(tau = 0, bf16 축약 순서 내에서 K = T 블록 디코딩과 일치), 마진 기반 검증(tau > 0), 롤백 없는 손실형 후기 진입(tau = inf)을 하나의 정적 CUDA 그래프 안에서 통합한다. Ouro-2.6B(T = 4)에서 K = 2 웨이크는 tau = 0일 때 탐욕적 정확 방식 대비 5.2배의 속도 향상(GSM8K에서 K = 4 블록 디코딩 대비 +26%)을, tau = inf일 때 6.8배(동일 속도에서 학습된 조기 종료 대비 +16.9 포인트)를 달성한다. Huginn-3.5B에서 T in {8, 16, 32, 64}에 걸쳐 테스트 시점 재귀를 확장하면 K = T/4 롤백이 깊이에 따라 21.5배 감소하며, 이에 따라 탐욕적 정확(tau = 0) 속도 향상은 6.1배(T = 32)와 8.4배(T = 64, K = 64 블록 대비 +153%), tau = inf 속도 향상은 10.6~12.5배에 이른다.
원문 초록
Looped language models deepen reasoning at a compact parameter count by iterating a shared layer stack T times per token, turning recurrence depth directly into sequential decoding latency. Conventional early-exit decoding halts after initial passes without cache completion, truncating cached key-value states of past tokens to shallow depth. We study the opposite strategy, late entry, where new tokens skip initial passes and enter directly into the final K < T passes over a deep context cache. Once lightweight fine-tuning resolves hidden-state norm mismatch at the entry boundary, deep cached context substitutes for skipped token-local passes, allowing late entry to outperform matched early exit across model families and pass budgets. To turn this asymmetry into wall-clock speedups without stalling to build deep caches, candidate blocks verify through only the final K passes on the critical path while previously committed tokens complete passes 1 -> T alongside subsequent steps at zero extra serial calls. Projecting these finished T-pass wake states inside the existing output GEMM (Wake verification, governed by logit-margin tolerance tau in [0, inf]) unifies greedy-exact T-pass decoding (tau = 0, matching K = T block decoding within bf16 reduction order), margin-gated verification (tau > 0), and non-rollback lossy late entry (tau = inf) inside a single static CUDA graph. On Ouro-2.6B (T = 4), K = 2 Wake reaches 5.2x greedy-exact speedup at tau = 0 (+26% over K = 4 block decoding on GSM8K) and 6.8x at tau = inf (+16.9 points over trained early exit at matched speed). Scaling test-time recurrence across T in {8, 16, 32, 64} on Huginn-3.5B cuts K = T/4 rollbacks 21.5x with depth, driving greedy-exact (tau = 0) speedups to 6.1x (T = 32) and 8.4x (T = 64, +153% over K = 64 block) and tau = inf speedups to 10.6 to 12.5x.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24576v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.