PyTorchKR Papers

최신 논문

총 11편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.10681v2cs.LG

Spectral Margins and Memory Routing in Looped Transformers

Looped transformers apply one block of weights repeatedly. Each iteration keeps a fraction of the previous hidden state, the carry, and adds the block's output, so information can pass between iterations through either path. We study a small, LayerNorm-based variant of the Parcae architecture and ask two questions: does the iterated state settle, and does learning to remember across iterations require the carry? On stability, pre-LayerNorm makes the block less sensitive at its fixed point as the carry grows, but not enough to guarantee contraction: with a scalar carry, a perturbation can grow in a single iteration even at a locally stable fixed point. These fixed points are stable because the spectral radius of the loop's Jacobian stays below $1$; its distance from $1$, the spectral margin, narrows as the carry approaches $1$ and, at high carry, as the width grows, and some initializations do not settle within the iteration budget. On memory, a multi-hop copy task trained at a fixed loop depth is learned as well with the carry frozen at $0.5$, $0.02$, or $0$ as with a learned carry, which changes little during training. When the depth is sampled during training, a carry of $0.5$ still trains but $0.02$ and $0$ do not. All experiments are small ($d \le 32$ for training).

arXiv:2610.02383v1cs.LG

루프형 트랜스포머(Looped Transformer)에서 공유 메모리의 놀라운 효과

The Surprising Effectiveness of Shared Memory in Looped Transformers

루프형 트랜스포머(Looped Transformer)는 토큰당 동일한 레이어를 여러 번 적용하여, 파라미터 수를 늘리지 않고도 연산량을 추가해 품질을 향상시킨다. 그러나 각 재귀(recursion)는 자체적인 키-값 캐시(key-value cache)를 기록하기 때문에, 메모리는 여전히 연산량에 비례해 증가한다. 추론(inference) 시점 기법들은 품질을 희생하는 대신 이 캐시를 줄일 수 있다. 우리는 메모리를 공유하도록 루프형 언어 모델을 사전학습(pre-training)한다: 오직 첫 번째 재귀만 캐시를 기록하고, 이후의 재귀들은 자신만의 짧은 윈도우를 유지하면서 이를 읽는다. 놀랍게도, 우리는 메모리 공유가 품질을 희생시키지 않으며 오히려 품질을 향상시킨다는 것을 발견했다. 1억 5천만~10억 개의 파라미터 규모에서, 우리의 루프형 예측 트랜스포머(Looped Prediction Transformer, LPT)와 그 하이브리드(hybrid) 변형은 루프형 모델에 대한 새로운 품질-메모리 프런티어를 제시한다: 다섯 번의 재귀를 사용할 때, 하이브리드 모델은 동일한 크기의 표준 트랜스포머에 비해 FineWeb-Edu에서의 검증(validation) 퍼플렉시티(perplexity)를 1.12~1.82만큼 낮추면서도 컨텍스트 메모리 사용량을 76~79% 줄인다. 광범위한 분석을 통해, 우리는 메모리 공유가 어떻게 도움이 되는지 조사한다. 공유 메모리와 로컬 메모리는 서로 다른 표현을 형성하며, 이후의 재귀들은 주로 공유 메모리에 주의를 기울이는데, 이 공유 메모리는 또한 첫 번째 재귀로 향하는 그래디언트(gradient) 하이웨이 역할을 한다.

arXiv:2607.13491v2cs.LG

DeepLoop: 루프 트랜스포머의 깊이 스케일링

DeepLoop: Depth Scaling for Looped Transformers

루프 트랜스포머는 물리적 블록의 컴팩트한 스택을 여러 라운드에 걸쳐 적용하여 순차 계산을 확장하며, 저장된 매개변수를 늘리지 않으면서 펼쳐진 깊이를 증가시킨다. 이러한 재사용은 잔차 스케일링 문제를 바꾼다. 비결합 트랜스포머에서는 각 잔차 분기가 자신만의 매개변수 업데이트를 수신하고 적용하는 반면, 루프 트랜스포머에서는 하나의 공유 업데이트가 반복 방문으로부터의 기울기를 집계하고, 다음 선형화된 순전파에서 동일한 방문들에 의해 다시 읽힌다. 우리는 방문 정렬 계수 $κ_R$에 의해 제어되는 1차 섭동 상한을 통해 이 결합 깊이(tied-depth) 효과를 형식화한다. 이 상한은 방문이 비상관화될 때 DeepNorm 지수를 복원하지만, 보수적인 정렬 체제에서는 고정된 물리적 깊이에서 루프 수가 증가함에 따라 지수가 $1/4$에서 $1/2$로 증가해야 한다. 그 결과로 나온 방법인 DeepLoop는 Post-LN DeepNorm 아키텍처를 유지하고, 펼쳐진 깊이 $N$에 대해 $α=(2N)^{1/2}$ 및 $β=(8N)^{-1/2}$를 설정한다. GPT-2 small 및 GPT-2 medium 규모의 GPT 스타일 루프 언어 모델에서 DeepLoop는 물리적 블록이 재방문되지 않을 때는 중립적이며, 순환 깊이가 활성화되면 검증 손실과 하류 태스크 정확도를 개선한다. 이러한 결과는 안정적인 순환 깊이가 명목상의 층 수뿐만 아니라 매개변수 방문을 고려하는 잔차 스케일링 규칙을 필요로 함을 보여준다.

arXiv:2607.00341v2cs.CL

DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning

표준 Transformer의 깊이-국소 저장 문제(depth-local storage problem)와 Looped Transformer의 표현 불일치(representation mismatch) 문제를 분석하고, 이를 해결하기 위해 이산 임베딩 채널과 연속 은닉 상태 채널을 동시에 순환시키는 DiscoLoop 아키텍처를 제안한다. DiscoLoop은 다중 홉 추론(multi-hop reasoning) 태스크에서 기존 Looped Transformer 대비 훨씬 적은 학습 스텝으로 거의 완벽한 정확도를 달성하며, 실제 언어 모델 사전학습에서도 낮은 학습 손실과 향상된 벤치마크 성능을 보인다.

arXiv:2607.15456v2cs.LG

루프형 잠재 어텐션: 루프형 Transformer를 위한 루프 간 KV 압축

Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers

가중치 공유 루프형 Transformer는 단일 블록을 재사용하여 파라미터를 줄이지만, 디코딩 시에는 여전히 각 순환 단계마다 별도의 K/V 캐시를 저장한다. 우리는 이 루프 인덱스 캐시가 매우 구조적임을 보인다. 고정된 토큰, 층, 헤드에 대해 K/V 벡터는 루프에 걸쳐 짧은 저랭크(low-rank) 궤적을 그리는 반면, 헤드 및 층 축은 훨씬 더 평탄하게 유지된다. 우리는 Looped Latent Attention(\lla{})을 제안한다. 이는 사후 학습 캐시 코덱으로, 압축된 K 및 V 잠재(latent)를 저장하고 어텐션이 이를 읽을 때에만 루프별 K/V 벡터를 복원한다. 기본 per-head 코덱은 순환을 압축하며, \lla{}-2D는 극한 압축 구간에서 헤드들을 하나의 잠재 표현으로 접어 넣기도 한다. 코덱은 교사(teacher) 활성화의 SVD로 초기화되며, 로짓 및 어텐션 출력 증류(distillation)로 정제된다. 동일한 캐시 예산에서 per-head \lla{}는 헤드 축 MLA, 층 간 공유, KV 양자화, 최종 루프 재사용보다 우수하며, 순환 캐시가 저랭크이지만 단일 상태로 안전하게 축소할 수 없음을 보여준다. 동일한 축 이점은 Ouro-2.6B-Thinking에서도 유지되며 Huginn-3.5B로 전이된다. 여기서 SVD 코덱은 디코더 독립 평가에서 $32\times$ 압축까지 거의 무손실을 유지한다. 캐시 축소는 정확하다. H200 1대에서 잠재 저장 경로는 4k 컨텍스트에서 $21.3\times$ 압축 시 측정된 Ouro-1.4B 배치 용량을 32개 시퀀스에서 768개 시퀀스로 증가시킨다. 마지막으로, MATH-500과 같은 긴 추론 롤아웃(rollout)에서, 학생이 생성한 접두(prefix)에 대한 온-정책 정제는 $4\times$ 압축에서 정확도를 0.43에서 0.66으로 높이며, 토큰 수준 오프-정책 증류와 비교할 때 무응답 생성을 줄인다.

arXiv:2607.20594v1cs.LG

순환은 언제 알고리즘이 되는가? 가중치 공유 루프 트랜스포머의 수렴 선택

When Does Recurrence Become an Algorithm? Convergence Selection in Weight-Tied Looped Transformers

가중치 공유 루프 트랜스포머—동일 블록을 T번 적용하는 구조—는 언제 실제 알고리즘을 구현하는가? 우리는 군(group) 단어 문제에 대한 통제된 집단 실험에서 네 가지 발견으로 이에 답한다. (1) 예산 법칙: 자유 학습(free training)은 선형 계산 프론티어를 설치하며, 이는 루프당 v개 위치를 푸는 메커니즘이고 그 속도는 학습 계약(training contract)에 의해 가격이 매겨진다: v ~ n_train/T_train (지수 0.98 +/- 0.04, R^2=0.99), T=n 학습에서는 정확히 1. SGD는 계약이 요구하는 최소치에 맞는 프론티어를 선택한다; 학습보다 더 많은 테스트-타임 루프를 허용하면 고정 입력 길이에서 후반 위치를 구제하며, 원칙적인 정지 규칙 T* = ceil(n / v-hat)을 도출한다. (2) 알고리즘을 고르는 것은 표현력(expressivity)이 아니라 아키텍처 사전 지식(prior)이다: 표준 깊이 트랜스포머는 이 계열에서 병렬 스캔을 학습하고, 가중치 공유는 로그 깊이 스캔을 위한 위치 주소 지정(positional addressing)이 제공되어도 선택을 직렬 프론티어로 뒤집는다. 깊이와 파라미터를 맞춘 경우, 비공유(untied) 모델은 외삽(extrapolation)이 가장 나쁘고 A5를 전혀 학습하지 못한다. (3) 장벽은 회로 복잡도(circuit complexity)가 말하는 위치에 있지 않다: NC1-완전성은 비용이 없고(A5는 완전히 일반화), 반면 군의 차수(group order)는 비용이 든다(S5의 120×120 연산자가 공동 학습을 교착시킴)—그리고 연산자 우선(operator-first) 커리큘럼은 모든 시드에서 장벽을 해소한다. (4) 메커니즘은 이식 가능(portable)하지만 강제 가능(mandatable)하지 않다: 예산 계약 간 웜 스타트(warm-starting)는 모든 시드에서 알고리즘을 전이시키며 속도를 재가격하고, 입력 스케줄을 통해 직렬성을 강제하는 것은 자유 학습이 성공하는 곳에서 실패한다. 이 결과들은 학습된 루프가 수렴하는 고정점에서 증명 가능하게 포화(saturate)하는 표준 측정 도구(instruments)로는 보이지 않는다. 우리는 헤드 측정 도구인 수렴-시간 스케일링 tau(n,i)를 도입하고, 기울기가 v를 재현하는 손상 원뿔(damage cones)을 통해 인과적으로 검증하며, 분포 내(in-distribution) 헤드 측정이 꼬리(tail) 지표가 하지 못하는 분포 외(out-of-distribution) 운명을 예측함을 보인다. 결과는 공개 easy-to-hard 벤치마크에서 재현된다.

arXiv:2607.20519v1cs.LG

Looped Transformer의 적응형 깊이: 학습된 정지 게이트와 궤적 리드아웃 진단

Adaptive Depth in Looped Transformers: Diagnosing Learned Halting Gates and Trajectory Readouts

Looped Transformer는 공유 순환(recurrent) 블록을 반복 적용하여 테스트 시점 계산량을 늘린다. Looped Transformer의 학습된 정지(halting) 목적 함수는 일반적으로 단일 출구(exit) 분포를 추론 시점 정지 규칙과 깊이별 손실의 학습 시점 가중치 모두에 사용한다. 이는 출구 선택과 궤적(trajectory) 형성을 얽히게 한다: 게이트는 어떤 순환 상태를 사용할지 선택할 뿐만 아니라, 각 중간 상태가 얼마나 강하게 지도되는지도 결정한다. 결과적으로, 적응형 계산(adaptive-compute) 성능 저하는 리드아웃, 유도된 궤적, 또는 그 둘의 상호작용에서 비롯될 수 있다. 우리는 이 궤적-리드아웃 관점을 통해 Looped Transformer의 적응형 깊이를, 통제된 합성 과제(모듈러 산술 및 이진 패리티)와 대규모 Ouro-1.4B 및 2.6B 체크포인트에서 연구한다. 우리는 입력 의존적 정지 정책 없이 궤적을 형성하는 고정 사전(prior) 깊이 지도가 난이도 인식(difficulty-aware) 궤적을 생성하며, 그 중간 상태가 유용한 정지 신호를 드러낸다는 것을 발견한다. 또한 단순한 사후(post-hoc) 신뢰도 리드아웃이 학습된 선형 및 MLP 게이트와 대등하거나 더 나은 성능을 보이는 경우가 많다. 고정된(frozen) 궤적에 게이트를 적합화하면 실패 원인을 국소화할 수 있다: 이는 제한된 게이트 표현력보다는 공동 게이트 학습에 의해 유도된 궤적에서 주로 기인하는 것으로 보인다. 동일한 패턴이 Ouro 평가에서도 나타나며, 여기서 사전학습된 ponder 게이트는 경쟁력이 있지만 균일하게 파레토(Pareto) 최적은 아니다. 측정된 지연 시간(latency)은 평균 출구 깊이 감소가 실질적인 추론 시점 절감으로 이어짐을 확인한다. 우리의 체계적 진단 평가는 Looped Transformer의 적응형 깊이를 게이트 학습만이 아니라 궤적 형성과 출구 리드아웃의 공동 문제로 재구성하며, 이전 학습된 정지 연구가 종종 암묵적으로 남겨두었던 구분을 부각한다.

arXiv:2605.09165v2cs.LG

Sparse Layers are Critical to Scaling Looped Language Models

루프드 트랜스포머(looped transformer)가 표준 모델 대비 스케일링 성능이 떨어지는 문제를 해결하기 위해, 전문가 혼합(MoE) 희소 레이어를 루프 구조에 결합한 Looped-MoE 아키텍처를 제안하며, 루프마다 서로 다른 전문가가 활성화되는 라우팅 분기(routing divergence) 현상이 표현력을 회복시킴을 실험적으로 보인다. 그 결과 Looped-MoE는 동일 연산량 대비 표준 트랜스포머보다 낮은 테스트 손실을 달성하며, 루프 경계에서의 조기 종료(early exit)를 통해 품질 저하 없이 추론(inference) 연산량과 메모리를 크게 절감할 수 있음을 확인했다.

arXiv:2606.29983v1cs.LG

학습된 확률적 정지를 통한 루프 트랜스포머의 외삽 안정화

Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping

공유된 트랜스포머 블록을 반복 적용하는 루프 트랜스포머(Looped Transformer)는 길이 일반화 가능성을 지니지만, 시퀀스 길이와 루프 횟수 간의 허위 상관관계(spurious correlation)로 인해 분포 외(OOD) 예측이 불안정한 문제가 있다. 학습 중 루프 횟수에 확률성을 도입하거나 강화학습 기반의 RL-Halting으로 정지 시점을 학습하면 OOD 분산이 크게 줄고 정확도-안정성 트레이드오프가 개선됨을 binary addition, Dyck-1 등 다양한 태스크에서 실험적으로 확인했다.

arXiv:2606.18524v1cs.LG

루프드 트랜스포머의 잔차 스케일링: 안정성과 전이성

On the Residual Scaling of Looped Transformers: Stability and Transferability

가중치 공유 Looped Transformer에서는 반복 간 잔차 업데이트가 상관되어 기존 1/√L 스케일링이 부족하므로 1/N 및 다층 블록용 ε=λ/(N√L) 파라미터화가 필요하다는 점을 이론적으로 보였다. 최적 학습률이 루프 횟수 N이 아닌 고유 층 수 L에만 의존해 작은 N에서 튜닝한 하이퍼파라미터를 큰 N으로 재조정 없이 전이할 수 있으며, 실험에서 1/N 스케일링이 1/√N보다 학습 안정성과 손실 모두에서 더 우수했다.

arXiv:2606.18206v1cs.AI

고정점 추론기: 안정적이고 적응적인 딥 루프 트랜스포머

Fixed-Point Reasoners: Stable and Adaptive Deep Looped Transformers

루프 아키텍처는 구성적 추론이 필요한 작업에 대해 단계별 절차를 학습하는 귀납적 바이어스를 제공합니다. 루핑을 통해 도달하는 유효 계층의 수는 해당 모델이 찾아내는 해결책의 품질을 결정합니다. 딥 아키텍처와 마찬가지로, 루프 아키텍처는 중단 결정이 연기됨에 따라 깊이로 인해 유발되는 신호 전파 문제에 취약합니다. 본 논문에서는 사전 정규화(pre-norm) 계층과 잔차 스케일링을 사용하여 이 신호 전파 문제를 해결합니다. 이러한 아키텍처 수정 사항을 바탕으로, 루프 아키텍처에서 고정점 수렴을 엔드-투-엔드 중단 메커니즘으로 사용하는 트랜스포머 기반 고정점 추론 모델인 FPRM을 제안합니다. 고정점 중단이 FPRM이 연산량을 작업 난이도에 맞게 적응할 수 있게 함을 보여줍니다. FPRM은 스도쿠, 미로, 상태 추적(state-tracking), ARC-AGI와 같은 일반적인 추론 벤치마크에서 효과적입니다.