arXiv:2611.23648v1 cs.LG

Toaster: 연쇄된 선형 메모리와 타깃 전파를 통한 비선형 메모리

Toaster: Nonlinear Memory from Cascaded Linear Memories and Target Propagation

Zeman Li, Ali Behrouz, Yuan Deng, Praneeth Kacham, Rami Al-Rfou, Meisam Razaviyayn, Vahab Mirrokni

제출 2026-11-19

한국어 초록

순환 메모리는 언어 모델이 고정 크기 상태로 긴 시퀀스를 처리하게 한다. DeltaNet과 KDA 같은 선형 메모리는 행렬 하나를 저장하고 토큰마다 델타 규칙 단계를 한 번 수행한다. 이러한 단계를 청크 단위로 곱한 결과는 정확한 WY 형태를 가지므로 빠르게 학습된다. TTT-MLP와 Titans 같은 심층 메모리는 작은 MLP를 저장하여 어떤 행렬도 담을 수 없는 사상을 담을 수 있지만, 그 업데이트에는 WY 형태가 없다. Toaster는 선형 계층에 대한 기울기 단계가 델타 규칙 쓰기라는 알려진 사실에 기반하여 두 방식을 연결한다. 이는 두 개의 선형 메모리 사이에 활성화 함수를 두어 2층 비선형 메모리를 구성한다. 우리는 타깃 전파를 사용하여 출력 오차를 두 번째 메모리를 통해 역투영함으로써 은닉 메모리에 값을 부여한다. 청크마다 한 번 근사한 계층 간 신호가 주어지면 각 계층은 수정되지 않은 델타 규칙 커널 위에서 실행될 수 있다. 우리의 기본 설정은 이 커널을 출력 계층에서 실행하고 은닉 계층은 청크당 한 번 업데이트한다. 두 계층 모두에서 실행하면 우리의 절제 실험에서 더 나은 모델을 얻는다. 백본과 학습 토큰 예산을 맞춘 조건에서, Toaster는 C4와 PG19 모두에서 시험한 다섯 가지 크기(임베딩 제외 파라미터 0.2B–1.6B) 전부에서 KDA보다 낮은 손실을 보인다. C4 퍼플렉시티 역시 모든 크기에서 어텐션 기준선과 같거나 약간 더 우수하다. 1.2B에서는 Titans보다도 낮다. 전역 어텐션과의 3:1 하이브리드에서 Toaster 하이브리드는 시험한 네 가지 하이브리드 중 가장 낮은 퍼플렉시티를 가지며 어텐션 기준선보다 C4에서 0.18, PG19에서 0.44 낮다. 가장 큰 크기에서 Toaster의 13개 과제 평균 3-shot 정확도는 51.84%이며, KDA는 50.52%, Titans는 50.04%이다. 길이 외삽에서 Toaster의 손실은 20K 토큰(학습 길이의 5배)까지 KDA보다 낮게 유지된다. 145M 백본에서 은닉 폭을 Titans의 메모리에 맞춘 조건에서 Toaster의 학습 단계 시간은 KDA의 최대 1.33배이며, 32K 컨텍스트에서 시험한 Titans 구성보다 2.8–5.5배 빠르다.

원문 초록

Recurrent memories let language models process long sequences with a fixed-size state. Linear memories such as DeltaNet and KDA store one matrix and take one delta-rule step per token. The product of a chunk of such steps has an exact WY form, so they train fast. Deep memories such as TTT-MLP and Titans store a small MLP, which can hold maps that no matrix can, but their update has no WY form. Toaster bridges the two by building on a known fact: a gradient step on a linear layer is a delta-rule write. It builds a two-layer nonlinear memory from two linear memories with an activation between them. We use target propagation to give the hidden memory its values by projecting the output error back through the second memory. Given a chunk's cross-layer signals, approximated once per chunk, each layer can then run on an unmodified delta-rule kernel. Our default runs this kernel on the output layer and updates the hidden layer once per chunk. Running it on both layers gives a better model in our ablation. At matched backbones and training-token budgets, Toaster has lower loss than KDA at all five tested sizes (0.2B-1.6B non-embedding parameters) on both C4 and PG19. Its C4 perplexity also matches or slightly improves on the attention baseline at every size. At 1.2B it is also below Titans. In a 3:1 hybrid with global attention, the Toaster hybrid has the lowest perplexity of the four hybrids tested, and it is 0.18 (C4) and 0.44 (PG19) below the attention baseline. At the largest size, Toaster's mean three-shot accuracy on 13 tasks is 51.84%, compared with 50.52% for KDA and 50.04% for Titans. In length extrapolation, Toaster's loss stays below KDA's up to 20K tokens (5x the training length). On the 145M backbone, at a hidden width matched to Titans' memory, Toaster takes at most 1.33x KDA's training-step time and is 2.8-5.5x faster than the tested Titans configurations at 32K context.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23648v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.