arXiv:2610.00232v1 cs.LG

상수 메모리 회상: 고정 행렬 상태에서의 학습된 연상

Constant-Memory Recall: Learned Associations in a Fixed Matrix State

Samuel Larson

제출 2026-09-23

저자 비고

arXiv Comments

8 pages, 3 figures

한국어 초록

고정 크기의 순환 메모리는 추론(inference) 중 저장 공간의 증가를 제한하지만, 성공적인 인출은 태스크와 학습(training)에 따라 달라집니다. 본 연구에서는 시퀀스당 32개의 새로운 키-값 쌍을 기억하도록 학습된, 고정 토큰별 키 편향(key bias)을 갖는 소형 DeltaNet 변형을 살펴봅니다. 32 KiB의 순환 행렬 상태만으로, 시퀀스의 값들 중에서 선택할 때 세 가지 학습 시드에 걸쳐 99.95%의 평균 정확도를 달성합니다. 쌍을 추가하지 않고 필러(filler)를 통해 쿼리 전 컨텍스트를 1,798개 토큰까지 확장해도 인출 능력은 거의 완벽하게 유지됩니다. 첫 번째 메모리 블록을 0으로 설정하면 이러한 인출 능력이 사라집니다. 탐색적인 48쌍 테스트는 주요 학습 예산의 4분의 1 이후에도 무작위 선택(chance) 수준에 머물며 용량 한계를 특정하지 못합니다. 추가적인 학습 탐색을 거친 트랜스포머(Transformer)를 포함하여, 매개변수 수를 맞춘 벡터 및 트랜스포머 기준선(baseline) 모델들은 무작위 수준에 머뭅니다. 이처럼 해결되지 않은 기준선 모델의 실패로 인해 메모리 효율성 비교는 수행할 수 없습니다.

원문 초록

Fixed-size recurrent memory limits storage growth during inference, but successful recall depends on the task and training. We study a small DeltaNet variant with fixed token-specific key biases, trained to remember 32 new key-value pairings per sequence. With 32 KiB of recurrent matrix state, it achieves 99.95% mean accuracy across three training seeds when choosing among the sequence's values. Recall remains near perfect when filler extends the pre-query context to 1,798 tokens without adding pairings. Zeroing the first memory block removes this recall. An exploratory 48-pair test remains near chance after one quarter of the primary training budget and does not locate a capacity limit. Parameter-matched vector and Transformer baselines remain near chance, including the Transformer after additional training searches. This unresolved baseline failure prevents a memory-efficiency comparison.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00232v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.