상수 메모리 회상: 고정 행렬 상태에서의 학습된 연상
Constant-Memory Recall: Learned Associations in a Fixed Matrix State
한국어 초록
고정 크기의 순환 메모리는 추론(inference) 중 저장 공간의 증가를 제한하지만, 성공적인 인출은 태스크와 학습(training)에 따라 달라집니다. 본 연구에서는 시퀀스당 32개의 새로운 키-값 쌍을 기억하도록 학습된, 고정 토큰별 키 편향(key bias)을 갖는 소형 DeltaNet 변형을 살펴봅니다. 32 KiB의 순환 행렬 상태만으로, 시퀀스의 값들 중에서 선택할 때 세 가지 학습 시드에 걸쳐 99.95%의 평균 정확도를 달성합니다. 쌍을 추가하지 않고 필러(filler)를 통해 쿼리 전 컨텍스트를 1,798개 토큰까지 확장해도 인출 능력은 거의 완벽하게 유지됩니다. 첫 번째 메모리 블록을 0으로 설정하면 이러한 인출 능력이 사라집니다. 탐색적인 48쌍 테스트는 주요 학습 예산의 4분의 1 이후에도 무작위 선택(chance) 수준에 머물며 용량 한계를 특정하지 못합니다. 추가적인 학습 탐색을 거친 트랜스포머(Transformer)를 포함하여, 매개변수 수를 맞춘 벡터 및 트랜스포머 기준선(baseline) 모델들은 무작위 수준에 머뭅니다. 이처럼 해결되지 않은 기준선 모델의 실패로 인해 메모리 효율성 비교는 수행할 수 없습니다.
원문 초록
Fixed-size recurrent memory limits storage growth during inference, but successful recall depends on the task and training. We study a small DeltaNet variant with fixed token-specific key biases, trained to remember 32 new key-value pairings per sequence. With 32 KiB of recurrent matrix state, it achieves 99.95% mean accuracy across three training seeds when choosing among the sequence's values. Recall remains near perfect when filler extends the pre-query context to 1,798 tokens without adding pairings. Zeroing the first memory block removes this recall. An exploratory 48-pair test remains near chance after one quarter of the primary training budget and does not locate a capacity limit. Parameter-matched vector and Transformer baselines remain near chance, including the Transformer after additional training searches. This unresolved baseline failure prevents a memory-efficiency comparison.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
8 pages, 3 figures