멀티 헤드 순환 메모리 에이전트
Multi-Head Recurrent Memory Agents
순환 메모리 에이전트는 입력을 고정 크기 메모리 창에 반복적으로 통합함으로써 LLM을 임의로 긴 문맥으로 확장한다. 확장성에도 불구하고 이러한 에이전트는 문맥 길이가 늘어남에 따라 종단간 성능이 체계적으로 저하되는, 잘 알려진 신뢰성 문제를 보인다. 본 논문은 성능을 메모리 포착과 메모리 보존이라는 두 요인으로 분해하여 이 실패를 진단하고, 보존이 지배적인 병목임을 정량적으로 확인한다. 기존 설계는 메모리를 단일한 텍스트 블록으로 유지하여 모든 갱신이 이전에 보존된 내용을 덮어쓸 위험을 안기 때문에 보존이 붕괴한다. 이러한 진단에 기반하여, 메모리를 독립적인 헤드로 분할하고 단계별 선택 후 갱신 전략으로 운용하는 일반적이고 학습이 필요 없는 프레임워크인 멀티 헤드 순환 메모리(MHM)를 제안한다. 각 단계에서 정확히 하나의 헤드만 갱신 대상으로 선택되고 나머지 헤드는 구조적으로 덮어쓰기로부터 보호되어, 보존의 부담이 모델 행동에서 아키텍처 설계로 옮겨진다. 경량 구현으로 추가 토큰 오버헤드 없이 헤드의 균일한 활용을 보장하는 최소 최근 갱신 MHM(MHM-LRU)을 소개한다. 장문맥 벤치마크에 대한 폭넓은 실험에서 MHM-LRU는 기준선이 급격히 저하되는 100K--1M 토큰 범위 전반에서 보존율과 종단간 정확도를 모두 크게 향상시킨다. 896K 토큰의 RULER-HQA에서 MHM-LRU는 메모리 보존율을 30% 미만에서 73.96%로 끌어올린다. 이러한 이득은 모델 계열, 규모, 과제 유형 전반으로 일반화되며, 아키텍처 최적화가 신뢰할 수 있는 장문맥 순환 메모리로 가는 실용적이고 비용 효율적인 경로임을 보여준다.