RPMem: LLM 에이전트를 위한 세션 간 장기 순환 파라메트릭 메모리 학습
RPMem: Learning Long-Term Recurrent Parametric Memory Across Sessions for LLM Agents
한국어 초록
장기간 실행되는 LLM 에이전트는 세션에 걸쳐 지속되고 진화하는 메모리를 필요로 한다. 텍스트 기반 메모리는 매 질의마다 과거 상호작용을 검색하고 재구성하므로, 기록이 늘어날수록 장기 성능이 검색 품질과 맥락적 추론에 점점 더 의존하게 된다. 파라메트릭 메모리는 경험을 모델 연산에 직접 인코딩하지만, 기존 접근법은 세션 간 메모리 진화에 대한 지원이 제한적이다. 또한 특정 백본에 결합되어 있어 모델 교체 후 메모리 재사용이 더욱 제한된다. 우리는 순전파 연산을 통해 각 세션을 모델 독립적인 잠재 메모리로 컴파일하고, 과제 학습된 순환 게이트를 통해 이를 유지된 메모리와 선택적으로 통합하는 2단계 아키텍처인 RPMem을 제안한다. 통합된 메모리는 이후 백본별 저랭크 적응(LoRA) 파라미터로 매핑되어, 백본이 교체될 때 인코딩 능력이 전이되도록 한다. 세 가지 장기 메모리 벤치마크와 다섯 가지 다양한 백본에 대한 평가는 거의 일정한 갱신 비용과 메모리 사용량으로 폭넓은 일반화가 가능함을 보여 준다. PERMA에서 Qwen3-8B를 사용한 RPMem은 85.52%에 도달하여, 가장 강력한 파라메트릭 및 텍스트 기반 기준선을 각각 5.32 및 12.98퍼센트포인트 앞섰다. 절제 실험은 세션 컴파일과 세션 간 통합의 상호 보완적 역할을 검증하며, 동역학 분석은 게이트가 과제별 메모리 통합 전략을 습득함을 보여 준다. 이러한 결과는 RPMem이 백본 교체 후에도 재사용 가능한, 진화하는 세션 간 메모리를 유지하는 수명주기 독립적 파라메트릭 메모리 프레임워크임을 입증한다. 코드는 https://github.com/Quark-Medical/rpmem/tree/main 에서 확인할 수 있다.
원문 초록
Long-running LLM agents require memory that persists and evolves across sessions. Text-based memory retrieves and reconstructs past interactions at every query, making long-horizon performance increasingly dependent on retrieval quality and contextual reasoning as histories grow. Parametric memory encodes experience directly into model computation, but existing approaches provide limited support for cross-session memory evolution. Their coupling to a specific backbone further restricts memory reuse after model replacement. We introduce RPMem, a two-stage architecture that compiles each session into a model-independent latent memory through forward computation and selectively integrates it with retained memory via a task-trained recurrent gate. The consolidated memory is then mapped to backbone-specific low-rank adaptation (LoRA) parameters, allowing the encoding capability to transfer when the backbone is replaced. Evaluation across three long-term memory benchmarks and five diverse backbones demonstrates broad generalization with near-constant update cost and memory footprint. With Qwen3-8B on PERMA, RPMem reaches 85.52%, outperforming the strongest parametric and text-based baselines by 5.32 and 12.98 percentage points, respectively. Ablations validate the complementary roles of session compilation and cross-session consolidation, while dynamics analyses reveal that the gate acquires task-specific memory integration strategies. These results establish RPMem as a lifecycle-independent parametric memory framework that maintains evolving cross-session memory that remains reusable across backbone replacements. Our code is available at https://github.com/Quark-Medical/rpmem/tree/main.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.23466v4제출 시각 미확인
- arXiv:2609.23466v3제출 시각 미확인
- arXiv:2609.23466v2제출 시각 미확인
- arXiv:2609.23466v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.