TransMem: 대규모 언어 모델을 위한 은닉 상태의 메모리 변환
TransMem: Transforming Hidden States into Memory for Large Language Models
한국어 초록
대규모 언어 모델(LLM) 에이전트(agent)는 긴 상호작용 기록을 바탕으로 작동하는 경우가 점점 늘어나고 있으며, 이러한 환경에서 효과적인 추론을 수행하려면 과거의 관찰과 행동에 분산되어 있는 과제 관련 단서를 식별하고 활용해야 합니다. 그러나 이전에 계산된 표현에 인코딩된 유용한 정보는 이후의 생성 과정에서 충분히 활용되지 못하는 경우가 많습니다. 본 논문에서는 동결된(frozen) LLM 백본의 희소한 과거 은닉 상태(hidden states)를 재사용 가능한 메모리 표현으로 변환하는 경량 추론(inference) 시점 파라메트릭 메모리 모듈인 TransMem을 제안합니다. TransMem은 경량 게이팅 네트워크를 사용하여 이전 컨텍스트를 반복적으로 인코딩하지 않고도 현재 은닉 상태에 잠재적 개입(latent intervention)을 동적으로 적용합니다. 과제 특화된 지식보다는 전이 가능한 메모리 활용 방식을 학습하기 위해, 증거 조건부 자기 증류(evidence-conditioned self-distillation)를 도입합니다. 메모리가 보강된 학생 모델(student)은 전체 컨텍스트를 처리하며 동일한 동결 백본을 공유하는 증거 전용 교사 모델(teacher)의 예측 분포와 일치하도록 학습합니다. LoCoMo, HotpotQA, MemoryAgentBench에 대한 실험 결과는 다양한 모델 아키텍처와 규모 전반에서 일관된 성능 향상을 보여줍니다. TransMem은 LoCoMo에서 11.58~29.25 $F_1$, HotpotQA에서 10.20~13.03 $F_1$의 향상을 보였으며, MemoryAgentBench의 평균 정확도를 29.54%에서 40.00%로 끌어올렸습니다. 이러한 결과는 희소한 과거 은닉 상태가 긴 컨텍스트를 다루는 LLM 에이전트에 효과적이고 효율적인 메모리 기반이 될 수 있음을 입증합니다. 코드는 https://github.com/Haodong-Lei-Ray/TransMem 에서 확인할 수 있습니다.
원문 초록
Large language model (LLM) agents increasingly operate over long interaction histories, where effective reasoning requires identifying and exploiting task-relevant evidence distributed across past observations and actions. However, useful information encoded in previously computed representations is often underutilized during subsequent generation. We propose \textbf{TransMem}, a lightweight inference-time parametric memory module that transforms sparse historical hidden states from a frozen LLM backbone into reusable memory representations. TransMem uses a lightweight gating network to dynamically apply the latent intervention to the current hidden states, without repeatedly encoding the preceding context. To learn transferable memory utilization rather than task-specific knowledge, we introduce evidence-conditioned self-distillation. A memory-augmented student processes the full context and matches the predictive distribution of an evidence-only teacher that shares the same frozen backbone. Experiments on LoCoMo, HotpotQA, and MemoryAgentBench demonstrate consistent improvements across different model architectures and scales. TransMem yields gains of 11.58--29.25 $F_1$ on LoCoMo and 10.20--13.03 $F_1$ on HotpotQA, while improving the average MemoryAgentBench accuracy from 29.54\% to 40.00\%. These results establish sparse historical hidden states as an effective and efficient memory substrate for long-context LLM agents. Our code is available at https://github.com/Haodong-Lei-Ray/TransMem.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.29032v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.