장기 에이전트(agent)는 경험이 축적됨에 따라 증가하는 스토리지 요구량 문제에 직면합니다. 월드 모델(world model)은 각 경험마다 저장해야 하는 정보량을 줄일 수 있는 재사용 가능한 규칙성을 포착합니다. 본 논문에서는 월드 모델에 조건화된 메모리 할당 문제를 공식화하고, 공유된 예측을 활용하여 보존되는 정보를 압축하고 생략된 콘텐츠를 재구성하는 프레임워크인 MemoWM을 제안합니다. MemoWM의 작업 인식(task-aware) 할당 규칙은 재구성 오류의 예상 영향과 스토리지 비용 간의 균형을 맞추어, 예측 사전 확률(predictive prior)을 넘어서는 다운스트림 가치를 지닌 정보를 보존합니다. 5개의 장기 에이전트 메모리 벤치마크(benchmark)에서 MemoWM은 평균 42.42%의 정답 정확도를 달성하여 가장 강력한 기준선(baseline)을 2.62% 포인트 앞섰으며, 스토리지 효율성이 가장 높은 기준선인 MIRIX 대비 평균 경험별 스토리지 사용량을 53.9% 줄였습니다. 추가 분석에 따르면 더 강력한 월드 모델일수록 유사한 작업 품질에서 경험당 스토리지 요구량을 감소시키는 것으로 나타났습니다. 모델 파라미터를 고려했을 때 공유 모델 용량과 반복적인 스토리지 비용 사이의 절충 관계가 드러나며, 더 많은 상호작용이 유지될수록 전체 스토리지를 최소화하는 용량 또한 증가합니다. 코드는 https://github.com/Feld-maxiu/MemoWM 에서 확인할 수 있습니다.
장기 자아 중심 질의응답(long-horizon egocentric QA)에서 기존 계층적 텍스트 요약 방식이 반복 상호작용을 명시적으로 보존하지 못해 검색 효율이 떨어지는 문제를 해결하기 위해, Imprint는 관찰을 구조화된 Interaction Record로 표현하고 반복성·최신성·독특성 기반 중요도 신호로 온라인 메모리 압축을 수행하는 프레임워크를 제안한다. EgoLifeQA 벤치마크에서 동일한 LLM 기준으로 QA 정확도를 31.0%에서 35.8%로 높이고, EgoRAG 대비 근거 기반 답변을 6배 향상시키면서 메모리 사용량과 검색 지연 시간을 각각 2.3배, 11.8배 절감하였다.
대규모 언어 모델(LLM) 에이전트는 장기적인 상호작용(long-term interaction)을 수행해야 하는 요구가 점차 증가하고 있으며, 이 과정에서 미래 작업을 지원하기 위해 과거 대화의 정보를 보존하고 검색해야 합니다. 그러나 상호작용이 누적됨에 따라 메모리 저장소(memory store)는 제한 없이 증가하고 중복된 항목으로 채워지게 되는데, 이는 저장 비용을 증가시키고 가장 유용한 증거를 밀어내어 검색 성능을 저하시킵니다. 더욱이 이는 엄격한 메모리 예산(hard memory budget)이 있는 리소스가 제한된 플랫폼에서 특히 큰 제약이 되므로, 우리는 이미 구축된 메모리 저장소를 고정된 예산 내로 유지하면서 미래 상호작용에 유용한 정보를 보존하는 작업인 '저장 공간 예산 기반 메모리 관리(storage-budgeted memory management)'를 정의하게 되었습니다. 이를 위해 본 연구에서는 MemRefine을 제안합니다. MemRefine은 LLM 기반 프레임워크로서, 표면적 유사도(surface similarity)가 사실적 가치를 잘 반영하지 못한다는 점을 고려하여 유사도를 통해 후보 쌍만 제안하고, 삭제, 병합, 보존에 대한 결정은 사실적 내용을 기반으로 LLM 판정자(LLM judge)에게 위임한 뒤 예산이 충족될 때까지 이 과정을 반복합니다. 다양한 메모리 프레임워크와 장기 대화 벤치마크(benchmark)에서 수행한 실험 결과, MemRefine은 목표 예산을 일관되게 충족시키면서 다운스트림(downstream) 성능을 유지하였으며, 제한된 예산 상황에서 규칙 기반 베이스라인(rule-based baselines)보다 우수한 성능을 보였습니다.