대규모 언어 모델(LLM)은 강력한 추론 및 생성 능력을 보여주지만, 고정된 컨텍스트 윈도우(context window)로 인해 다중 세션 상호작용 간의 장기 정보 축적 및 재사용이 제한됩니다. 기존 메모리 증강 시스템은 비효율적인 메모리 표현이나 불안정한 제약 없는 업데이트에 의존하여, 종종 대략적이고 불안정한 방식으로 메모리를 구성합니다. 이러한 문제를 해결하기 위해, 우리는 가치 밀도가 높은 저장과 안정적인 메모리 진화를 위해 설계된 장기 메모리 시스템인 AtomMem을 제안합니다. AtomMem은 Fact Executor를 도입하여, 장문 상호작용에서 고가치 원자적 사실(atomic facts)을 선택적으로 추출함으로써 매우 효율적인 메모리 표현으로 활용합니다. 이후 AtomMem은 이러한 사실들을 계층적 이벤트 구조와 시간적 프로필로 조직하여, 일관된 에피소드 컨텍스트를 포착하고 시간이 지남에 따라 동적으로 진화하는 사용자 속성을 추적합니다. 검색(retrieval) 과정에서 시스템은 연상 메모리 그래프를 활성화하여 파편화된 메모리를 연결합니다. LoCoMo 벤치마크에 대한 실험 결과, AtomMem은 다양한 추론 작업에서 최첨단(state-of-the-art) 성능을 달성하는 것으로 확인되었으며, 이는 지능형 개인화 에이전트 배포를 위한 확장 가능하고 경제적으로 실현 가능한 솔루션을 제공합니다.
어시스턴트의 장기 기억(long-term memory)에는 새로운 발화(utterance)가 기존에 저장된 주장(claim)을 언제 폐기(retire)할지 결정하는 게이트(gate)가 필요하다. 이 단계에 대한 벤치마크 레이블은 쌍(pair)을 변경되었는지 아닌지로만 표시하므로, 확정된 변경(established change)에 따라 작동하는 게이트와 단서(hint)에 따라 작동하는 게이트를 구별하지 못한다. 우리는 이 둘을 구분하는 태스크 계약(task contract)을 작성하여(SUPERSEDED 대 NEEDS-CONFIRMATION 대 COMPATIBLE), STALE(변경 쌍과 동일 사용자 대조군으로 구성)로부터 만들어진 500개의 테스트 쌍에 대해 세 명의 LLM 주석자(annotator)와 두 명의 인간 심판자(저자 1명과 추가 주석자 1명; 출처(provenance)를 명시함)로 레이블을 부여하고, 사전등록된 가설(pre-registered hypotheses) 하에서 타입이 지정된(typed) "시스템원(System One)" 결정 모델인 Jev를 평가한다. STALE이 변경되었다고 표시한 179개의 테스트 쌍 중 72개가 계약에서 정한 확정된 변경의 기준을 충족한다. Jev는 동일 대화 내 변경되지 않은 141개의 사례에서 단 한 번도 주장을 폐기하지 않았다. Jev의 실패는 조기 폐기(premature retirement)이다: 이진 게이트(binary gate)는 변경이 단지 제안(suggested)된 것에 불과한 주장의 39.2%를 폐기한다. 삼항 결정(three-way decision)은 이를 15.3포인트(point)의 탐지 비용(detection cost)으로 15.5%까지 낮추는데, 이는 우리가 사전등록한 10포인트 예산(budget)을 초과하며, 이진 게이트 자체의 임계값 프런티어(threshold frontier) 위에 위치한다; 이러한 판정(verdict)은 골드 레이블(gold label)에 대한 세 가지 해석(readings) 모두에서 유지된다. 두 번째 주석자의 레이블을 기준으로 채점한 보류된(held-out) 볼트(vault)에서, 불확실한 사례를 추론 모델(reasoning model)로 에스컬레이션(escalate)하고 개발(development) 데이터에서 가장 우수했던 캐스케이드(cascade)는 단순히 임계값을 높이는 것과 구별되지 않았다(조기 폐기 비율 26.8% 대 개발 데이터에서의 6.5%). 이 격차(gap)의 일부는 골드 레이블에서 비롯된다: 해당 주석자의 해석에 비추어 볼 때, LLM 다수결(majority) 골드는 동일 계열(same-family)의 에스컬레이션 모델과 오류 대부분을 공유하며, 이진 레이블에 대한 한 아이덴티티(identity)는 이러한 공유된 오류가 얼마나 가려지는지를 보여준다. 나머지는 개발 데이터에서의 소규모 샘플 선택(small-sample selection)에 기인한다. 빌더(builder)들에게 이는 이진 점수(binary score)를 삭제(delete) 동작에 바로 연결해서는 안 된다는 것을 의미한다: 제안된 변경은 보류 중인 증거(pending evidence)로 라우팅(route)하고, 이 정도 규모의 개발 데이터에서 선택된 캐스케이드를 신뢰하지 말아야 한다.
대규모 언어 모델(LLM)은 관련 증거가 멀리 떨어진 세션에 걸쳐 흩어져 있을 수 있는 긴 상호작용 기록을 바탕으로 질문에 답하는 데 어려움을 겪습니다. 기존 메모리 시스템은 일반적으로 사용자 질의가 관찰되기 전에 오프라인에서 정교한 메모리 표현을 구축하고 유지하므로 상당한 오버헤드가 발생하고 질의별 정보 요구에 맞춰 메모리 구축을 적응시키는 능력이 제한됩니다. 본 논문에서는 메모리 구축을 추론(inference) 시점으로 미루고 추론 과정에 따라 메모리를 점진적으로 구축하는 테스트 시점 메모리(Test-Time Memory) 구축 프레임워크인 T$^2$Mem을 제안합니다. 구체적으로 T$^2$Mem은 주요 이벤트와 시간적 연관성을 검색 단서로 포착하기 위해 가벼운 에피소드 수준의 메타데이터를 오프라인에서 추출하는 동시에, 에피소드 간의 의존성 재구성을 용이하게 하도록 원본 상호작용에 대한 링크를 유지합니다. 테스트 시점에 LLM은 메타데이터와 원시 상호작용을 적응적으로 검색 및 구성하여 추론이 진행됨에 따라 질의 맞춤형 메모리를 점진적으로 구축합니다. LoCoMo 및 LongMemEval에 대한 실험을 통해 T$^2$Mem은 다양한 백본 LLM 전반에서 강력한 베이스라인을 일관되게 능가하는 동시에 메모리 구축 오버헤드를 대폭 줄임으로써 그 효과를 입증합니다. 추가 분석을 통해 메모리 구축을 추론 시점으로 미룸으로써 메모리 구축 프로세스가 개별 질의의 정보 요구에 동적으로 적응할 수 있음을 보여줍니다. 모든 코드는 https://github.com/OpenBMB/T2Mem 에서 이용 가능합니다.
메모리 증강 대규모 언어 모델(LLM)은 어떤 메모리를 유지할지 결정해야 하며, 최근 시스템들은 작업 성능에 미치는 각 메모리의 영향을 추정함으로써 이를 수행합니다. 그러나 이러한 추정치는 전적으로 검색된 메모리에 의존합니다. 메모리가 전혀 검색되지 않는 경우, 저장소 수준의 개입은 동일한 결과를 낳아 해당 메모리의 효용(utility)을 식별할 수 없는 상태로 남겨둡니다. 이는 메모리 연산만을 검사하는 진단 방식으로는 보이지 않는, 검색 수준의 양의성(positivity) 위반 문제입니다. 본 논문에서는 검색 자체에 개입하여 알려진 성향(propensity)으로 샘플링된 메모리를 위해 고정된 수의 컨텍스트 슬롯을 확보함으로써 식별 가능성을 복원하는 인과적 프레임워크인 인과적 메모리 정책(Causal Memory Policy, CMP)을 제안합니다. CMP는 균형 할당 설계(balanced assignment design) 하에서 자기 정규화 역성향 가중치(self-normalized inverse propensity weighting)를 통해 메모리 효용을 추정합니다. 저자들은 검색을 통한 메모리 효용의 인과적 인수분해, 추정량의 비편향성과 정확한 분산, 그리고 비가역적 연산 하에서의 최적 결정 규칙을 증명합니다. 실증적으로 식별 실패는 LongMemEval에서 필요한 메모리의 54%, LoCoMo에서 67%에 달하며, 이러한 실패는 실제 배포된 메모리 시스템에서도 지속됩니다. CMP는 필요한 메모리와 필요하지 않은 메모리 간의 구별 성능을 0.54 AUC에서 0.66 AUC로 향상시킵니다. 마지막으로, 식별된 메모리 효용만으로는 유지 결정에 충분하지 않음을 보입니다. 쿼리별 효용은 추정 대상이 된 쿼리에서 0.78 AUC에 도달하지만, 유지 정책이 활용할 수 있는 어떤 집계 방식도 보지 못한 쿼리(unseen queries)에 대한 메모리의 가치를 예측하지 못합니다. 코드는 https://anonymous.4open.science/r/cmp-release-D0C3/ 에서 확인할 수 있습니다.
수개월 동안 대화를 나누는 AI 컴패니언은 상대를 이해할 수 있어야 합니다. 상대가 누구인지 알고, 그들이 한 말을 기억하며, 과거의 내용이 현재 중요한 순간을 인식할 수 있어야 합니다. 이를 평가하기 위해서는 실제 대화가 필요하지만, 실제 대화는 사적인 영역이므로 기존 벤치마크들은 가상의 인물과 가상의 질문을 사용해 왔습니다. 본 연구에서는 실제 사람들과 AI 컴패니언 간의 10가지 실제 관계를 바탕으로, 최대 120일에 걸친 27,218개의 메시지를 담은 RealCompanion을 공개합니다. 각 인물에 대해 전체 대화, 프로필, 페르소나, 채팅 테스트 항목, 질문 테스트 항목을 제공합니다. 모든 라벨은 이를 뒷받침하는 메시지를 가리키며, 모든 채팅 라벨에는 이를 도출한 추론 과정이 함께 제공됩니다. 실제 데이터는 세 가지 사실을 보여줍니다. 첫째, 사람들은 과거를 직접 언급하는 경우가 드뭅니다. 이전 발언에 의존하는 메시지는 전체의 3.4%에 불과하며, 의존하더라도 해당 이전 메시지는 대개 매우 먼 시점(중앙값 기준 2,157개 이전 메시지)에 위치합니다. 평균치는 이러한 사실을 가립니다. 가장 최근 메시지만을 살피면 전체적으로는 필요한 메시지를 95.9% 찾아내지만, 과거 멀리 떨어진 메시지의 경우에는 2.2%에 불과합니다. 둘째, AI 시스템은 과거가 중요한 시점을 구분하지 못합니다. 테스트된 탐지기들은 실제 메시지에서 무작위 확률 수준을 간신히 넘겼으며, 동일한 이전 메시지에 '이전 메시지' 대신 '기억'이라는 라벨이 붙으면 모델은 과거 정보가 전혀 필요하지 않은 상황에서도 과거를 10~14%포인트 더 자주 언급했습니다. 셋째, AI 시스템은 상대방이 드러낸 것 이상으로 과도하게 해석합니다. 세 가지 에이전트(agent) 시스템은 각 페르소나를 동등한 수준(F1 0.71)으로 재구성하지만, 상대방을 파악한 뒤 그 이상을 상상해 냅니다. 한 사람을 이해하는 것은 그들의 과거가 언제 중요한지, 그리고 그들이 공유한 내용의 경계가 어디까지인지를 아는 것에 달려 있으며, 이는 오직 실제 대화를 통해서만 평가할 수 있습니다.
OpenClaw와 같은 지속형 AI 어시스턴트는 장기적인 상호작용을 거치며 방대한 양의 연관 기억(memory)을 축적합니다. 이러한 기억이 늘어남에 따라 기억들은 서로를 강화하거나, 맥락에 따라 갈라지거나, 직접적으로 상충할 수 있으므로 올바른 지원을 제공하기 위해서는 개별적인 회상(recall)보다는 기억 간의 관계에 의존해야 합니다. 기존의 장기 기억 벤치마크는 에이전트가 다운스트림 태스크를 수행하는 동안 이러한 관계를 어떻게 보존하고 활용하는지 체계적으로 조사하지 못합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 장기 실행 AI 에이전트의 세밀한(fine-grained) 관계형 기억 식별을 위한 벤치마크인 SubtleMemory를 소개합니다. SubtleMemory는 상호보완적이거나 미묘하거나 모순되는 관계를 구체화하는 변형들을 갖춘 관계 제어 잠재 의미 아티팩트를 구축하고, 이를 현실적인 사용자-에이전트 히스토리에 삽입하여 에이전트가 후속 쿼리 및 지시 사항 수행 시 분산된 관계 구조를 복원하도록 요구합니다. 이 벤치마크는 사용자 관련 및 비사용자 관련 쿼리를 아우르며, 1,090개의 관계 제어 기억 변형 세트에 기반한 10개의 긴 히스토리에 걸쳐 1,522개의 평가 인스턴스를 포함합니다. 6개의 독립형 기억 시스템, 자체 기억 모듈을 갖춘 2개의 Claw 스타일 에이전트, 플러그인 기억 모듈을 갖춘 3개의 Claw 스타일 에이전트를 평가한 결과, 현재 시스템들이 세밀한 관계형 기억 식별에 여전히 취약함을 발견했습니다. 나아가 기억 보존, 검색, 다운스트림 추론 단계 전반에 걸친 뚜렷한 역량 프로파일을 밝혀내는 진단 프로토콜을 제시합니다.
장기 에이전트(agent)는 사용자에 대한 사실뿐만 아니라 공유된 히스토리가 발전함에 따라 특정 에이전트가 해당 사용자와 어떻게 상호작용해야 하는지도 기억해야 합니다. 기존 벤치마크는 주로 사용자의 사실 및 선호도나 여러 사용자 간에 재사용 가능한 경험만을 감독하여, 이러한 관계 특정적 에이전트 메모리를 암묵적인 상태로 남겨두었습니다. 또한, 대부분의 이전 연구는 긴 상호작용 기록에 대한 최종 답변 질의응답(QA)만으로 모델을 측정하므로 평가가 여전히 불완전하고 신뢰하기 어렵습니다. 이를 위해 본 논문에서는 새롭게 정의한 사용자 조건부 관계형 에이전트 메모리(URAM)와 함께 DyadMem을 소개합니다. DyadMem은 동일한 다중 세션 궤적을 따라 사용자 측 메모리와 URAM을 공동으로 주석 처리하여 6가지 메모리 범주를 구성합니다. 요약하자면, 본 벤치마크는 3,065개의 에피소드, 50,961개의 세션, 61,210개의 QA 인스턴스를 포함하며, 광범위한 세션 수준의 수집(Capture) 및 업데이트(Update) 골드 주석, 쿼리 수준의 리콜(Recall) 지원, 그리고 골드 메모리(Gold-Memory)와 전체 파이프라인(Full-Pipeline)이라는 두 가지 QA 설정을 제공합니다. 16개의 공개 가중치(weight) 모델과 4개의 독점 모델 전반에서 골드 메모리 QA는 일관되게 강력한 성능을 보였으나, 전체 파이프라인 QA는 급격히 하락했습니다. 이러한 격차는 본 연구의 세분화된 평가 설계를 명확히 뒷받침합니다. 또한, 여러 정량적 결과는 프론티어 대규모 언어 모델(LLM)에서도 낮은 수집 재현율(recall), 불완전한 검색(Recall), 안전하지 않은 삭제 문제가 발생함을 추가로 보여줍니다. 나아가 엄격한 실험을 수행하여 URAM의 효과를 검증했으며 20개 모델 모두에서 긍정적인 효과를 관찰했습니다. 요약하자면, DyadMem은 해당 분야의 발전을 위해 광범위한 주석 작업을 거친 이중 도메인, 전체 파이프라인 메모리 벤치마크입니다.
장기 메모리는 세션을 거치며 더 유능해지고, 상호작용을 통해 형성된 사용자에 대한 정확하고 진화하는 이해를 유지하는 LLM 에이전트를 약속한다. 그러나 실제로는 이러한 메모리가 이후 응답, 개인화 품질, 과제 성공과 같은 하류 행동을 통해 대부분 평가되며, 그 이해는 간접적으로만 검증되고 메모리 산출물 자체는 거의 감사되지 않는다. 우리는 장기 메모리를 대신 상호작용 후 감사 가능한 산출물로 평가해야 한다고 주장한다. 일반적인 지원 이후, 에이전트가 남긴 메모리로부터 어떤 구조화된 사용자 상태를 재구성할 수 있는가? 우리는 이 관점을 MEMPROBE에 구현한다. MEMPROBE는 메모리를 갖춘 에이전트가 각각 숨겨진 분류체계 기반 사용자 상태 뱅크를 지닌 시뮬레이션 사용자를 유출 제어된 과제 궤적에 걸쳐 지원한 뒤, 전체 저장소(full-store) 및 top-k 접근 모두에서 에이전트의 결과 메모리로부터 그 뱅크를 재구성하는 벤치마크이다. 효율적이고 확장 가능한 측정을 위해 합성 ground truth 위에 구축된 MEMPROBE는 사용자당 31개의 숨겨진 차원을 가진 50명의 시뮬레이션 사용자(복구 대상 1,550개)를 포괄하며 5개의 대표적 메모리 시스템을 시험한다. 최신 메모리 에이전트를 시험한 결과, 성공적인 지원과 복구 가능한 메모리는 서로 다른 역량으로 작동함을 확인한다. 과제 완료율은 메모리 없는 기준선에서도 거의 포화에 가깝지만, 범주 균형 복구는 중간 수준(약 0.6)을 유지하고 top-k 검색에서는 더 낮아진다. MEMPROBE는 메모리 복구를 직접 연구하는 최초의 벤치마크로, 시스템이 보유한 사용자 상태를 재구성하고 ground truth와 대조해 채점한다. 우리는 복구를 향후 메모리 에이전트가 최적화할 구체적 목표로 보고, MEMPROBE를 에이전트가 사용자를 기억하도록 학습되는 환경으로 나아가는 한 걸음으로 본다. 사용자를 더 오래 알수록 더 충실해지도록.
대규모 언어 모델(LLM)을 위한 장기 메모리(long-term memory) 시스템은 다양한 애플리케이션 전반에서 추론 능력을 확장하기 위해 널리 활용되고 있습니다. 현재의 메모리 시스템은 메모리를 구성하고 통합하기 위해 LLM 에이전트에 의존하므로, 비용이 많이 들고 비효율적인 쓰기 연산이 발생합니다. 이러한 한계를 해결하기 위해, 대화형 에이전트의 메모리 연산 비용과 지연 시간을 줄여주는 장기 메모리 시스템인 MemFit을 제안합니다. 메모리 구축을 위해 값비싼 LLM 호출에 의존하거나 압축을 통해 표면적인 세부 정보를 버리는 기존 시스템과 달리, MemFit은 LLM 없이 거의 즉각적인 삽입이 가능한 추가 전용(append-only) 저장소에 각 턴을 원문 그대로 저장하며, 턴을 대체하는 대신 세그먼트 요약으로 색인화합니다. 또한, MemFit은 텍스트 및 멀티모달 환경 모두에서 캡션이 보강된 에피소드에 대해 어휘적·의미적 신호와 크로스 인코더 재순위화(reranking)를 결합하는 LLM 기반이 아닌 다중 경로 검색 전략을 사용합니다. 널리 사용되는 세 가지 벤치마크인 LoCoMo, MemGallery, LongMemEval-S에 대한 실증적 결과는 MemFit이 메모리 구축 시간과 비용을 수배 단축하면서도 최고 수준의 성능(SOTA)을 달성하여, 지속적인 에이전트 메모리를 위한 확장 가능하고 효율적인 설루션을 제공함을 보여줍니다.
장기 기억은 대규모 언어 모델(LLM) 에이전트(agent)가 과거의 상호작용을 기억하고 세션 전반에서 일관성을 유지할 수 있게 해 주지만, 메모리 시스템은 표현, 인덱싱, 검색, 평가 방식이 서로 달라 비교하기가 어렵습니다. 본 논문에서는 공유된 5W(육하원칙) 스타일의 대화형 메모리를 기반으로 하는 통제된 평가 프레임워크를 제시합니다. 국소적 그래프 구성은 공통의 기본 그래프를 순회하며, AdaptiveGraph는 시간순 엣지와 개인화된 페이지랭크(Personalized PageRank) 확산을 추가합니다. 또한 동일하게 추출된 노트에 대한 BM25와 원시 입력을 사용하는 외부 기준선인 OpenClaw를 평가합니다. 검색 순위는 메모리 설정에 따라 달라집니다. LongMemEval-S에서 AdaptiveGraph는 MRR 0.844로 가장 우수한 그래프 구성을 보였으나, BM25는 0.867, OpenClaw는 0.880에 달했습니다. ATANT Core에서는 국소적 그래프 순회가 확산 및 BM25보다 우수한 성능을 보인 반면, 스트레스 라운드에서는 BM25가 앞섰습니다. 테스트된 범위 내에서 LongMemEval-S의 크기를 줄여도 ATANT 확산 패널티가 재현되지 않았으나, 테스트된 가장 작은 저장소도 ATANT Core보다 여전히 컸기 때문에 저장소 크기 영향을 배제할 수 없습니다. 이 패널티는 관대한 콘텐츠 일치 기준 하에서도 지속되었습니다. 어휘 정규화(normalization)와 추출 품질은 그래프 검색에 실질적인 영향을 미치며, 상위 5위권 실패 사례에서는 추출 태그 누락이 흔하게 나타났습니다. 따라서 검색 전략은 메모리 설정과 함께, 그리고 강력한 어휘 기반 기준선과 대조하여 공동으로 평가되어야 합니다.
인간과 디지털 존재 사이의 공생은 인간-기계 상호작용의 미래에 대한 비전을 제시한다. 지속적인 인간-기계 관계에서 성격(personality)은 정체성의 연속성, 상호작용에서의 개별성, 경험을 통한 발달의 토대를 제공한다. 우리는 페르소나 에이전트를 계산적 구현으로 이 역량을 탐구하고, 페르소나 객체의 전 생애주기 동안 이를 관리하기 위한 심리학 기반 운영체제 Emergi-PersonaOS를 소개한다. 이 시스템은 성향적 특성(dispositional traits), 특징적 적응(characteristic adaptations), 서사적 정체성(narrative identity)을 3층 페르소나 표현으로 구조화하며, 상대적으로 지속적인 페르소나 신념과 현재 페르소나 상태에서의 그 활성화를 구분한다. 상황 적응(situational adaptation) 동안에는 현재 대화 상대, 관계, 사건, 검색된 기억을 통합하여 페르소나 상태를 추론하고 행동과 응답을 생성한다. 장기적 발달(long-term development) 동안에는 경험과 결과를 기록하고, 변화 귀인(change attribution), 의미 부여(meaning-making), 행동 검증(behavioral testing)을 통해 수정 후보를 개발하고 평가한다. 신념 업데이트는 명시적 검토, 추적 가능한 증거와 버전 기록, 후보 거부 능력을 통해 관리되어 페르소나 진화를 제어 가능하게 한다. 텔레비전 캐릭터 대화를 종단(longitudinal) 자료로 사용하여 장기간 시스템 운영을 시연하고, 구체적 구현에서 주요 메커니즘을 검토한다. 본 연구는 페르소나 에이전트가 지속적 상호작용에 걸쳐 개별적 연속성을 유지하고, 상황별 표현을 생성하며, 경험을 통해 발달할 수 있도록 하는 계산 프레임워크를 제공한다.
오랜 기간 동안 사용자와 상호작용하는 에이전트는 지속적으로 증가하는 상호작용 기록에서 사실, 선호도, 사건 및 변화를 상기(recall)할 수 있어야 합니다. 기존 메모리 시스템은 상호작용을 일반적인 요약본으로 압축하거나 익명의 텍스트 청크를 검색하는 경우가 많아, 에이전트가 올바른 개체(entity), 속성(property) 및 뒷받침하는 근거를 식별하기 어렵게 만듭니다. 본 논문에서는 에이전트를 위한 개체 구조화 장기 메모리 아키텍처인 EnSIMem을 제안합니다. 오프라인 구축 단계에서 이 시스템은 상호작용을 주제 일관성을 갖는 에피소드로 구성하고, [개체][개체 유형][속성:값] 형태의 대화 기반 색인 항목을 생성합니다. 각 항목은 원래의 대화 턴(turn), 시간 정보 및 사용 가능한 멀티모달 필드를 보존합니다. 온라인 상호작용 단계에서는 에이전트의 요청이 메모리 색인과 속성이 정렬된 근거 요구사항으로 분해됩니다. 이후 개체-속성 조회 및 적응형 검색을 통해 포인트, 시간적, 구성적, 집계 추론에 필요한 근거를 수집합니다. 에이전트는 정보 손실이 있는 메모리 요약본 대신 보존된 원본 근거로부터 응답을 생성합니다. 장기 에이전트 메모리 벤치마크에서 EnSIMem은 간결한 컨텍스트와 우수한 온라인 효율성을 유지하면서도 높은 답변 정확도를 달성합니다. 이러한 결과는 개체 구조화 색인과 에피소드 수준의 출처 추적이 에이전트의 장기 메모리를 위한 신뢰할 수 있는 기반을 제공함을 보여줍니다. 모델의 코드는 https://github.com/RamonMeng/EnSIMem 에서 확인할 수 있습니다.
메모리 증강 LLM 에이전트는 일반적으로 관련 메모리를 검색하여 답변 모델에 직접 전달함으로써 쿼리에 답한다. 이 검색-근거(retrieval-as-evidence) 패러다임은 검색된 메모리가 이미 추론에 적합하다고 가정하며, 답변 모델이 중복성, 충돌, 낮은 관련성을 해결해야 하고 장기 메모리 작업에서 상당한 컨텍스트 오버헤드를 발생시킨다. 우리는 MemChain을 제안한다. 이는 검색 후(post-retrieval) 학습 가능한 메모리 정책으로, 검색된 후보를 답변 지향적 활성 메모리로 변환하며, 이는 간결하고 그라운딩된(grounded) 근거 컨텍스트로 표현된다. 사용자 쿼리와 검색된 후보가 주어지면, MemChain은 먼저 질문 조건부 근거 계획을 생성하고, 다음으로 의미적 역할과 의존성에 따라 검색된 메모리를 구성하는 순서화된 그라운딩된 근거 추적(trace)을 구축하며, 마지막으로 명시적 메모리 액션을 실행하여 답변 생성을 위한 간결한 근거 컨텍스트를 생성한다. 중재자(mediator)를 학습하기 위해, 우리는 2단계 학습 프레임워크를 도입한다. 지도 학습 기반 추적(trace) 학습은 먼저 정책이 구조적으로 유효한 계획, 추적, 액션, 근거 컨텍스트를 생성하도록 가르친다. 그다음 우리는 Trace-Guided Memory Policy Optimization(TMPO)을 제안한다. 이는 하류 답변 품질을 사용하여 메모리 정책을 최적화하는 강화학습(reinforcement learning) 목적 함수로, 여러 롤아웃에 걸쳐 추적 그라운딩, 근거 지원, 구조적 유효성, 답변 안정성을 공동으로 장려한다. LoCoMo 및 LongMemEval-S에서의 실험은 MemChain이 폐쇄형 및 오픈 가중치(open-weight) 고정 답변 모델 모두에서 일관되게 최첨단(state-of-the-art) 성능을 달성하면서, 답변 모델에 전달되는 메모리 컨텍스트를 상당히 줄인다는 것을 보여준다.
대규모 언어 모델(LLM)에서 장기 기억(long-term memory)을 다루는 능력은 점점 더 중요해지고 있지만, 기존 벤치마크는 여전히 영어 중심이며 집계적 검색(retrieval) 지표에 의존하여 장거리 문맥, 시간 정보, 추론 간의 상호작용을 포착하지 못한다. 이를 해결하기 위해 우리는 RUMBA(Russian User Memory BenchmArk)를 제안한다. RUMBA는 장기 대화 기억을 위한 새로운 벤치마크로, 메모리 중심 질문 유형에 대한 세밀한 분류 체계와 의미 유형, 세션 범위, 시간적 추론, 시간 표현의 명시성을 고려하는 통합 방법론을 제공한다. RUMBA는 타임스탬프가 붙은 사용자-어시스턴트 대화와 세션 간 검색, 결합, 추론을 요구하는 QA 쌍으로 구성된다. 러시아어를 위해 설계되었지만, 동일한 방법론 하에 정렬된 영어 부분집합도 제공한다. 우리는 현대적인 메모리 시스템과 장문맥 모델을 평가하고, RUMBA가 벤치마크 슬라이스 전반에 걸친 모델 동작을 분석하고 서로 다른 메모리 메커니즘의 강점과 실패 양상을 식별하는 진단 도구로 어떻게 활용되는지 보여준다.
메모리 관리자 모델은 에이전트 시스템에서 핵심적이다. 기존 방법은 주로 LLM이 판단한 합성 질의응답(QA) 쌍에 의존하여, 메모리 가치 평가가 샘플링된 쿼리와 하위(downstream) 리더에 종속되게 만든다. 이 한계를 해결하기 위해, 우리는 하위 QA 정확도와 내재적 조건부 상호정보량(Conditional Mutual Information, CMI)을 결합한 하이브리드 보상을 갖춘 강화학습(RL) 기반 경량 메모리 관리자 모델인 CMI-Mem을 제안한다. CMI는 샘플링된 QA 쿼리에 조건을 걸지 않고, 현재 메모리 상태 대비 새로운 대화 입력이 기여하는 정보를 평가하므로, QA 그라운딩(grounding)을 대체하기보다 이를 보완한다. 코드는 https://github.com/Wyb0627/CMIMem 에서, CMI-Mem-4B 모델 체크포인트는 https://www.modelscope.cn/models/wyb0627/CMIMem-4B 에서 이용할 수 있다.
잠재 메모리(latent memory)는 과거 지식 단편을 층별 은닉 상태(hidden state)로 저장하는 방식으로, 대규모 언어 모델(LLM)에서 장기 기억을 위한 유망한 패러다임(예: MemoryLLM, M+)으로 부상했다. 그러나 이 패러다임은 메모리 업데이트 시 위치 인코딩(positional encoding) 불일치와 목표 메모리 단편과 무관한 단편을 구분할 추적(tracing) 메커니즘 부재로 인해 성능이 크게 저하되는 문제가 있다. 이러한 추적 메커니즘을 찾기 위해, 저장된 메모리 단편에 대한 층별 어텐션 밀도를 탐색(probe)한 결과, 소수의 중간 트랜스포머 층이 목표 단편에 일관되게 가장 높은 밀도를 집중시킨다는 것을 발견했으며, 이는 내재적인 추적 신호를 드러낸다. 이를 바탕으로 우리는 MemDefrag를 제안한다. 이는 학습 불필요(training-free)이며 모델 불문(model-agnostic)인 프레임워크로, (1) 중간 층 추적 신호를 이용해 메모리 조각 모음(순위 지정, 재정렬, 필터링)을 수행하고, (2) 용량 초과 시 정보량(informativeness) 기반 비례 망각(forgetting) 메커니즘을 적용한다. 실험 결과 MemDefrag는 지식 보존(예: 메모리 업데이트 50회 후 43.0% vs. 17.4%/17.6%)과 장문맥 벤치마크에서 MemoryLLM 및 M+를 크게 능가하며, 다양한 LLM과 잠재 메모리 변형에도 잘 일반화된다. 코드는 github.com/ryehr/MemDefrag에서 제공된다.
장기 메모리는 여러 세션에 걸친 확장된 상호작용에서 사용자와 함께하는 LLM 기반 에이전트의 핵심 역량이 되었다. 그러나 기존 벤치마크는 이러한 메모리를 거의 전적으로 하류 질의응답(question answering)을 통해 평가하며, 최종 답변의 정확성만 채점한다. 이러한 블랙박스(black-box) 방식은 관련 사실의 도입을 놓치거나, 연산을 잘못된 대상에 바인딩(binding)하거나, 수정 이후 낡은 값에 의존하는 것과 같이 메모리 실패의 이질적인 원인들을 혼동한다. 그 결과 일관되지 않거나 안전하지 않은 메모리 상태에 의존함에도 불구하고 정답을 점수로 인정할 수 있다.
본 논문에서는 동적인 장기 상호작용에서 메모리는 정적인 사실의 집합이 아니라 기억, 망각, 갱신, 성찰 및 이들의 조합을 포함하는 명시적 연산의 생명주기(lifecycle)라고 주장한다. 우리는 대화 메모리를 생명주기 연산의 시퀀스로 재구성하고, 각 메모리 이벤트를 트리거(trigger), 대상(target), 범위(scope), 상태 전이(state transition), 근거(supporting evidence)를 명시하는 구조화된 추적(trace)으로 표현하는 벤치마크 MemOps를 제안한다. 제어 가능한 생성 파이프라인은 이러한 연산을 긴 과제 지향(task-oriented) 대화에 내장하고, 인접 근거(adjacent-evidence) 및 장문맥(long-context) 설정 모두에서 평가되는 6가지 범주의 연산 수준(operation-level) 프로브와 함께 골드(gold) 연산 추적을 생성한다.
장문맥, 검색 기반, 파라메트릭(parametric), 관리형(managed) 메모리 시스템 전반에 걸쳐 MemOps는 최종 답변 정확도만으로는 드러나지 않는 실패 모드를 분리해 보여 주며, 현재 시스템들이 여전히 균일하게 신뢰할 수 있는 수준에 한참 미치지 못함을 밝힌다. 예를 들어, 세션 수준(session-level) 검색은 턴 수준(turn-level) 검색보다 우수하며, 장문맥 모델은 순서가 있는 메모리 상태 궤적(trajectory)을 재구성하는 데 여전히 현저히 취약하다. 이러한 결과는 장기 메모리 평가를 최종 답변 채점에서 해석 가능한 연산 수준 진단으로 이동시킨다.
반복적 추론 없이 단일 순전파로 반사적 비디오 이해를 구현하는 멀티모달 에이전트 프레임워크 Light-Omni를 제안하며, 에피소딕 메모리에서 통합된 전역 상태(global state)와 의미론적으로 정렬된 검색 임베딩을 생성하는 잠재 상태(latent state)의 이중 컨텍스트 설계를 통해 M3-Agent 대비 평균 2.4% 정확도 향상, 12.1× 속도 향상, 2.6× GPU 메모리 효율 개선을 달성했다.
Large language model (LLM) agents rely on long-term memory to support extended interactions and personalized assistance beyond finite context windows. Existing memory agents actively update external memory through generated write, revise, and delete operations, but these updates may omit important information, corrupt existing memory, or introduce unsupported hallucinated content. Once stored, such errors become persistent system-state failures that can affect future reasoning and generation. In this paper, we propose TrustMem, a framework designed to improve the trustworthiness of memory consolidation. TrustMem relies on a Memory Transition Verifier to evaluate the transition process of memory updates in terms of coverage, preservation, and faithfulness. It further constructs preference pairs among candidate updates under the same memory state, enabling preference-guided reinforcement learning to directly optimize memory updating behaviors. Extensive experiments demonstrate that TrustMem improves both memory utility and reliability: it achieves state-of-the-art results across MemoryAgentBench, HaluMem, and the Mem-alpha validation set, improves HaluMem memory extraction by 12.14 F1 points, and reduces transition-level omission, corruption, and hallucination by 40.1\%, 79.1\%, and 50.0\%, respectively, compared with the strongest baseline for each error type.
DynamicMem은 이커머스·피트니스·소셜 등 16개 앱에 걸친 15개월 분의 합성 다중 앱 활동 로그로, 속성·습관·선호도가 서로 다른 시간 축에서 진화하는 장기 사용자 메모리를 평가하는 벤치마크다. 다섯 가지 대표 시스템 평가에서 기록이 길어질수록 프로필 재구성 정확도는 떨어지지만 서비스 태스크 정확도는 유지되며, 실패의 93% 이상은 답변 생성이 아니라 메모리 검색에서 발생해 개선 여지가 메모리 자체에 있음을 보인다.