연속적인 인식을 위해서는 멀티모달 대규모 언어 모델(MLLM)을 오프라인에서 온라인 스트리밍 비디오 이해로 전환하는 것이 필수적입니다. 그러나 기존 방식들은 유연한 적응성이 부족하여 비가역적인 세부정보 손실과 문맥 단편화를 초래합니다. 이를 해결하기 위해, 우리는 뇌의 로그 지각 및 기억 고정화에서 영감을 얻은 주파수-공간 하이브리드 메모리 네트워크인 FreshMem을 제안합니다. FreshMem은 두 가지 시너지 모듈을 통해 단기 충실도와 장기 일관성을 조화시킵니다. 첫째는 넘쳐나는 프레임을 대표 주파수 계수로 투영하고 잔차 세부정보로 보완하여 전역적인 과거 "요점(gist)"을 재구성하는 다중 스케일 주파수 메모리(MFM)이며, 둘째는 적응형 압축 전략을 사용하여 연속적인 스트림을 일화적 클러스터로 이산화하고 이를 고밀도 공간 썸네일로 증류하는 공간 썸네일 메모리(STM)입니다. 광범위한 실험을 통해 FreshMem이 Qwen2-VL 기준선(baseline) 성능을 크게 향상시켜 StreamingBench, OV-Bench, OVO-Bench에서 각각 5.20%, 4.52%, 2.34%의 성능 향상을 달성함을 입증했습니다. 별도의 학습(training)이 필요 없는 트레이닝-프리 솔루션으로서 FreshMem은 완전 파인튜닝된 여러 방식들을 능가하며, 장기 스트리밍 비디오 이해를 위한 고효율 패러다임을 제시합니다.
기억 공고화(memory consolidation)는 학습자가 현재 수행할 수 있는 작업과 향후 구현 가능한 상태로 남는 변화를 모두 결정합니다. 본 연구에서는 안정성-증거-수정(SER; stability-evidence-revision) 프레임워크 하에서 연산적 상태 추상화와 최적 제어의 유한 모델(model) 종합을 개발합니다. '푸앵카레와 벨만의 만남'이라는 명칭은 두 가지 상호보완적인 역할을 나타냅니다. 정성적 동역학은 재사용 가능한 행동-반응 구조를 식별하고, 동적 계획법(dynamic programming)은 획득, 유지, 재사용, 병합 및 망각에 대한 비용을 평가합니다. 재귀성(recurrence)은 미래 수요의 시점과 가치를 통해 별도로 개입합니다. 저자들은 능동적인 몫 병합(quotient merging)과 역사적 정보 소거를 구별하고, 무오차 함수 코딩(zero-error functional coding) 및 인과적 이동(causal migration)을 통한 정확한 수정을 규명하며, 은닉 상태와 배치된 완전 기억의 결합 법칙에 대한 벨만 재귀식을 도출합니다. 최초 복귀 모델은 명시적인 유지 규칙을 산출합니다. 조건부 결과는 인자 공유가 조합 열거를 방지하는 방법과 독립적인 정보성 관측이 식별 능력을 향상시키는 동시에 일부 무오차 증거 예산은 변경하지 않고 유지하는 방식을 보여줍니다. 유한 열거를 통해 코딩 및 유지 계산을 검증합니다. 이러한 종합은 보편적 재귀성, 제한된 메모리 기반의 개방형 학습, 또는 다루기 쉬운 전역 계획을 주장하지 않으면서도, 지정된 유한 모델에 대한 정확한 벤치마크를 제공합니다.
지난 수십 년간 기계학습 알고리즘 설계에서는 초기의 과제별 얕은 모델 연구에서부터 더 범용적인 심층 대규모 언어 모델(LLM)에 이르기까지 괄목할 만한 발전이 있었다. 즉각적인 예측이나 문맥 내 학습(ICL)이 필요한 과제에서 유망한 결과를 보이고 있음에도 불구하고, 기존 모델들은 지속적으로 학습하고 일시적인 문맥 내 지식을 장기 파라미터로 효과적으로 전이하는 능력이 부족하다. 인간의 학습 과정에서 영감을 받아, 우리는 모델이 지속적으로 학습하고, 단기적이고 취약한 기억을 리플레이(replay)를 통해 안정적인 장기 지식으로 증류하며, '드리밍(Dreaming)' 과정을 통해 재귀적으로 스스로를 개선할 수 있게 하는 '수면(Sleep)' 패러다임을 제안한다. 구체적으로, 수면은 두 단계로 구성된다: (1) 기억 통합(Memory Consolidation): 지식 시딩(Knowledge Seeding)이라 불리는 상향식 지식 증류(distillation) 과정으로, 더 작은 자아(smaller-self)의 기억을 더 큰 네트워크로 증류하여 지식을 보존하면서 더 많은 용량을 확보한다. 개념 증명으로, 우리는 지식 시딩을 위한 새로운 일반화 지식 증류 과정(온-정책(on-policy) 증류와 강화학습(RL) 기반 모방 학습의 결합)을 제시한다; (2) 드리밍(Dreaming): 모델이 강화학습을 활용하여 인간의 감독 없이 새로운 지식을 연습하고 기존 능력을 정제하기 위한 합성 데이터 커리큘럼을 생성하는 자기 개선 단계. 장기 수평선(long-horizon), 지속 학습(continual learning), 지식 통합(knowledge incorporation), 퓨샷(few-shot) 일반화 과제에서 수행한 실험들은 수면 단계의 중요성을 뒷받침한다.
장기 실행 AI 에이전트는 상호작용 전반에 걸쳐 연속성을 필요로 하지만, 연속성은 단순히 프롬프트 윈도우를 확장하는 것만으로는 확보할 수 없다. 에이전트는 유용한 과거 경험을 보존하고, 선택적으로 검색하며, 개인적 맥락을 외부 증거와 구별하고, 기저 상황이 변화할 때 메모리를 수정할 수 있어야 한다. 우리는 두 직교 축을 따라 구성된 아키텍처적 메모리 기반을 제안한다: 구조화된 레코드, 벡터 표현, 그래프 관계에 걸친 표현 축과 단기 추적, 중기 추상화, 장기 의미론적 커밋에 걸친 시간 축이다. 핵심 설계 제약은 동기화된 구조-벡터-그래프 메모리로, 구조화된 레코드는 적격성을 결정하고, 벡터 표현은 회상을 지원하며, 그래프 관계는 게이트된 컨텍스트 프로젝션 이전에 지지, 모순, 대체를 판정한다. 중심 주장은 신뢰할 수 있는 개인화가 메모리 설계 문제라는 것이다: 유용한 메모리는 미분류 대화 기록으로 저장되는 것이 아니라, 구조화되고 선택적으로 노출되며 지속적으로 통합되고 인식론적으로 레이블된다. 프레임워크를 넘어, 우리는 구조화된 레코드, 벡터 검색, 시간적 정책, 그래프 기반 수정을 구현하는 경량 프로토타입으로 MRMS를 구체화한다. 이 프로토타입은 명시적인 증거 요건을 갖춘 제어된 장기 상호작용 시나리오에서 생성 전 메모리 선택, 수정, 경계 강제, 증거 귀인을 통해 핵심 기반 메커니즘을 실증한다.
장기 실행 언어 에이전트(agent)가 어떤 경험을 모델 파라미터에 영구적으로 각인할지 선택적으로 결정하는 문제를 다루며, 가성(valence)과 놀람(surprise)의 이중 게이트로 고가·고놀람 경험만 게이티드 LoRA에 통합하는 EVAF(Echo-Valence Attractor Field) 메커니즘과 테스트-재테스트 프로토콜을 제안한다. GPT-2 및 TinyLlama 등 네 가지 아키텍처에서 EVAF는 동결·검색 전용·비게이팅 지속 업데이트 기준선 대비 간섭 후 행동 지속성이 높고 파라미터 드리프트는 낮으며, 사실 검색과 경험 내면화가 서로 구별되는 연산임을 실험적으로 뒷받침한다.
대규모 언어 모델(LLM) 에이전트는 압축된 메모리를 통해 단계와 세션 간에 결론을 전달하며, 메모리 제품(예: mem0, LangMem)은 대화를 이후 단계들이 신뢰하는 저장된 "사실"로 재작성한다. 우리는 이러한 재작성이 확신을 조작해낸다는 것을 보여준다. 우리가 구성한 에이전트 설정 전반에 걸쳐, 가볍고 유보적인 발언이 확신에 찬 날짜 기입 단언으로 변환되어 에이전트가 검증된 사실처럼 따르고, 직면하는 모든 권한 초과 요청을 허가하게 된다. 공격자는 필요하지 않다. 한때 사실이었고 이후 수정되지 않은 역할이 단순 사실로 저장되어 의도적인 주입처럼 행동의 근거가 된다. 이어서 우리는 에이전트가 무엇에 반응하는지 분리한다. 그것은 출처가 아니다. 출처가 명시된 경우, 명시되지 않은 경우, 심지어 위조된 "기록 시스템" 주장 모두 동일하게 허가를 부여한다. 그것은 표현의 확신도다. 완화 표현은 할인되고, 단언은 복종을 유발하며, 이는 특별한 키워드 없이도 성립한다. 그러나 모든 완화 표현이 동등하지는 않다. 증거적 표현 방식이 가장 덜 할인되며, "reportedly"는 대부분의 모델에서 단언처럼 복종을 유발한다. 명백한 수정 방법들은 실패한다. 수동적인 "미검증" 태그는 무시되고, 능동적인 "이것을 신뢰하지 말라"는 지시는 올바른 메모리까지 에스컬레이션시키므로, 결정을 거부함으로써만 안전하다. 실질적인 수정은 저장소에 있다. 잠정적인 표현을 업그레이드하지 않고 유지하는 것이다. 그러나 이는 위생 조치일 뿐, 확신에 찬 거짓말을 쓸 수 있는 공격자에 대한 방어책이 아니다. 배포 가능한 교훈은 더 좁고 건설적이다. 단일 핵심 메모리가 위험 요소이며, 하나의 중복 출처가 올바른 의사결정을 복원한다. 우리는 테스트 하네스와 시연 자료를 공개한다.
장시간 실행 언어 에이전트는 검색이 다루지 못하는 메모리 깊이(memory depth), 즉 작업 컨텍스트 언로드 후에도 지속되는 목표 조건부 경향을 소규모 파라미터 저장소에 기록하는 문제를 제기하고 loop-drift 프로토콜로 이를 분리 평가한다. 놀람(surprise)과 정서 가치(valence) 게이팅 LoRA 통합인 EVAF는 GPT-2·TinyLlama에서 목표 지속성·언로드 후 회복 0.812–0.904를 달성하며, 200개 이벤트당 2–3회 쓰기로 얕은 사실 회상에 강한 RAG와 상보적임을 보였다.
Large language model (LLM) agents rely on long-term memory to support extended interactions and personalized assistance beyond finite context windows. Existing memory agents actively update external memory through generated write, revise, and delete operations, but these updates may omit important information, corrupt existing memory, or introduce unsupported hallucinated content. Once stored, such errors become persistent system-state failures that can affect future reasoning and generation. In this paper, we propose TrustMem, a framework designed to improve the trustworthiness of memory consolidation. TrustMem relies on a Memory Transition Verifier to evaluate the transition process of memory updates in terms of coverage, preservation, and faithfulness. It further constructs preference pairs among candidate updates under the same memory state, enabling preference-guided reinforcement learning to directly optimize memory updating behaviors. Extensive experiments demonstrate that TrustMem improves both memory utility and reliability: it achieves state-of-the-art results across MemoryAgentBench, HaluMem, and the Mem-alpha validation set, improves HaluMem memory extraction by 12.14 F1 points, and reduces transition-level omission, corruption, and hallucination by 40.1\%, 79.1\%, and 50.0\%, respectively, compared with the strongest baseline for each error type.
트랜스포머 기반 대규모 언어 모델이 장문맥 작업을 처리할 때 어텐션 메커니즘의 확장성이 심각한 제약이 되고 있는 상황에서, 이 연구는 생물학적 수면 메커니즘에서 영감을 얻은 혁신적인 메모리 통합 기법을 제시합니다. 제안된 방법은 모델이 주기적으로 최근의 컨텍스트를 상태-공간 모델 (State-Space Model, SSM) 블록의 영구적인 빠른 가중치 (fast weights)로 변환한 후 키-값 캐시를 비우는 수면-같은 통합 메커니즘에 기반합니다. 이 과정에서 모델은 누적된 컨텍스트에 대해 N번의 오프라인 반복 통과를 수행하며, 학습된 국소 규칙을 통해 빠른 가중치를 업데이트하게 됩니다. 이러한 설계의 핵심 장점은 추가 계산을 모두 수면 단계에 이동시킴으로써 추론 시점의 지연 시간을 변화시키지 않으면서도 깊이 있는 추론을 지원할 수 있다는 점입니다.
연구팀은 셀룰러 오토마톤, 다중 홉 그래프 검색 (Depo), 그리고 현실적인 수학 추론 작업 (GSM-Infinite)을 포함한 세 가지 점진적으로 복잡한 환경에서 방법을 검증했습니다. 셀룰러 오토마톤 작업에서는 반복 없는 기준선이 약 10% 정확도에 머물렀던 반면, 4개의 수면 루프를 사용한 모델은 30% 이상의 정확도를 달성하여 3배 이상의 성능 향상을 보였습니다. Depo 작업에서는 오프라인 루프의 개수를 늘릴수록 특히 고수준의 다중 홉 검색이 필요한 복잡한 쿼리에서의 학습 속도가 가속화되었으며, 가장 어려운 16-홉 작업에서는 4-루프 모델만이 유의미한 개선을 보였습니다. 현실적인 수학 추론 작업인 GSM-Infinite에서는 깊이-반복 모델인 Ouro 1.4B가 4개의 수면 루프를 통해 6개 연산이 필요한 문제에서 정확도를 0.419에서 0.615로 약 20% 향상시켰으며, 더 많은 연산이 필요한 8개 연산 문제에서도 지속적인 성능 개선을 보였습니다. 특히 슬라이딩 윈도우 제거 전략을 적용한 실험에서는 좁은 컨텍스트 윈도우 환경에서 0.596에서 0.905로의 극적인 52% 정확도 향상을 기록하여, 제안된 방법이 검색뿐 아니라 관련 컨텍스트 압축과 깊은 추론 모두에 효과적임을 입증했습니다.
이 연구의 핵심 발견은 수면 기간의 증가가 특히 더 깊은 추론을 요구하는 작업에서 눈에 띄는 성능 향상을 가져온다는 점으로, 이는 추가의 오프라인 계산이 장문맥 처리 및 다단계 추론 능력의 향상에 필수적임을 시사합니다. 학습 처리량은 수면 루프 개수에 비례하여 감소하지만, 추론 시의 지연 시간은 유지되므로 잠재 시간 민감 응용에 적합합니다. 결과적으로 이 연구는 트랜스포머의 근본적인 확장성 문제를 해결하면서도 실제 추론 성능을 향상시키는 실용적인 솔루션을 제공함으로써, 더욱 견고하고 정확한 대규모 언어 모델의 개발에 유의미한 기여를 하고 있습니다.