MATRX 도시 수색·구조(USAR) 환경에서 사람이 기록한 과거 협업 패턴(collaboration patterns)을 지식 그래프(knowledge graph) 에피소드 기억으로 표현하고, 그래프 표현 학습과 노드 분류로 재사용할 대표 패턴을 자동 선택해 새 협업 전 로봇을 초기화하는 방법을 제안한다. 20명 참가자·160라운드 실험에서 구조 성공률은 25.7%에서 41.3%로, 평균 작업 시간은 283초 줄었으며 개선 효과는 상호작용 초기에 가장 두드러졌다.
선형 어텐션(linear attention)은 롱컨텍스트(long-context) 언어 모델링에 필요한 효율성을 제공하지만, 크기가 고정된 순환 상태(recurrent state)가 지속적인 연산을 지원하는 동시에 계속 증가하는 과거 정보를 보존해야만 합니다. 이러한 결합은 상태의 메모리 용량이 모델의 롱컨텍스트 능력을 규정한다는 지배적인 관점을 강화해 왔습니다. 본 연구에서는 순환 연산이 장기 저장의 모든 부담을 짊어질 필요가 없다는 점을 들어 이러한 한계성에 의문을 제기합니다. 우리는 미래의 쿼리를 알 수 없는 상태에서 선별된 텍스트를 보관하고, 백본의 고유 특징을 활용하여 기록 및 주소 지정을 수행하며, 리플레이(replay)를 통해 고유의 순전파 연산으로 검색된 근거를 읽어오는 희소 에피소딕 메모리인 NoteBank를 소개합니다. 이 학습 불필요(training-free) 플러그 앤 플레이(plug-and-play) 인터페이스는 외부 임베딩 모델이나 별도로 학습된 검색기, 독립된 신경망 리더(neural reader)를 필요로 하지 않습니다. 100만 토큰 환경에서, 이는 Gated DeltaNet의 6개 RULER 검색 태스크 평균 정확도를 1.7%에서 70.3%로 향상시켰으며, 4K에서 1M 토큰까지 유의미한 검색 성능 저하가 관찰되지 않았습니다. 이러한 성능 회복 과정에서 추가되는 이론적 FLOPs는 0.025% 이하($\leqslant$0.025%)에 불과하며, 영구 컨텍스트 저장 공간은 동일한 너비, 깊이 및 정밀도 조건의 트랜스포머 전체 MHA KV 캐시 대비 약 1/2,600 수준입니다. 실험은 세 가지 1.3B 순환 백본부터 Mamba-2-8B 및 사후학습(post-training)을 거친 Qwen3.5-9B까지 확장되어 LongBench v1/v2와 MemoryAgentBench 전반에서 성능 향상을 입증했습니다. 종합적으로 이러한 결과는 희소 근거 저장과 고유 리플레이 메커니즘이 순환 연산의 효율성을 유지하면서도 사전학습된 선형 어텐션 모델의 롱컨텍스트 역량을 크게 확장할 수 있음을 보여줍니다.
심리학은 인지에 관한 많은 원리를 제시해 왔습니다. 그러나 각 원리는 개별적으로 개발되어, 이들을 결합했을 때의 설명력은 알려지지 않은 채로 남아 있었습니다. 우리는 기존에 확립된 소수의 원리들을 하나의 모델로 통합했으며, 이를 COntextual Retrieval and Encoding(CORE)이라고 명명했습니다. CORE는 예측 오차가 기록되는 일화 기억(episodic memory)의 계층 구조로 구성되며, 이 기억의 인코딩(encoding), 검색(retrieval), 망각은 맥락(context)에 의존합니다. 137개 실험에서 수집된 7,036,442개의 선택 데이터에 공동으로 적합(fit)된 이 모델은 블랙박스 모델보다 인간의 선택을 더 잘 예측하며, 시뮬레이션 시 보고된 행동 효과의 75%를 재현합니다. 또한, 모델의 잠재 변수들은 베이즈 학습(Bayesian learning)과 사건 분할(event segmentation)의 전형적인 특징을 보여줍니다. 종합하면, 이러한 발견은 소규모의 인지 코어가 인간 행동의 상당 부분을 설명한다는 점을 시사합니다. 나아가 전체 실험 기록을 기반으로 계산 모델(computational model)을 구축함으로써, 심리학을 개별 부분의 합 이상으로 발전시킬 수 있는 길을 열어줍니다.
대규모 언어 모델(LLM)은 관련 증거가 멀리 떨어진 세션에 걸쳐 흩어져 있을 수 있는 긴 상호작용 기록을 바탕으로 질문에 답하는 데 어려움을 겪습니다. 기존 메모리 시스템은 일반적으로 사용자 질의가 관찰되기 전에 오프라인에서 정교한 메모리 표현을 구축하고 유지하므로 상당한 오버헤드가 발생하고 질의별 정보 요구에 맞춰 메모리 구축을 적응시키는 능력이 제한됩니다. 본 논문에서는 메모리 구축을 추론(inference) 시점으로 미루고 추론 과정에 따라 메모리를 점진적으로 구축하는 테스트 시점 메모리(Test-Time Memory) 구축 프레임워크인 T$^2$Mem을 제안합니다. 구체적으로 T$^2$Mem은 주요 이벤트와 시간적 연관성을 검색 단서로 포착하기 위해 가벼운 에피소드 수준의 메타데이터를 오프라인에서 추출하는 동시에, 에피소드 간의 의존성 재구성을 용이하게 하도록 원본 상호작용에 대한 링크를 유지합니다. 테스트 시점에 LLM은 메타데이터와 원시 상호작용을 적응적으로 검색 및 구성하여 추론이 진행됨에 따라 질의 맞춤형 메모리를 점진적으로 구축합니다. LoCoMo 및 LongMemEval에 대한 실험을 통해 T$^2$Mem은 다양한 백본 LLM 전반에서 강력한 베이스라인을 일관되게 능가하는 동시에 메모리 구축 오버헤드를 대폭 줄임으로써 그 효과를 입증합니다. 추가 분석을 통해 메모리 구축을 추론 시점으로 미룸으로써 메모리 구축 프로세스가 개별 질의의 정보 요구에 동적으로 적응할 수 있음을 보여줍니다. 모든 코드는 https://github.com/OpenBMB/T2Mem 에서 이용 가능합니다.
연속 환경에서의 비전-언어 내비게이션(VLN-CE)은 에이전트가 궤적 일관성을 위해 장기 시각 이력을 유지하면서 낮은 지연으로 동작을 실행해야 한다. 기존 비디오 기반 VLN 접근법은 일반적으로 두 요구를 동시에 충족하는 데 어려움을 겪는다. 이러한 과제를 해결하기 위해, 우리는 실시간 추론 효율(14 FPS)로 최신(state-of-the-art) 성능을 달성하는 새로운 VLN 프레임워크인 MemVLN을 제안한다. MemVLN은 연속 관측을 처리하는 시각 인코더와 지시를 해석하고 동작을 생성하는 대규모 언어 모델(LLM)을 활용한다. 우리 접근법의 핵심은 피라미드 해상도를 적용하는 에피소드 메모리 관리이다. 이 메커니즘은 압축된 장기 이력을 유지하면서 즉각적 지각에 계산을 집중한다. 이 설계를 보완하여, 우리는 자기회귀(auto-regressive) 디코딩 지연을 우회하기 위해 원자적 중간 수준 동작의 간결한 어휘로 빠른 동작을 위한 절차적 메모리를 도입한다. VLN-CE에서의 실험은 MemVLN-4B가 R2R에서 5.8% SR, RxR에서 9.7% SR만큼 기준선 Qwen3-VL-4B 아키텍처를 능가하며, 추론 지연에서 7배 속도 향상을 달성함을 보여준다.
인간의 일화 기억(episodic memory)은 긴 시간 척도에 걸쳐 전개되는 경험의 인출을 지원하지만, 인간 장기 기억 실험에서 메커니즘에 대한 접근이 제한적이어서 이 능력의 기저에 있는 계산적 메커니즘은 여전히 논쟁의 대상이다. 긴 컨텍스트 대규모 언어 모델(LLM)은 이러한 유형의 인출을 구동하는 그럴듯한 계산적 메커니즘을 밝히는 유망한 방법을 제공할 수 있다. 여기서 우리는 시간 순서 기억 과제를 통해 LLM이 일화 기억의 핵심 행동적 특성을 포착하는지, 그리고 어떻게 포착하는지를 조사한다. 장편 소설에 대한 기억에 기반한 새로운 인간 행동 데이터셋을 사용하여, 모델이 이 과제에서 인간에게서 관찰되는 것과 동일한 특징적인 거리 효과(distance effect)를 보임을 보인다. 이어서 긴 컨텍스트 기계론적 해석가능성(mechanistic interpretability) 분석을 적용하여 모델이 이 과제를 어떻게 푸는지 밝히고, 모델 성능이 단일 시간-재활성화(time-reinstatement) 어텐션 헤드에 의해 인출 시 재활성화되는 1차원 시간 코드에 의존함을 발견한다. 이러한 결과는 시간적 맥락 재활성화가 LLM에서 일화적 시간-순서 기억을 위한 중요한 메커니즘임을 지지하며, 장기 일화 기억의 시간적 측면이 인공 및 생물학적 시스템 모두에서 어떻게 구현될 수 있는지에 대한 새로운 통찰을 제공한다.
기억 임베딩(memory embedding)은 OpenClaw와 같은 기억 증강 시스템에 있어 핵심적인 요소이지만, 현재의 텍스트 임베딩 벤치마크에서는 그 평가가 충분히 이루어지지 않고 있다. 기존 벤치마크는 전통적인 패시지 검색에만 초점을 맞추어, 단편적이고 문맥 의존적이며 시간적으로 분산된 정보를 다루는 장기 기억 검색 태스크에 대한 모델의 능력을 평가하지 못한다. 이러한 공백을 해소하기 위해, 우리는 복잡한 장기 기억 검색에 대한 임베딩 모델 평가를 위한 포괄적 프레임워크인 장기 기억 임베딩 벤치마크(LMEB, Long-horizon Memory Embedding Benchmark)를 소개한다. LMEB는 에피소딕(episodic), 대화(dialogue), 시맨틱(semantic), 절차적(procedural)의 네 가지 기억 유형에 걸쳐 22개의 데이터셋과 193개의 제로샷 검색 태스크로 구성된다. 이 기억 유형들은 추상화 수준과 시간적 의존성 측면에서 서로 다르며, 실세계의 다양한 과제를 반영하는 기억 검색의 각기 다른 측면을 포착한다. 우리는 수억 개에서 100억 개 규모의 파라미터를 가진 15개의 널리 사용되는 임베딩 모델을 평가하였다. 실험 결과, (1) LMEB는 적절한 수준의 난이도를 제공하며, (2) 더 큰 모델이 항상 더 나은 성능을 보이지는 않고, (3) LMEB와 MTEB는 상호 직교하는 능력을 측정함을 확인하였다. 이는 모든 기억 검색 태스크에서 우수한 성능을 발휘할 수 있는 범용 모델이 아직 등장하지 않았으며, 전통적인 패시지 검색에서의 높은 성능이 반드시 장기 기억 검색으로 이어지지는 않음을 시사한다. LMEB는 기억 임베딩 평가의 핵심적인 공백을 채우고 장기적·문맥 의존적 검색의 미래 발전을 지원하는 표준화되고 재현 가능한 프레임워크를 제공한다.
최근 멀티모달 LLM 기반 에이전트는 웹 내비게이션에서 인상적인 능력을 보여주었으며, 다양한 도메인에서 복잡한 브라우징 작업을 완수할 수 있게 했다. 그러나 현재 에이전트는 반복적인 오류에 취약하며 세션에 걸친 과거 경험으로부터 학습하는 능력이 부족해, 장기적 견고성과 샘플 효율성이 제한된다. 우리는 WebCoach를 제안한다. WebCoach는 모델에 구애받지 않는 자기 진화형 프레임워크로, 웹 브라우징 에이전트에 지속적인 세션 간 메모리를 제공하여 재학습 없이 장기 계획, 성찰(reflection), 지속 학습(continual learning)을 향상시킨다. WebCoach는 세 가지 핵심 구성 요소로 이루어진다: (1) 원시 내비게이션 로그를 간결한 요약으로 표준화하는 WebCondenser, (2) 완전한 궤적(trajectory)을 에피소드 경험으로 구조화하는 External Memory Store, (3) 유사성과 최근성에 기반해 관련 경험을 검색하고 런타임 훅(runtime hooks)을 통해 에이전트에 작업별 조언을 주입할지 결정하는 Coach. 이 설계는 웹 에이전트가 고유 컨텍스트 윈도우를 넘어 장기 메모리에 접근할 수 있게 하여, 복잡한 브라우징 작업에서의 견고성을 개선한다. 또한 WebCoach는 새로운 내비게이션 궤적에서 에피소드 메모리를 지속적으로 큐레이션함으로써 자기 진화를 달성하며, 재학습 없이 시간에 따라 에이전트가 개선되도록 한다. WebVoyager 벤치마크에서의 평가는 WebCoach가 세 가지 서로 다른 LLM 백본에 걸쳐 브라우저 사용 에이전트의 성능을 일관되게 향상시킴을 보여준다. 38B 모델을 사용할 때, 평균 단계 수를 줄이거나 유지하면서 작업 성공률을 47%에서 61%로 높인다. 특히 WebCoach를 적용한 더 작은 기본 모델은 GPT-4o를 사용하는 동일한 웹 에이전트와 비슷한 성능을 달성한다.
투기 실행(speculative execution)은 환경이 유휴 상태일 때 더 작고 비용이 적은 모델을 사용해 다음 단계를 예측하고 선행 실행함으로써 LLM 에이전트를 가속한다. 그러나 기존 투기기(speculator)는 상태를 유지하지 않으며 작업 간 모든 정보를 폐기하므로, 경험이 쌓여도 예측 품질이 개선되지 않는다. 우리는 과거 에이전트 궤적에서 학습하는 세 가지 온라인 메모리 시스템을 투기기에 장착한다: 행동 시퀀스 통계를 추적하는 대조 전이 표(contrastive transition table), 문맥적으로 유사한 구간을 검색하는 에피소드 메모리(episodic memory), 반복 오류를 억제하는 혼동 추적기(confusion tracker). 이 접근법을 행동 예측, 관찰 예측, 연쇄 예측의 세 가지 투기 유형을 아우르는 여섯 개의 벤치마크에서 평가한다. 메모리가 증강된 투기는 행동 예측에서 19–39%의 상대적 정확도 향상을 달성하며, 반복적인 행동 공간을 가진 관찰 예측 작업에서는 최대 2.5배의 향상을 보인다. 이러한 이득은 메모리가 축적될수록 지속적으로 커지며, 비용이 다른 다양한 투기기 모델에 걸쳐 일반화된다. 모든 투기는 유휴 시간 동안 실행되어 추가 벽시계(wall-clock) 비용이 0이기 때문에 무손실이며, 액터(actor)의 궤적은 비투기 실행과 동일하다.
세계를 지속적으로 관찰하고, 본 것을 기억하며, 축적된 경험을 바탕으로 추론할 수 있는 어시스턴트를 구축하는 것은 오래된 목표이며, 최근 비디오 스트림에 대한 장기 메모리를 갖춘 멀티모달 에이전트에 대한 관심이 증가하고 있다. 안타깝게도 기존 시스템들은 메모리를 모델 컨텍스트 내부에 보관하거나 평탄한 특징 저장소에 보관하며, 스트림이 실제로 다루는 지속적인 엔티티가 아닌 프레임을 중심으로 조직하기 때문에, 제한된 길이의 비디오에만 국한되고 시간이 지남에 따라 재등장하는 인물과 대상을 추적하는 능력이 약해진다. 본 논문에서는 개방형 비디오 스트림을 위한 엔티티 중심 멀티모달 메모리 시스템인 ReflectWorld-MM을 제안한다. 이 시스템은 세 부분으로 구성된다. 첫째, 제한된 단기 메모리 하에서 시청각 스트림을 엔티티 해석이 완료된 관측으로 변환하는 지각(perception) 프론트엔드이다. 둘째, 인간 메모리 이론에 기반한 계층적 장기 메모리로, 다중 스케일 에피소드 메모리, 진화하는 엔티티 중심 의미 메모리, 절차적 메모리를 결합한다. 셋째, 임의의 스트림을 수집하고 기성 어시스턴트에 연결할 수 있도록 실제 운용을 위해 구축된 완전한 구현이다. 여섯 개의 장기 비디오 및 평생 메모리 벤치마크에서 ReflectWorld-MM은 여섯 벤치마크 모두에서 최고 정확도를 달성하여, 강력한 메모리 에이전트와 프론티어 모델을 능가한다.
장기 멀티모달 대화에서 시각 토큰 폭발과 턴 간 참조 불안정 문제를 해결하기 위해, 시각 정보를 에피소딕 시각 메모리로 외재화하고 지각 추상화 엔진·인지 검색 엔진·멀티모달 실행 컨트롤러로 구성된 인지 구조 기반 멀티모달 에이전트를 제안한다. 강화학습 기반 추상화·검색 정책 최적화를 통해 8B 에이전트가 20턴 세션에서 91.4%의 검색 정확도를 달성하여 32B 기준 모델을 +8.2% 상회하면서도 턴당 추론 시간을 절반으로 단축했다.
공간 추론은 지능형 로봇에게 핵심적인 능력이지만, 현재의 비전-언어 모델(VLM)은 비디오 기반 공간 추론에서 인간 수준의 성능에 아직 미치지 못한다. 이 격차는 주로 두 가지 과제에서 비롯된다: 일관된 3D 이해를 방해하는 의미론적-기하학적 불일치, 그리고 프레임 간 3D 표현 및 이해를 유지하는 지속적 메모리의 부재이다. 이러한 한계를 해결하기 위해, 우리는 VLM$^2$를 제시한다. 이는 순수한 2D 비디오로부터 시점 일관적이고 3D를 인식하는 표현을 활용하여 공간 추론을 수행하는 지속적 메모리를 갖춘 비전-언어 모델이다. 구체적으로, 즉각적인 컨텍스트에 집중하기 위해 슬라이딩 윈도우 방식으로 작동하는 작업 기억(working memory)과 프레임 전반에 걸쳐 중요한 정보를 통합하고 저장하는 에피소딕 메모리(episodic memory)로 구성된 이중 메모리 모듈을 도입한다. 이 설계는 고정된 계산 비용 하에서 제한적이고 효율적인 공간 추론을 가능하게 한다. 다수의 벤치마크에서 수행한 광범위한 실험을 통해 VLM$^2$가 비디오 기반 모델 중 최첨단 성능을 달성하며, 시각적 공간 지능의 경계를 크게 발전시킴을 보인다.
We study a single idea across two settings: that a prediction-error signal, computed by a small predictor over the latent space of a frozen encoder, can serve both as a gate on plasticity and as a substrate for metacognition. In the first system, a non-parametric episodic memory writes a new concept only when this surprise is high, and a periodic offline replay phase consolidates recent traces into a slow linear readout. On a continual stream of 1000 ImageNet classes with a frozen DINOv2 or I-JEPA backbone, the consolidation phase recovers 17.7 points of retention on the oldest classes for DINOv2 and 51.3 points for I-JEPA (single-seed runs), and an ablation shows that replaying only a recent window is worse than no replay at all. In few-shot evaluation the same memory reaches 91.6% on 5-way 1-shot mini-ImageNet, above a task-specific baseline, while a harder 500-way regime exposes the true difficulty. In the second system, the same surprise signal, computed in a shared text-image space, modulates the behaviour of a vision-language model: it answers assertively when a concept is known, hedges when it is partially familiar, and refuses to identify the object and asks for an explanation when it is novel, learning the concept from a single user utterance. The external detector separates known from novel concepts at an AUROC of 0.966 (95% CI +/-0.024), far above the model's own verbalised confidence (0.618), while its token-level confidence sits below chance under greedy decoding; after a sleep phase that empties the fast store, the system recalls 99.2% of fifty taught facts from the consolidated store while a base model recovers none. We report both systems as proof-of-concept, with explicit limitations, and position the second against recent episodic-memory and personalised-VLM work.
의미론적 간섭 하에서 인간의 일화 기억과 검색-증강 생성(RAG) 시스템의 검색 한계는 어떻게 비교될까? 우리는 두 시스템 모두에 적용되는 통합 신호 탐지 이론(SDT) 프레임워크를 제시하고, 이를 매칭된 패러다임에서 행동 및 계산 데이터에 피팅하는 데 사용한다. 두 시스템 모두 연관 수(팬)에 따른 로그적 정확도 감소를 보이지만, 인간은 밀집 구절 검색($α/σ= 0.67$)보다 낮은 간섭 민감도($α/σ= 0.41$)를 나타내며, 인지적으로 영감을 받은 HippoRAG는 두 값 사이($α/σ= 0.44$)에 위치한다. 행동 실험($N = 112$)과 시뮬레이션이 프레임워크를 검증하며, 매개변수 복원은 식별 가능성($r \geq .93$)을 확인하고 모델 비교는 로그 명세가 거듭제곱 법칙 대안보다 우수함을 지지한다($Δ$BIC $> 15$). 우리는 인코딩 특이성, 시간적 맥락 결합, 검색 게이팅을 인과적 역할이 아직 규명되지 않은 후보 메커니즘으로 논의한다. 여섯 가지 반증 가능한 예측이 인지 기억 연구와 AI 검색 평가를 연결한다.
월드 모델은 장기 계획을 수행하는 대규모 언어 모델(LLM) 에이전트에게 선견 능력, 즉 행동 실행 전 결과를 예측하는 능력을 부여하는 원칙적인 방법을 제공한다. 그러나 신뢰할 수 없는 선견은 무시되거나 오용되거나 하위 의사결정을 오히려 저하시킬 수 있다. 본 논문에서는 하위 에이전트와 모든 모델 파라미터를 동결한 채로 배포 시점의 컨텍스트를 수정하는 자기 진화 월드 모델 프레임워크 WorldEvolver를 소개한다. WorldEvolver는 세 가지 모듈을 통합한다: (i) 검색 기반 시뮬레이션을 통해 실제 행동 전이를 활용하는 에피소딕 메모리(Episodic Memory), (ii) 예측-관찰 불일치로부터 지속적인 휴리스틱 규칙을 추출하는 시맨틱 메모리(Semantic Memory), (iii) 낮은 신뢰도의 예측을 에이전트 추론 컨텍스트에 통합하기 전에 필터링하는 선택적 선견(Selective Foresight). ALFWorld와 ScienceWorld에서 WorldEvolver를 평가하며, Word2World에서 월드 모델 예측 정확도와 AgentBoard에서 하위 에이전트 성공률을 측정한다. 광범위한 실험을 통해 WorldEvolver가 세 가지 백본에 걸쳐 가장 높은 예측 정확도를 달성하고 하위 에이전트 성공률에서 다른 월드 모델 베이스라인을 앞서며, 테스트 시점 메모리 수정이 예측 충실도와 계획 성능 모두를 향상시킴을 보인다.
대규모 언어 모델 기반 에이전트는 다중 라운드 반성(multi-round reflection)을 통해 단일 태스크 내 실패를 복구할 수 있지만, 각 태스크는 독립적인 에피소드로 남아 있다: 한 태스크에서 여러 반성 라운드를 통해 얻은 교훈은 다음 태스크가 시작되기 전에 사라진다. 우리는 코드 생성 태스크에서 이 격차를 연구한다. 에이전트는 과학 논문의 한 섹션으로부터 오픈소스 Manim 라이브러리를 이용하여 Python 코드를 작성하고 수학적 애니메이션을 렌더링한다. 우리는 ManimAgent를 제안한다. 이는 자기 진화형 멀티모달 에이전트로, 가중치 업데이트나 인간 시드 없이 자체 태스크 스트림으로부터 완전히 성장하는 이중 채널 에피소딕 메모리 뱅크(Episodic Memory Bank)를 통해 태스크 간 반성 경험을 이어간다. 각 애니메이션이 수렴한 후, 비전-언어 모델이 렌더링된 키프레임을 채점하며, 결과 신호는 성공 근거를 소프트 참조 예시(Reference Examples)로 저장하는 긍정 채널 M+와, 검증된 실패 패턴을 하드 기지 함정(Known Pitfalls)으로 저장하는 부정 채널 M-를 채운다. 메모리 없음, 동일 예산의 검색-증강 생성(RAG), 셔플된 메모리 기준선에 대한 고정 프로브 평가에서, 블라인드 인간 평가자의 Pass@1은 상승하고 반성 라운드 수는 메모리 크기가 증가함에 따라 감소한다. 코드, 고정된 메모리 스냅샷, 태스크 스트림을 공개할 예정이다.
강화학습(RL)은 근본적으로 낮은 데이터 효율성과 약한 일반화로 인해 제한을 받는다. 기존 에피소드 강화학습 방법은 외부 메모리 모듈을 통해 이를 완화하려 시도했지만, 두 가지 핵심 한계가 있다: 얕은 인코더로 인한 표현 병목, 그리고 에피소드 메모리에 무차별적으로 접근하는 검색 딜레마. 이러한 과제를 해결하기 위해, 우리는 에피소드 강화학습에 대규모 언어 모델(LLM)을 통합하는 새로운 아키텍처인 Agentic Episodic Control(AEC)을 제안한다. AEC는 LLM 기반 시맨틱 증강기(semantic augmenter)를 사용해 원시 관측으로부터 시맨틱 표현을 생성하고, 중요 상태 인식기(critical state recognizer)를 통해 가치 있는 경험을 선택적으로 검색한다. 이는 메모리 사용을 수동적 유사도 매칭에서 전략적이고 문맥 인식적인 회상으로 전환한다. 다섯 개의 BabyAI-Text 환경에서 AEC는 기준선(baseline) 대비 2-6배 높은 데이터 효율성을 달성하며, UnlockLocal과 같은 복잡한 과제를 90% 이상의 성공률로 해결한 유일한 방법이다. 또한 강한 교차 과제 및 교차 환경 일반화를 보여주며, 분포 이동(distribution shift) 하에서도 성능을 유지한다. AEC는 LLM 유래 사전지식(prior)과 강화학습을 결합하면 더 샘플 효율적이고 적응력 있는 에이전트(agent)를 만들 수 있음을 보여준다.
Minecraft 환경의 장기(long-horizon) 에이전트에서 저수준(low-level) 컨트롤러의 성능 병목을 해결하기 위해, 관찰과 작업 관련성을 명시적 인과 구조로 연결하는 Causal Event Graph를 갖춘 WISE 프레임워크를 제안한다. 이는 인과적 추론을 통한 기회적 작업 재배치를 통해 장기 희소 작업에서의 성공률과 효율성을 크게 향상시킨다.