연속 환경에서의 비전-언어 내비게이션(VLN-CE)은 에이전트가 궤적 일관성을 위해 장기 시각 이력을 유지하면서 낮은 지연으로 동작을 실행해야 한다. 기존 비디오 기반 VLN 접근법은 일반적으로 두 요구를 동시에 충족하는 데 어려움을 겪는다. 이러한 과제를 해결하기 위해, 우리는 실시간 추론 효율(14 FPS)로 최신(state-of-the-art) 성능을 달성하는 새로운 VLN 프레임워크인 MemVLN을 제안한다. MemVLN은 연속 관측을 처리하는 시각 인코더와 지시를 해석하고 동작을 생성하는 대규모 언어 모델(LLM)을 활용한다. 우리 접근법의 핵심은 피라미드 해상도를 적용하는 에피소드 메모리 관리이다. 이 메커니즘은 압축된 장기 이력을 유지하면서 즉각적 지각에 계산을 집중한다. 이 설계를 보완하여, 우리는 자기회귀(auto-regressive) 디코딩 지연을 우회하기 위해 원자적 중간 수준 동작의 간결한 어휘로 빠른 동작을 위한 절차적 메모리를 도입한다. VLN-CE에서의 실험은 MemVLN-4B가 R2R에서 5.8% SR, RxR에서 9.7% SR만큼 기준선 Qwen3-VL-4B 아키텍처를 능가하며, 추론 지연에서 7배 속도 향상을 달성함을 보여준다.
대규모 언어 모델(LLM)은 정적 솔버로서 뛰어난 성능을 발휘하지만, 이를 자율 에이전트로 전환하는 것은 여전히 어렵다. 이 전환을 위해서는 지속적인 환경 상호작용이 필요하지만, 현재의 에이전트는 필수적인 지속적 절차적 메모리가 부족하다. 기존 접근법은 주로 검색-증강 생성(RAG)을 활용하여 명시적인 텍스트 가이드라인을 모델 컨텍스트에 주입한다. 그러나 기호적 지시문에만 의존하면 텍스트-행동 불일치가 발생할 수 있으며, 올바른 태스크 수행에 필요한 내부 표현을 활성화하는 데 자주 실패한다. 이를 해결하기 위해 본 논문은 명시적 지시문 대신 암묵적 활성화 조종을 통해 에이전트 메모리를 표현하는 학습 불필요 프레임워크인 신경 절차적 메모리(NPM, Neural Procedural Memory)를 제안한다. NPM은 과거 대조 경험으로부터 절차적 기술을 증류하여 활성화 공간의 조종 벡터로 변환함으로써, 태스크 관련 신경 메커니즘을 직접 활성화하여 태스크 수행을 안내한다. 네 가지 에이전트 벤치마크에 대한 평가 결과, NPM은 명시적 텍스트 지시문을 사용하는 기준 모델과 비슷한 성능을 보인다. 또한, 암묵적 조종과 명시적 워크플로우를 결합하면 상호 보완적 이점을 제공하여 더 강건한 태스크 수행으로 이어짐을 결과가 보여준다. 표현 분석에 따르면 이러한 조종 벡터는 일관된 태스크 논리를 인코딩하며, 활성화 공간 내에 조직화된 구조를 형성한다. 이러한 발견은 암묵적 활성화 조종이 에이전트 메모리 관리를 위한 유망한 접근법임을 시사한다.
절차적 기억은 반복적인 업무 태스크에서 LLM 에이전트를 개선하는 데 점점 더 많이 사용되고 있지만, 재사용 가능한 스킬을 생성하는 능력은 여전히 잘 이해되지 않았다. 우리는 AFTER를 소개한다. AFTER는 6개의 전문 직무와 22개의 절차적 스킬에 걸친 382개의 현실적인 기업 태스크로 구성된 벤치마크로, 태스크, 직무, 모델 백본 간 스킬 전이를 평가하도록 설계되었다. 이 벤치마크는 국소적 개선, 태스크 간 전이, 직무 간 전이, 모델 간 일반화에 대한 통제된 평가 설정을 포함한다. 실험 결과, 절차적 기억은 산업 워크플로에서 일관된 성능 향상을 제공한다. 단 한 번의 정제 라운드만으로도 종합 성능이 3.7–6.7 포인트 향상되며, 다양한 다중 모델 실행 트레이스에서 진화한 스킬은 73.1%의 모델 간 테스트 정확도를 달성하여 모든 단일 모델 트레이스 소스를 능가한다. 또한 일부 스킬은 태스크와 모델에 걸쳐 넓게 일반화되는 반면, 다른 스킬은 특정 직무 워크플로에 특화되어 전이 시 효과를 잃는다는 것을 확인했다. 이 결과는 프로덕션 에이전트 플랫폼에서 절차적 기억 시스템을 구축, 평가, 배포하는 데 실용적인 지침을 제공한다.
대규모 언어 모델(LLM)은 도구를 사용하는 에이전트로서 유망한 가능성을 보이지만, 지식을 기억하고 조직하며 재사용해야 하는 장기(long-horizon) 과제에서는 여전히 한계가 있다. 기존 메모리 접근법은 이러한 상황을 해결하려 하지만, 주로 사실적 정보 저장에 초점을 맞춘다. 절차 기억(procedural memory)에 대한 최근 연구는 과제 재사용을 개선하지만, 종종 실패 사례나 온라인 확장성을 다루지 않고 과거 성공을 재생하는 수준에 그친다. 우리는 단기 및 장기 저장소를 결합한 이중 수준 설계에서 의미 기억(semantic memory), 일화 기억(episodic memory), 절차 기억을 통합하는 통합적이고 자동화된 메모리 프레임워크를 제안한다. 액터, 메모리, 비평가(critic) 에이전트를 갖춘 다중 에이전트 아키텍처는 자동 메모리 생성, 보상 주석, 적응적 검색을 가능하게 한다. 장기 기억은 보상 기반 평가, 병합, 가지치기를 통해 관리되어 확장성과 지속적 개선을 보장한다. 다양한 환경에서의 실험은 우리 접근법이 기존 베이스라인 대비 장기 다중 턴 과제에서 견고성과 성공률을 향상시킴을 보여준다. 이 연구는 LLM 기반 에이전트 발전을 위해 포괄적이고 적응적인 메모리의 중요성을 강조한다.