잠재 메모리(latent memory)는 과거 지식 단편을 층별 은닉 상태(hidden state)로 저장하는 방식으로, 대규모 언어 모델(LLM)에서 장기 기억을 위한 유망한 패러다임(예: MemoryLLM, M+)으로 부상했다. 그러나 이 패러다임은 메모리 업데이트 시 위치 인코딩(positional encoding) 불일치와 목표 메모리 단편과 무관한 단편을 구분할 추적(tracing) 메커니즘 부재로 인해 성능이 크게 저하되는 문제가 있다. 이러한 추적 메커니즘을 찾기 위해, 저장된 메모리 단편에 대한 층별 어텐션 밀도를 탐색(probe)한 결과, 소수의 중간 트랜스포머 층이 목표 단편에 일관되게 가장 높은 밀도를 집중시킨다는 것을 발견했으며, 이는 내재적인 추적 신호를 드러낸다. 이를 바탕으로 우리는 MemDefrag를 제안한다. 이는 학습 불필요(training-free)이며 모델 불문(model-agnostic)인 프레임워크로, (1) 중간 층 추적 신호를 이용해 메모리 조각 모음(순위 지정, 재정렬, 필터링)을 수행하고, (2) 용량 초과 시 정보량(informativeness) 기반 비례 망각(forgetting) 메커니즘을 적용한다. 실험 결과 MemDefrag는 지식 보존(예: 메모리 업데이트 50회 후 43.0% vs. 17.4%/17.6%)과 장문맥 벤치마크에서 MemoryLLM 및 M+를 크게 능가하며, 다양한 LLM과 잠재 메모리 변형에도 잘 일반화된다. 코드는 github.com/ryehr/MemDefrag에서 제공된다.
비전-언어-액션(VLA) 정책은 뛰어난 단일 단계 조작을 달성했지만, 각 단계가 방금 완료된 것에 의존하는 상황에서는 여전히 취약합니다. 핵심 문제는 구조적입니다. 짧은 윈도우(short-window) VLA는 하위 작업 경계를 넘어 정보를 라우팅하는 명시적인 채널이 부족하며, 기존의 메모리 증강 변형들은 매 프레임마다 기록하거나, 데모 시점 단계에서 검색하거나, 액션 전문가(action expert)로의 명시적인 하위 작업 간 인계를 수행하지 않고 하위 목표 이벤트에서 발동됩니다. 우리는 하위 목표 완료 이벤트를 하위 작업 간 메모리 인계를 위한 자연스러운 시간적 단위로 식별하고, WeaveLA(비전-언어-액션 정책을 위한 잠재 메모리 위빙)를 제시합니다. WeaveLA는 동결된 VLA 백본 위에서 쿼리 기반 어텐션 풀링을 통해 완료된 각 세그먼트를 잠재 토큰으로 압축하고 이를 다음 하위 작업의 액션 생성 경로로 직접 라우팅하는 하위 작업 간 메모리 인터페이스입니다. 이러한 이벤트 트리거 방식의 액션 측 설계는 가벼운 하위 작업 간 채널을 추가하면서 기본 정책의 짧은 윈도우 인터페이스를 보존합니다. $\pi_{0.5}$ 백본을 사용한 RoboMME에 대한 계층화 평가를 통해, WeaveLA의 이득은 채널이 필요한 곳에 정확히 나타남을 확인했습니다. 가장 어려운 반복 슬라이스(SwingXtimes, $N{=}3$)에서 성공률은 $0\%$에서 $47.8\%$로 상승한 반면, 단일 실행 에피소드는 변화가 없었습니다. 에피소드별 쌍 분석은 이득이 하위 작업 간 정보를 필요로 하는 인과 구조를 가진 작업으로 제한됨을 확인해 줍니다.
비전 다중 에이전트 시스템(VMAS)은 에이전트 간 협업을 통해 종합적인 능력을 향상시킬 것을 약속하지만, 실증적 증거는 직관에 반하는 "스케일링 벽(scaling wall)"을 보여줍니다. 즉, 에이전트 턴(turns)을 늘리는 것은 종종 성능을 저하시키면서 토큰 비용을 기하급수적으로 증가시킵니다. 우리는 이러한 실패를 텍스트 중심 통신에 내재된 정보 병목에 기인한다고 봅니다. 지각 및 사고 궤적(trajectories)을 이산적인 자연어로 변환하는 과정에서 필연적으로 의미 손실(semantic loss)이 발생하기 때문입니다. 이를 위해 우리는 이중 잠재 메모리를 통해 에이전트 간 협업을 가능하게 하는 새로운 모델에 구애받지 않는(model-agnostic) 프레임워크인 L2-VMAS를 제안합니다. 또한, 우리는 이중 잠재 메모리를 동적으로 합성하는 동시에 지각과 사고를 분리합니다. 더불어, 수동적인 정보 전송을 효율적이고 요청에 따른(on-demand) 메모리 접근으로 대체하는 엔트로피 기반의 능동적 트리거링(triggering)을 도입합니다. 백본(backbone), 크기, 다중 에이전트 구조에 걸친 광범위한 실험을 통해, 우리의 방법이 탁월한 확장성(scalability)으로 "스케일링 벽(scaling wall)"을 효과적으로 깨뜨리며, 토큰 사용량을 21.3-44.8% 감소시키면서 평균 정확도를 2.7-5.4% 향상시킴을 입증했습니다.