메모리를 활용한 투기 실행: LLM 에이전트의 무손실 가속
Speculate with Memory: Lossless Acceleration for LLM Agents
투기 실행(speculative execution)은 환경이 유휴 상태일 때 더 작고 비용이 적은 모델을 사용해 다음 단계를 예측하고 선행 실행함으로써 LLM 에이전트를 가속한다. 그러나 기존 투기기(speculator)는 상태를 유지하지 않으며 작업 간 모든 정보를 폐기하므로, 경험이 쌓여도 예측 품질이 개선되지 않는다. 우리는 과거 에이전트 궤적에서 학습하는 세 가지 온라인 메모리 시스템을 투기기에 장착한다: 행동 시퀀스 통계를 추적하는 대조 전이 표(contrastive transition table), 문맥적으로 유사한 구간을 검색하는 에피소드 메모리(episodic memory), 반복 오류를 억제하는 혼동 추적기(confusion tracker). 이 접근법을 행동 예측, 관찰 예측, 연쇄 예측의 세 가지 투기 유형을 아우르는 여섯 개의 벤치마크에서 평가한다. 메모리가 증강된 투기는 행동 예측에서 19–39%의 상대적 정확도 향상을 달성하며, 반복적인 행동 공간을 가진 관찰 예측 작업에서는 최대 2.5배의 향상을 보인다. 이러한 이득은 메모리가 축적될수록 지속적으로 커지며, 비용이 다른 다양한 투기기 모델에 걸쳐 일반화된다. 모든 투기는 유휴 시간 동안 실행되어 추가 벽시계(wall-clock) 비용이 0이기 때문에 무손실이며, 액터(actor)의 궤적은 비투기 실행과 동일하다.