When Classic Cache Policies Fail: Learning-Augmented Replacement for Semantic Retrieval Buffers
LLM 에이전트의 검색 버퍼(retrieval buffer)에서 LRU·LFU 같은 고전적 캐시 교체 정책이 시맨틱 워크로드에서는 FIFO보다도 일관되게 낮은 성능을 보인다는 사실을 밝히고, 이를 해결하기 위해 후회 누적 기반 입장 제어와 베이즈 온라인 학습 기반 퇴출 선택을 결합한 SOLAR 프레임워크를 제안한다. SOLAR는 경쟁비(competitive ratio) ≤ 3의 이론적 보장과 함께 타이트한 캐시 크기에서 FIFO 대비 최대 75%의 상대적 성능 향상을 달성한다.