대규모 언어 모델(LLM)의 인기가 높아짐에 따라, 의미적으로 유사한 질의를 가진 사용자가 재사용할 수 있도록 응답을 캐싱하는 것은 추론(inference) 비용과 지연 시간을 줄이기 위한 필수적인 전략이 되었습니다. 기존 캐싱 프레임워크는 유한하고 이미 알려진 이산적 질의 집합을 가정한 뒤 서빙 비용과 질의 도착 확률을 학습하여 어떤 질의 응답을 캐싱할지 결정하는 방식을 제안해 왔습니다. 그러나 LLM 사용자와 질의 풀이 확장됨에 따라 이러한 가정은 점점 더 유지하기 어려워지고 있으며, 실제 LLM 질의는 무한하고 연속적인 임베딩(embedding) 공간에 존재합니다. 본 논문에서는 불확실성 하의 연속 질의 공간에서 시맨틱 LLM 응답 캐싱을 위한 최초의 엄밀한 이론적 프레임워크를 정립합니다. 이산 최적화와 연속 표현 공간 간의 격차를 좁히기 위해, 본 연구는 커널 리지 회귀(Kernel Ridge Regression)와 결합된 동적 $ε$-net 이산화 기법을 도입합니다. 이 설계를 통해 시스템은 추정 불확실성을 정형화하여 정량화하고, 연속적인 시맨틱 질의 이웃 전반에 걸쳐 LLM 질의 비용에 대한 부분적인 피드백을 일반화할 수 있습니다. 또한 캐시된 응답을 변경할 때 발생하는 전환 비용(switching cost)을 줄이도록 최적화된 오프라인 학습 및 온라인 적응형 알고리즘을 개발합니다. 나아가 제안하는 온라인 알고리즘이 최적의 오라클 대비 준선형 후회 경계(sublinear regret bound)를 달성하며, 이는 이산 질의 모델의 기존 경계로 환원됨을 증명합니다. 광범위한 실증적 평가를 통해 본 프레임워크가 연속적인 최적 캐시를 효과적으로 근사하는 동시에 기존 방식에 비해 계산 및 전환 오버헤드를 줄임을 보입니다.
시맨틱 캐싱(semantic caching)은 임베딩 유사도를 기반으로 답변 재사용을 정의한다: 두 발화는 유사도 점수가 임계값을 초과할 때 저장된 답변을 공유하며, 인가(authorization), 버전 관리, 또는 두 요구가 동일한 것이 무엇인지에 대한 개념이 없다. 이 논문은 재사용이 정의되는 객체를 변경한다: 거버넌스가 적용된 도메인에서 재사용은 유사도 휴리스틱이 아닌, 해결된 대화적 요구의 수학적으로 특징지어진 몫(quotient) 위에서 작동해야 한다. 해결된 발화에 대해 독립적으로 정의된 세 가지 관계 -- 읽기 동일성(reading identity), 해결 동일성(resolution identity), 재사용 동일성(reuse identity) -- 은 정제 연쇄(refinement chain)를 형성하며, 배포 로그에서 확인 가능한 실현된 비퇴화(nondegeneracy) 조건 하에서 엄격하다. 파이프라인의 출력은 연쇄를 따라 불변이며, 재사용 동일성은 거버넌스 기반 답변 분할로의 해결 사상(resolution map)의 커널(kernel)과 정확히 일치하므로, 재사용 몫은 해당 분할이 유도하는 발화 측 객체이지 그것의 재레이블링이 아니다. 재사용 동일성은 거버넌스 기반 쿼리 키와 그 인증된 답변 공간을 허가하며, 특정 답변의 재사용은 해결 동일성 또는 적용 가능성 인증서(applicability certificate)를 필요로 한다. 지원 층(layer)은 증명된 정확한 강도로 명시된다: 정확한 지시 정규형(exact-denotation normal forms); 설계 연산자로서의 조인 집계(join aggregation)와 탈출 없음을 특징짓는 클로저-안정 셀(closure-stable cells); 신뢰되지 않은 제안 층에 대한 전체 파이프라인의 전적 계산 가능성(total computability); 임의 제안자에 대한 정책 허용 가능성(policy admissibility) -- 그리고 증명 가능하게 사실적 그라운딩이나 의도 충실도는 아님; 목표 일관성 하에서 건전하며 유한히 많은 정보 제공 응답 후 종료되는 유도(elicitation).
시맨틱 캐싱(semantic caching)은 의미적으로 유사한 질의에 캐시된 답변을 제공함으로써 검색-증강 생성(RAG)의 지연 시간과 비용을 줄이지만, 기존 방법 대부분은 오픈 웹 증거의 시간에 따라 변하는 신선도(freshness)를 모델링하지 않는다. 우리는 FreshCache를 제안한다. FreshCache는 캐시 재사용을 리스크 제약 시간적 추론 문제로 다루는 3계층 시맨틱 캐시로, 캐시 히트를 승인하기 전에 학습된 MLP로 강화된 피팅된 지수 감쇠 모델을 사용하여 캐시된 결과가 오래되었을(stale) 확률을 추정하고, 해당 확률이 답변(ε = 0.10), URL 목록(ε = 0.20), 페이지 콘텐츠(ε = 0.35)에 대한 계층별 오류 예산 이하일 때만 재사용을 승인한다. 이를 통해 시스템은 오래된 히트와 전체 파이프라인 실행 사이의 이진 선택을 강제하는 대신, 항목이 오래될수록 점진적으로 성능이 저하되도록 한다. 우리는 FreshCache-Bench를 소개한다. 이는 기준선 크롤 후 1시간, 12시간, 24시간, 7일 시점의 실제 웹 스냅샷에서 추출한 실제 정답 오래됨 레이블을 갖는 다섯 가지 신선도 클래스에 걸친 8,072개의 기본 질의로 구성되며, 패러프레이즈 생성을 통해 31,201개의 질의로 확장된 벤치마크다. 24시간 평가 윈도우에서 FreshCache_MLP는 해시 기반 오래됨 오류 0.1%로 97%의 검색 API 절감을 달성하며, 확인된 변경 쌍 396개에 대한 대규모 언어 모델(LLM) 심사 평가에서는 감지된 콘텐츠 변경 중 실제로 답변 정확도에 영향을 미치는 비율이 34.3%에 불과하여, 실제 답변 영향 오래됨 오류는 약 0.034%로 나타났다. 규칙 기반 FreshCache는 시간적 홀드아웃 보정 하에 오래됨 오류 3.3%로 98%의 검색 절감을 달성하여, SemanticTTL(오래됨 14.9%, 절감 72%), vCache(오래됨 7.2%, 절감 47%), SCALM(오래됨 5.2%, 절감 96%)을 능가한다. 절제 연구(ablation)에 따르면 시간적 리스크 게이트는 유사도만을 이용한 재사용 대비 오래됨 오류를 11.6 포인트 감소시키며, 학습된 MLP는 규칙 기반 모델 대비 오래됨 오류를 추가로 3.2 포인트 줄인다.