CoMem: 지속적 중간 잔차를 통해 여러 쿼리에 걸쳐 트랜스포머 깊이를 재사용하기
CoMem: Reusing Transformer Depth across Queries with Persistent Intermediate Residuals
공유 문서에 대한 반복적인 쿼리는 동일한 하위 트랜스포머(transformer) 층(layer)들을 반복해서 실행합니다. 본 논문에서는 분할 깊이 j를 명시적인 재사용 가능 문맥 축으로 만드는 CoMem을 소개합니다. CoMem은 토큰(token)당 하나의 깊이 j 잔차를 기록하고, 유계 청크 집합을 선택하며, [j:L) 층만 재개합니다. 우리가 알고 있는 문서 재사용 시스템 중 CoMem은 분할 깊이를 조정 가능한 서빙 축으로 만들고 이를 일치하는 j=0 엔드포인트로 격리합니다. Qwen3-8B에서 j=12는 선택된 팩 Read를 931.9ms에서 664.4ms로 줄이며(1.403배), 3.12포인트의 RULER 비용(95% CI [2.36, 3.93])을 수반하지만, 연속 접두 문맥(continuous-prefix) 오라클은 전체 격차를 회복합니다. 그 결과로 생성된 깊이 축은 품질-지연 시간-스토리지 간의 트레이드오프를 정량화하며, 동일 어댑터를 사용하는 별도의 Write 포함 파이프라인은 2.74배 더 빠릅니다. 동일 지연 시간 기준 원시 재생(raw replay)은 BM25에서 11.56포인트 앞서며, 이는 선지불된 깊이의 적용 가능성 한계를 숨기지 않고 직접 측정합니다. CoMem은 토큰당 8KiB를 저장하는 반면, 프로토콜 정렬된 동일 Qwen3 CacheBlend 스타일 진단 방식은 토큰당 144KiB를 저장합니다(집단 및 적응 예산은 일치하지 않음). 문맥-위치 인수분해는 누락된 하위 층 문서 문맥을 테스트된 주요 멀티키 오류로 식별하며, 32토큰 오버랩은 지속 바이트나 쿼리당 Read를 늘리지 않고도 92.5에서 98.5로 점수를 높입니다. CoMem은 반복 쿼리 긴 문맥 서빙을 위해 트랜스포머 깊이를 측정 및 조정 가능한 차원으로 개방합니다.