C3: 장문맥 SpeechLLM 추론을 위한 음성 기반 KV 검색
C3: Speech-Guided KV Retrieval for Long-Context SpeechLLM Inference
한국어 초록
음성 언어 모델은 텍스트보다 훨씬 높은 비율로 오디오를 인코딩하므로, KV 캐시가 장문 생성의 메모리, 대역폭, 디코딩 비용을 지배하게 된다. KV 검색은 질의에 의존하는 캐시의 부분집합에만 어텐션을 수행함으로써 단계별 접근량을 줄일 수 있으나, 기존 방법은 주로 텍스트를 위해 설계되어 오디오 어텐션의 구조를 고려하지 않는다. 우리는 먼저 검색 오류가 자기회귀적으로 누적되어 생성 편류(generation drift)로 이어질 수 있음을 보인다. 이어서 장문 생성 중의 전체 오디오 어텐션을 분석하여 검색과 관련된 세 가지 특성을 확인한다. 즉 질의 헤드 간 불균등한 어텐션 집중, 비연속적인 오디오 지지 영역, 그리고 디코딩 단계 간의 시간적 연속성이다. 이러한 관찰에 기반하여 우리는 $C^3$(Cluster-Compete-Compete)를 제안한다. 이는 오디오 KV를 계층적 키 공간 인덱스로 구성하고, KV 헤드를 공유하는 질의 헤드들이 공통의 검색 예산을 두고 경쟁하게 하며, 쌍을 이룬 분할-병합 갱신을 통해 검색 해상도를 적응적으로 재할당한다. 네 가지 SpeechLLM에서 장문 음성 인식, 번역, 요약 전반에 걸쳐, $C^3$는 비슷한 최종 KV 접근 예산 하에서 검색 방법 중 가장 강력한 전반적 성능을 달성하며, 특히 예산이 빠듯한 영역에서 큰 향상을 보이는 동시에 장문맥 디코딩 효율과 가속기 메모리 확장성도 개선한다.
원문 초록
Speech language models encode audio at a much higher rate than text, causing the KV cache to dominate the memory, bandwidth, and decoding cost of long-form generation. KV retrieval can reduce per-step access by attending to only a query-dependent subset of the cache, but existing methods are designed primarily for text and do not account for the structure of audio attention. We first show that retrieval errors may compound autoregressively into generation drift. We then analyze full audio attention during long-form generation and identify three properties relevant to retrieval: unequal attention concentration across query heads, non-contiguous audio support, and temporal continuity across decoding steps. Guided by these observations, we propose $C^3$(Cluster-Compete-Compete), which organizes audio KVs in a hierarchical key-space index, lets query heads sharing a KV head compete for a common retrieval budget, and adaptively reallocates retrieval resolution through paired split-merge updates. Across long-form speech recognition, translation, and summarization on four SpeechLLMs, $C^3$ achieves the strongest overall performance among retrieval methods under comparable final-KV access budgets, with particularly large gains in the tight-budget regime, while improving long-context decoding efficiency and accelerator-memory scaling.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.00333v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.