coli.uni-saarland.de

이 이메일 도메인이 관측된 논문 1건

arXiv:2605.29986v2cs.AI

토큰 공간 압축을 통한 제약 조건 디코딩 가속화

Accelerating Constrained Decoding with Token Space Compression

대규모 언어 모델(LLM)의 출력이 지정된 구조를 따르도록 보장하기 위해, 문맥 자유 문법(CFG) 디코딩 엔진은 다음 토큰(token) 선택을 강제하여 주어진 CFG를 준수하는 문자열을 생성합니다. 현재의 CFG 기반 제약 조건 디코딩 엔진은 고도로 최적화되어 있지만, 단계별 탐색 공간이 방대하다는 점(즉, 전체 토큰 어휘 집합)에서 비롯되는 본질적인 비용으로 인해 여전히 어려움을 겪고 있습니다. 이는 CFG 엔진이 가장 유용한 상황인 더 복잡한 CFG에서 감당하기 힘들 정도로 높은 오버헤드를 발생시킵니다. 본 논문에서는 토큰 탐색 공간을 압축하여 CFG 엔진 오버헤드를 대폭 줄이는 오프라인 기법인 CFGzip을 소개합니다. 실험을 통해 배치 추론(inference) 중 최대 75배의 지연 시간 단축을 보고하며, 가장 까다로운 문법에서도 오버헤드를 약 1.2~2배 수준으로 줄입니다. CFGzip을 통해 이제 복잡한 CFG에 대해서도 대규모 제약 조건 디코딩이 가능해졌습니다.