질의 독립적 가변 비트율 시각 토큰 코딩
Query Independent Variable Rate Visual Token Coding
비전-언어 모델(VLM)을 위한 시각 토큰 압축은 거의 전적으로 어떤 토큰을 유지하고 나머지를 폐기할지 결정하는 선택 문제로 다루어집니다. 가장 효과적인 기준은 언어 모델이 토큰에 부여하는 어텐션에 따라 토큰의 순위를 매기는 것인데, 이는 순위가 주어지는 질문의 함수가 되도록 만듭니다. 이러한 특성은 단일 턴 벤치마크에서는 드러나지 않지만, 대화의 여러 턴에 걸쳐 캐싱되거나 기기와 서버 간에 전송될 때처럼 압축된 표현이 한 번 기록되고 여러 번 읽힐 때 결정적인 영향을 미칩니다. 본 연구에서는 그 대신 고전적인 변환 코딩 툴킷의 다른 절반을 취하여, 모든 토큰을 유지하되 전송률(비트율)을 변화시킵니다. 변환 코드는 각 토큰의 측정된 왜곡-전송률 곡선을 드러내며, 고정된 비트 예산은 해당 곡선에 대한 정확한 정수율-왜곡 최적화를 통해 토큰 전반에 분배됩니다. 파이프라인에 텍스트가 입력되지 않으므로 하나의 압축된 표현으로 모든 질의를 처리할 수 있습니다. 동일한 비트 예산 하에 두 데이터셋과 두 가지 용량에서 평가했을 때, 균일 전송률 코딩, 닫힌 형태의 워터 필링 및 왜곡 순위 기반 가지치기보다 모델의 출력 분포와 답변을 더 우수하게 보존합니다. 또한 가지치기가 맞춰진 질문에 대해서는 어텐션 순위 기반 가지치기와 동등한 성능을 보이며, 동일한 이미지에 대해 압축된 이미지가 다른 질문에 답해야 하는 상황에서는 이를 능가합니다.