Fast-TurboQuant: 곱셈기 없는 온라인 벡터 양자화 접근법
Fast-TurboQuant: A Multiplier-Free Online Vector Quantization Approach
대규모 언어 모델(LLM)이 스케일링될수록 key-value 캐시와 검색-증강 생성(RAG) 시스템의 메모리 대역폭이 중요한 병목이 된다. 1-bit 양자화가 이 제약을 해소하지만, 최근 TurboQuant는 양자화 전 벡터 분포를 조건화하기 위해 밀집(dense) 무작위 회전 행렬에 의존한다. 이 투영은 임베딩당 수백만 번의 부동소수점 곱셈을 요구하여, 제약된 엣지 실리콘에 배포하기 어렵게 만든다. 우리는 밀집 행렬을 구조화된 빠른 Johnson-Lindenstrauss 변환으로 대체하는 곱셈기 없는 투영 아키텍처인 Fast-TurboQuant를 제안한다. Rademacher 위상 반전과 이어지는 빠른 Walsh-Hadamard 변환(FWHT)을 적용함으로써, 본 방법은 가우시안 투영 없이 스칼라 Lloyd-Max 양자화의 전제 조건을 만족시키기 위해 sub-Gaussian 농도를 활용한다. 이 대체는 연산 복잡도를 덧셈만으로 줄여 하드웨어 곱셈기를 제거한다. DBpedia OpenAI-3 Large 임베딩에 대한 평가는 순차 실행에서 19.7배의 알고리즘적 속도 향상을 보여준다. 또한 FWHT 제로 패딩으로 인한 차원 확장은 평균 제곱 오차를 줄이고 Recall@10 재현율을 개선한다.