계산형 순열 트렐리스 부호화: 두 번의 곱셈과 64바이트 테이블을 이용한 준최적 양자화
Computed Permutation Trellis Coding: Near-Optimal Quantization from Two Multiplications and a 64-Byte Table
한국어 초록
한 번 쓰고 여러 번 읽는 텐서를 위한 저비트 양자화 형식인 계산형 순열 트렐리스 부호화(CPTC)를 제안한다. INT4와 FP4처럼 각 값을 따로 반올림하는 형식은 정보 이론의 최적값에 비해 비트를 상당히 낭비한다. 트렐리스 부호는 값을 함께 부호화해 이 손실을 회복하지만, 기존 디코더는 최고 품질을 내려면 큰 참조 테이블이 필요하거나 해시로 값을 계산해 디코딩할 수 있는 값이 제한된다. CPTC 디코더는 상태에 두 계수를 각각 곱하고 곱셈 결과의 상위 비트를 더해 64바이트 테이블의 인덱스를 구한다. 합의 분포가 균일하지 않으므로 작은 테이블에서도 드물게 접근하는 양쪽 끝에 분포의 꼬리 값을 담을 수 있다. 디코더 하나로 1~6비트의 모든 비트 폭을 처리하고 표준 정수 및 부동소수점 형식을 정확히 재현한다. 4비트에서는 최적값과의 차이가 0.07비트 이내다. 테이블이 수천 배 더 큰 무작위 순열 트렐리스 부호와 대등하고 모든 QTIP 코드북을 앞선다. 미세조정 없이 Llama 3.1 8B와 70B Instruct의 가중치를 양자화했을 때, 시험한 모든 비트 폭에서 CPTC는 QTIP 코드북보다 원래 모델에 대한 KL 발산이 작았다. 감소 폭은 최대 27%였다. AWS Trainium 4 AI 가속기에 내장한 디코더는 시스톨릭 배열에서 차지하는 면적이 매우 작으면서 기본 FP4와 FP8 형식과 같은 처리량을 낸다. 융합 인코딩 커널은 GPU 한 개에서 매개변수 80억 개 모델의 선형 층을 2분 안에 양자화하며, 사이클 단위 시뮬레이션의 Trainium 4 칩 한 개에서도 같은 시간 내에 처리한다.
원문 초록
We propose Computed Permutation Trellis Coding (CPTC), a low-bit quantization format for tensors written once and read many times. Formats that round each value on its own, such as INT4 and FP4, waste a large part of their bits against the information-theoretic ideal. Trellis codes recover this loss by encoding values jointly, but prior decoders either need a large lookup table for their best quality or compute values with a hash that restricts what they can decode. CPTC's decoder multiplies its state by two coefficients and adds the top bits of the products to index a 64-byte table. Because that sum is not uniformly distributed, the rarely used ends of a small table can hold values far out in the tails. One decoder serves every bit width from 1 to 6, reproduces the standard integer and floating-point formats exactly, and comes within 0.07 bits of the ideal at 4 bits. It matches a random-permutation trellis code whose table is thousands of times larger, and exceeds every QTIP codebook. In LLM weight quantization without fine-tuning, CPTC has the lowest KL divergence to the unquantized model at every tested bit width on Llama 3.1 8B and 70B Instruct against QTIP's codebooks (by up to 27%). The decoder has been built into the AWS Trainium 4 AI accelerator, where it runs at the throughput of the native FP4 and FP8 formats for a negligible fraction of the systolic array's area. Fused encoding kernels quantize an 8B model's linear layers in under two minutes on one GPU and, in cycle-level simulation, on one Trainium 4 chip.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22019v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.