기존 가속기에서 텐서(tensor) 내 이종 정밀도 지원이 제한적이기 때문에, 신경망(neural network) 양자화(quantization)는 주로 텐서별 정밀도 할당에 국한되어 왔다. 본 논문에서는 가중치(weight) 프로젝션 블록에 독립적인 비트 폭을 할당함으로써 각 텐서 내에서 혼합 정밀도(mixed-precision) 양자화를 가능하게 하는 하드웨어-소프트웨어 통합 설계 프레임워크인 ShatterQuant를 제시한다. ShatterQuant는 정밀도 단위와 PE(Processing Element) 구성을 결합하여 각 정밀도가 유효 블록 높이를 결정하도록 한다. 우리는 (1) 블록 수준의 표준편차와 가중치 민감도를 기반으로 텐서 내 정밀도를 할당하는 하드웨어 인식 사후 학습(post-training) 기법, (2) 1/2/4/8비트 가중치 정밀도, 정밀도 의존적 PE 구성, 블록 재스케일링, 통합된 소프트맥스(softmax) 및 구분적 선형 비선형성을 지원하는 ShatterQuant 트랜스포머 가속기, 그리고 (3) 1 GHz로 동작하는 TSMC 16nm PDK 구현을 통해 모델-하드웨어 트레이드오프를 평가하여 1.5 TOPS, 760 GOPS/$mm^2$ 면적 효율, 2.8 TOPS/W 에너지 효율을 달성한 결과를 소개한다. DeiT 및 ImageNet-1K에서 ShatterQuant는 2비트 더 낮은 유효 비트 폭을 사용하면서도 최신 혼합 정밀도 기법 대비 $3.3\%$ 이내의 정확도를 달성하며, PixelDiT에 대해서는 동등한 수준의 생성 품질을 보여준다. ShatterQuant는 하드웨어-소프트웨어 통합 설계를 통해 미세한 텐서 내 혼합 정밀도가 어떻게 실현될 수 있는지를 입증한다.
대규모 언어 모델(LLM)을 저정밀 부동소수점 표현으로 양자화하는 것은 효율적인 배포의 핵심이지만, 모든 층에 단일 비트폭을 균일하게 적용하는 것은 성능과 정확도 모두에서 최적이 아니다. 본 연구는 학습 가능한 부동소수점 비트폭 할당을 위한 미분 가능한 혼합 정밀도 양자화 프레임워크인 dMX를 제안한다. Open Compute Project(OCP) 표준에 정의된 마이크로스케일링 부동소수점(MXFP) 데이터 형식 계열에 대한 적용을 연구한다. 층별 비트폭 할당은 각 층의 부동소수점 형식이 스칼라 매개변수로 매개변수화되는 연속 최적화 문제로 공식화되며, 이를 통해 다변량 설계 공간을 단일 학습 가능한 오프셋으로 축소한다. 학습 과정에서 이 오프셋은 연속 값을 취하여 이산 양자화 형식 간의 급격한 진동을 피한다. 온도 기반 어닐링 스케줄이 학습된 오프셋을 점진적으로 이산화하여, 최종 구성이 하드웨어 호환 MXFP 형식에 매핑되도록 하며 학습과 추론 동작 간의 급격한 전환 없이 이를 보장한다. 목표 인식 정규화 항은 평균 비트폭을 사용자가 지정한 예산 방향으로 유도하며, 추론 비용의 거친 수준 프록시 역할을 하면서 모델 품질과 배포 효율성 간의 균형을 맞춘다. Llama, Qwen3, SmolLM2 등 다양한 LLM 계열에 대해 실험을 수행하였으며, WikiText-2에서의 혼란도(perplexity)와 네 가지 제로샷 추론 벤치마크에서의 정확도를 평가하였다. 이러한 설정 전반에 걸쳐 dMX는 일관되게 파레토 우월 모델을 산출하며, Kullback-Leibler(KL) 발산 기반 층 선택 휴리스틱보다 개선되고, 모델 품질과 평균 비트폭 간의 트레이드오프를 효율적으로 탐색한다.
최근 긴 사고의 연쇄(Chain-of-Thought, CoT) 기법을 통해 추론 능력을 갖춘 대규모 언어 모델(LLM) 개발에 있어 상당한 진전이 이루어졌다. 그러나 이 긴 CoT 추론 과정은 대용량 Key-Value(KV) 캐시로 인해 상당한 메모리 오버헤드를 유발한다. 사후 학습 KV 캐시 양자화는 유망한 압축 기법으로 부상하여 짧은 컨텍스트 시나리오에서 광범위하게 연구되어 왔다. 그러나 기존 방법을 긴 CoT LLM에 직접 적용하면 다음 두 가지 이유로 심각한 성능 저하가 발생한다: (1) 큰 누적 오류: 기존 방법들은 가용 메모리를 충분히 활용하지 못하며, 각 디코딩 단계에서 KV 캐시를 직접 양자화하여 큰 누적 양자화 오류를 초래한다. (2) 짧은 컨텍스트 보정: 회전 위치 임베딩(Rotary Positional Embedding, RoPE)으로 인해 보정 시 짧은 컨텍스트 데이터를 사용하면 Key 캐시 내 출현 빈도가 낮은 채널의 분포를 반영하지 못해 성능 손실이 발생한다. 우리는 위의 문제를 두 가지 측면에서 해결하기 위해 긴 CoT LLM을 위한 점진적 혼합 정밀도 KV 캐시 양자화(Progressive Mixed-Precision KV Cache Quantization, PM-KVQ)를 제안한다: (1) 누적 오류를 줄이기 위해 각 블록에서 KV 캐시의 비트 폭을 점진적으로 낮추는 점진적 양자화 전략을 설계한다. 이어서 민감도가 높은 트랜스포머 블록에 더 높은 비트 폭을 할당하는 블록 단위 메모리 할당을 제안한다. (2) 추가 오버헤드 없이 보정 길이를 늘리기 위해, 짧은 보정 데이터에 위치 보간(positional interpolation)을 적용하여 긴 컨텍스트 데이터의 분포를 근사하는 새로운 보정 전략을 제안한다. 7B~70B 규모의 긴 CoT LLM에 대한 광범위한 실험 결과, PM-KVQ는 동일한 메모리 예산 하에서 최신 기법(SOTA) 대비 추론 벤치마크 성능을 최대 8% 향상시키며, 원래 16비트 LLM 대비 2.73~5.18배의 처리량을 달성한다.
사후 학습 양자화(PTQ)는 재학습 없이 대규모 언어 모델(LLM)을 압축하기 위해 널리 사용되는 기법이다. GPTQ를 포함한 기존의 2차 PTQ 방법들은 입력 활성화 통계만을 이용하여 양자화 목적 함수를 구성하며, 이는 모든 출력 채널이 층별 재구성 목적 함수에 동등하게 기여한다고 가정하는 것과 같다. 우리는 그래디언트 공분산을 양자화 파이프라인에 도입함으로써 이 가정에 도전하는 PTQ 프레임워크인 KronQ를 제안한다. 크로네커 인수 헤시안 근사 하에서 양자화 손실은 활성화 공분산과 그래디언트 공분산 모두에 공동으로 의존하며, KronQ는 이를 두 가지 상호 보완적인 수준에서 활용한다. (1) KronQ는 양방향 비일관성 처리(bidirectional incoherence processing)를 도입하여, 그래디언트 공분산을 이용해 기존의 입력 측 랜덤 회전을 출력 차원으로 확장함으로써 입력 및 출력 차원 모두에서 가중치 크기 분산을 줄인다. (2) KronQ는 그래디언트 및 활성화 헤시안 트레이스(trace)를 기반으로 층 간 혼합 정밀도 할당을 위한 새로운 민감도 지표를 도출한다. 특히, LLaMA-3-70B에 대한 2비트 가중치 전용 양자화의 경우, GPTQ와 GPTAQ가 발산하거나 퇴화된 양자화(WikiText-2에서 퍼플렉서티 2000 초과)를 생성하는 반면, KronQ는 7.93의 퍼플렉서티를 달성한다.
본 연구는 LLM과 확산 모델의 배포 비용 및 추론 지연 문제를 해결하기 위해 Perlmutter(NVIDIA A100), Expanse, Voyager(Intel Gaudi) 등 이기종 HPC 시스템에서 민감도 기반 혼합 정밀도 사후 학습 양자화(PTQ) 프레임워크를 도입하고 파인튜닝 전략을 체계적으로 분석하였다. TinyLlama-1.1B 모델에 대해 최대 2~4배 압축률을 달성하면서 WikiText-2, HellaSwag, BoolQ 세 가지 태스크에서 정확도 손실을 최소화하였으며, Gaudi 세대별 파인튜닝 성능 비교에서 Gaudi2가 Gaudi1 대비 2.5~3배 이상의 속도 향상을 보임을 확인하였다.
저비트 양자화는 언어 모델을 압축하지만 정밀도를 단일 전역 하이퍼파라미터로 취급한다: 모든 가중치가 동일한 비트폭을 사용한다. 우리는 가변 비트폭 양자화(VBQ)를 제안한다. 이는 학습 시간 방법으로, 연속된 64개의 가중치로 구성된 각 그룹이 Gumbel-Softmax 완화를 통해 {1,2,4,8} 비트 중 자신의 해상도를 학습하며, 정밀도 로짓에 명확하고 태스크 정렬된 신호를 제공하는 교번 최적화로 공동 학습된다. VBQ는 층 간뿐만 아니라 개별 프로젝션 타입 내에서도 층별 방법으로는 표현할 수 없는, 일관되고 강하게 이질적인 할당을 발견한다: 그룹의 69%가 1비트로 수렴하고, LM 헤드는 평균 1.09비트인 반면, 첫 번째 MLP 블록은 ~2.5비트를 유지한다. 이 패턴은 고정된 레시피로 동결하여 추가 탐색 없이 재사용할 수 있을 만큼 안정적이다. 이 레시피는 "더 크지만 더 작은" 체제를 만들어낸다: 평균 1.82비트의 131M 모델이 TinyStories에서 퍼플렉서티(perplexity) 4.2를 달성하여, 3.8배 적은 저장 공간으로 55M FP16 모델(PPL 4.4)을 능가하며, FineWeb-Edu에서 1.46B 모델이 ~3.7배 적은 저장 공간과 2.5배 많은 매개변수로 593M FP16 기준 모델에 필적한다. 바이트당 품질 측면에서 VBQ는 FP16보다 3.9~8.4배 더 효율적이다. 이 레시피는 패킹된 저비트 저장소에 직접 매핑되어 추론도 가속한다: 커스텀 퓨즈드 역양자화-곱셈 커널을 사용하면, 메모리 대역폭에 병목된 자기회귀 디코딩이 동일한 출력에서 더 빠르며, 속도 향상은 규모에 따라 증가한다(131M에서 동등, 1.0B에서 1.9배, Apple silicon에서 9B에서 4.7배). 분포 분석(KL 발산 및 argmax-flip rate)은 놀라운 메커니즘을 밝혀낸다: 더 깊은 층이 초기 층에서 주입된 양자화 오류를 점진적으로 자가 치유한다. 이 성과는 처음부터 학습하는 학습 시간 현상이며, 1.5B 매개변수를 넘어 경제적으로 탐색을 확장하는 것은 여전히 미해결 과제이다. VBQ는 정밀도를 학습 가능한 비균일 자원으로 재정의하고, 고정된 비트 예산을 불균등하게 사용하는 것이 균등하게 사용하는 것보다 낫다는 것을 보여준다.
대규모 언어 모델(LLM)은 생성 과정에서 이전에 계산한 모든 키-값(KV) 쌍을 캐시하며, 이 KV 캐시는 시퀀스 길이에 선형적으로 증가하여 서빙에서 주요 메모리 병목이 된다. KV 캐시를 더 적은 비트로 양자화하면 비용을 줄일 수 있지만, 현재 모든 양자화기는 어텐션 헤드 간 중요도의 큰 차이를 무시하고 모든 헤드에 동일한 비트 폭을 할당한다. 자연스러운 아이디어는 중요한 헤드에는 더 많은 비트를, 나머지에는 더 적은 비트를 할당하는 것이다. 그러나 우리는 이러한 혼합 정밀도 할당이 숨겨진 함정이 있음을 보인다. 각 양자화기는 서로 다른 왜곡 곡선 D(b)=α·β^{-b}를 따르며, 감쇠율 β는 양자화기 설계에 따라 3.6에서 5.3까지 달라진다. 한 양자화기의 왜곡 모델을 다른 양자화기에 적용하면 할당 순서가 뒤바뀌어 균일 양자화보다 성능이 더 나빠진다. 우리는 이 실패 양상을 왜곡 모델 불일치(distortion model mismatch)라고 부르며, 이를 해결하기 위해 RateQuant를 제안한다. RateQuant는 소규모 보정(calibration) 세트로 양자화기별 왜곡 모델을 적합한 뒤, 레이트-왜곡 이론의 역 waterfilling을 통해 결과적인 비트 할당 문제를 폐형(closed form)으로 풀어낸다. Qwen3-8B에서 평균 2.5비트로, 보정된 RateQuant는 KIVI의 perplexity(PPL)를 49.3에서 14.9로 낮추어(70% 감소) QuaRot 대비 6.6 PPL를 개선한다. 전체 보정은 단일 GPU에서 1.6초가 걸리며, 추론(inference) 시 오버헤드는 전혀 추가되지 않는다.
혼합 정밀도 연산은 지연 시간, 에너지 소비, 메모리 사용량을 줄이기 위한 효과적인 접근으로 심층 신경망(DNN)에 도입되었다. 하지만 혼합 정밀도 네트워크를 다중 정밀도 공간 아키텍처에 효율적으로 매핑하는 것은 여러 과제를 안긴다. 이는 각 층에 적절한 정밀도를 결정하고, 층별 양자화에 대한 정확도 민감도를 아키텍처 이질성 및 시스템 수준 제약과 균형을 맞추며, 이질적인 정밀도 할당의 시스템 수준 비용을 정확하게 추정하는 것을 포함한다. 본 논문은 이러한 과제를 해결하기 위해 설계된 효율적인 방법론인 SEADA를 제안한다. SEADA는 다음을 포함한다: (i) 다중 정밀도 공간 가속기 아키텍처의 구성 가능한 시스템 수준 분석 비용 모델; (ii) DNN 워크로드를 대상 정수 가속기에 근최적 매핑을 식별하는 빠른 매핑 도구; (iii) 혼합 정밀도 실행의 전반적인 이점을 추정하기 위한 부동소수점 층용 분석 모델; (iv) 비트 수준 엔트로피를 기반한 층별 정밀도 선택 방법론으로, 여러 수치 정밀도에 효율적인 할당을 가능하게 한다. SEADA의 효율성은 설계자에게 다중 정밀도 아키텍처의 설계 공간 탐험을 위한 견고한 프레임워크를 제공한다.
본 논문에서는 VLA(비전-언어-행동) 모델을 위한 작업 증거 인식 혼합 정밀도 PTQ(사후학습 양자화) 프레임워크인 Mix-QVLA를 제안합니다. Mix-QVLA는 각 양자화 변형을 전체 정밀도(full-precision) 행동 토큰(action-token) 참조 의사결정에 고정하고, 양자화가 주요 VLA 기능적 경계 전반에서 작업 관련 증거를 보존하는지 평가합니다. 이는 경계 활성화로부터 정규화된 그래디언트 가중치 작업 증거 맵을 계산하고, 증거 질량(evidence-mass)과 귀속 분포 왜곡(attribution-distribution distortion)을 사용하여 전체 정밀도 맵과 양자화 맵을 비교하며, 이를 통해 의사결정 지원 증거의 강도와 할당 변화를 포착합니다. 소프트 병목(soft-bottleneck) 목적 함수는 경계 수준의 성능 저하를 층별(layer-wise) 민감도 점수로 집계합니다. Mix-QVLA는 고정된 민감도 프로필을 가정하는 대신, 작업 실행 전반에 걸쳐 민감도를 모델링하여 층 중요도의 단계(phase) 의존적 변화를 포착합니다. 결과적으로 도출된 증거 및 시간 인식 점수는 모델 크기 및 BitOps(비트 연산) 예산 하에서 혼합 정밀도 비트 할당을 안내합니다. OpenVLA 스타일 정책에 대한 광범위한 평가 결과, Mix-QVLA는 저비트 VLA 배포의 정확도-효율성 트레이드오프를 개선하는 것으로 나타났습니다. LIBERO에서 Mix-QVLA는 OpenVLA-OFT의 메모리를 15.4 GB에서 4.1 GB로 줄이고, BF16 모델의 97.1에 비해 96.3의 평균 성공률을 유지하며, 1.52배의 추론(inference) 속도 향상을 달성했습니다.
혼합 전문가(MoE) 기반 멀티모달 대규모 언어 모델(MoE-MLLMs)은 탁월한 성능을 제공하지만 막대한 GPU 메모리 비용을 초래하여 압축이 필수적입니다. 사후 학습 양자화(PTQ) 방법 중 전문가 단위 혼합 정밀도 양자화는 MoE-LLM에서 효과적인 것으로 입증되었으나, 전문가 중요도 추정에서 간과된 두 가지 편향으로 인해 MoE-MLLM에서는 현저한 성능 저하를 겪습니다. (1) 교차 모달(cross-modal) 수준에서, 비전 토큰의 수적 우세로 인해 전문가 선택 빈도가 비전 토큰에 의해 지배되어 텍스트 모달리티에 중요한 전문가가 가려집니다. (2) 비전 내부(intra-vision) 수준에서, 상당한 비율의 중복 비전 토큰이 빈도 통계를 더욱 왜곡하여 정보성 있는 시각적 콘텐츠에 중요한 전문가를 모호하게 만듭니다. 이러한 격차를 해소하기 위해 우리는 MoE-MLLM을 위한 모달리티 분해 기반 전문가 단위 혼합 정밀도 양자화 프레임워크인 MODE를 제안합니다. MODE는 모달리티별로 전문가 선택 빈도를 분해하고, 중복 비전 토큰을 필터링하여 잡음이 제거된 시각적 빈도를 얻으며, 빈도 기반 추정에 대한 보완 신호로 모달리티별 양자화 민감도를 추가로 평가합니다. 이러한 신호들은 정수 선형 계획법(Integer Linear Programming) 공식에 통합되어 주어진 예산 내에서 전문가별 비트 폭을 할당합니다. 광범위한 실험 결과 MODE가 MoE-MLLM에 특히 적합하다는 것을 보여주며, W3A16에서 평균 성능 손실을 2.9% 이내로 제한하고 극단적인 2비트 설정에서 더 큰 이득을 보입니다.