PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13767v1cs.LG

DualQuant: LLM을 위한 이중 스케일 캘리브레이션 프리 가중치 및 활성화 양자화

DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs

네이티브 4비트를 지원하는 가속기에서 저비트 추론(inference)을 수행할 때 해당 포맷이 제공하는 전체 처리량 향상을 온전히 달성하려면 가중치(weight)와 활성화(activation)를 모두 양자화해야 합니다. 사후 학습(post-training) 가중치 양자화는 광범위하게 연구되어 왔지만, 활성화 양자화는 여전히 훨씬 더 까다로우며 일반적으로 캘리브레이션 데이터를 필요로 합니다. 본 연구에서는 가중치 재구성 평균 제곱 오차(MSE)를 직접 최소화하고, 그 직접적인 부산물로서 활성화 양자화에 앞서 채널별 활성화 재스케일링을 생성하는 이중 스케일(dual-scale) 캘리브레이션 프리 사후 학습 양자화 프레임워크인 DUALQUANT를 소개합니다. 우리의 핵심 관찰은 가중치 재구성 오차를 최소화하여 얻은 스케일링 팩터가 효과적인 활성화 재스케일링을 제공하여, 캘리브레이션 데이터 없이도 경쟁력 있는 활성화 양자화를 가능하게 한다는 점입니다. 우리는 DUALQUANT를 미분 불가능한 가중치 재구성 문제로 공식화하고, 각 하위 문제가 닫힌 형식의 해(closed-form update)를 갖는 변수 분할(variable splitting) 및 블록 좌표 강하법(block coordinate descent) 기반의 효율적인 솔버를 개발했습니다. DUALQUANT는 전체 MX 패밀리와 NVFP4를 포함한 광범위한 포맷을 지원하는 통합 알고리즘을 제공합니다. 우리가 아는 한, DUALQUANT는 MX 및 NV 블록 포맷을 공식적으로 지원하는 최초의 이중 스케일링 기법입니다. WikiText-2, C4 및 제로샷(zero-shot) 다운스트림 태스크에서 평가된 Llama 및 Qwen 모델 전반에 걸쳐, DUALQUANT는 대부분의 모델 및 포맷에서 캘리브레이션 기반 SmoothQuant의 정확도에 필적하거나 이를 능가하며, 캘리브레이션 프리 베이스라인들을 크게 능가하고 MX 및 NV 블록 포맷에 대해 큰 폭의 향상을 달성했습니다. 우리는 RTX 4090 환경에서 Llama-3.1-8B에 대한 실제 패킹된 W4A4 추론 경로를 통해 이러한 성능 향상을 검증했습니다. 그 결과 구현체는 가상 양자화(fake quantization)의 정확도와 거의 일치하면서도 BF16 대비 최대 2.61배의 메모리 절감과 최대 2.46배의 처리량 속도 향상을 제공합니다.

arXiv:2605.10793v2cs.LG

ConQuR: LLM을 위한 최적화된 회전 기반 모서리 정렬 활성화 양자화

ConQuR: Corner Aligned Activation Quantization via Optimized Rotations for LLMs

대규모 언어 모델(LLM)은 방대한 메모리 사용량과 높은 추론(inference) 비용으로 인해 배포 비용이 많이 듭니다. 가중치-활성화 양자화(quantization)는 이러한 비용을 줄일 수 있지만, 활성화 이상치(outlier)가 큰 양자화 오차를 유발하기 때문에 저비트 활성화 양자화는 여전히 어려운 과제로 남아 있습니다. 최근 회전 기반 방식들은 차원 전반에 걸쳐 활성화 크기를 재분배하는 직교 변환을 적용하여 이 문제를 해결하지만, 기존 접근법들은 비용이 많이 드는 엔드투엔드 회전 학습(training)을 요구하거나 저장된 활성화 말뭉치에 의존하여 상당한 연산 또는 스토리지 오버헤드를 발생시킵니다. 본 논문에서는 LLM 활성화 양자화를 위한 가벼운 사후 학습(post-training) 회전 캘리브레이션 방법을 제안합니다. 제안하는 방법은 정규화된 활성화를 내접 초입방체(hypercube)의 모서리에 정렬하는 직교 회전을 학습하여, 활성화 에너지가 차원 전반에 더욱 고르게 분산되도록 유도합니다. 이 목적 함수는 직교 프로크루스테스 문제(orthogonal Procrustes problem)를 통해 효율적인 닫힌 형태 해(closed-form) 업데이트를 가능하게 하여 직교군(orthogonal group) 상에서의 그래디언트(gradient) 기반 최적화를 피할 수 있습니다. 나아가 캘리브레이션 샘플이 처리됨에 따라 회전을 갱신하는 온라인 캘리브레이션 절차를 도입하여, 디스크에 활성화를 저장할 필요성을 없애고 캘리브레이션 중 양자화된 활성화 분포에 회전이 적응할 수 있도록 합니다. 3B부터 70B 파라미터 규모의 Llama-2 및 Llama-3 모델을 대상으로 한 실험을 통해, 제안하는 방법이 값비싼 엔드투엔드 학습과 대규모 오프라인 활성화 저장을 모두 피하면서도 퍼플렉서티(perplexity) 벤치마크 및 상식 추론 태스크 전반에서 경쟁력 있거나 향상된 성능을 달성함을 보여줍니다.

arXiv:2606.12487v1cs.LG

DynamicPTQ: 잔차 스트림 동역학을 활용한 활성화 양자화 붕괴 완화

DynamicPTQ: Mitigating Activation Quantization Collapse via Residual-Stream Dynamics

잔차 스트림의 동역학으로 인해 발생하는 활성화 양자화 붕괴를 완화하기 위해, 민감한 레이어를 식별하여 8비트 정밀도를 적용하는 동적 혼합 정밀도 양자화 방법인 DynamicPTQ를 제안한다. LLaMA-2 및 LLaMA-3 실험에서 W4A4KV4 설정 하에 퍼플렉서티와 제로샷 QA 성능을 개선하며 처리량을 향상시켰다.