양자화 모델이 실제로 향하는 곳에서 학습하기: 저비트 추론을 위한 온-정책 지식 증류
Train Where the Quantized Model Goes: On-Policy Distillation for Low-Bit Reasoning
한국어 초록
양자화 인지 지식 증류(QAD)는 3비트 미만 양자화로 잃은 단답형 질의응답 성능의 상당 부분을 되살리지만, 수학 및 코드 추론은 여전히 크게 손상된 상태로 남는다. 긴 생성은 종종 반복 루프로 퇴화하여 디코딩 예산을 다 쓰고도 해를 끝내지 못한다. 우리는 이 격차의 원인을 양자화로 증폭된 노출 바이어스(exposure bias)로 추적한다. QAD는 고정된 코퍼스 접두(prefix)에서 학습하는 반면, 양자화로 인한 편차는 모델 자체의 자기회귀(autoregressive) 궤적을 따라 누적되기 때문이다. 이 불일치를 해소하기 위해, 양자화된 모델이 실제로 도달하는 지점에 교사 감독을 두는 온-정책 지식 증류(OPD) 단계를 도입한다. QAD 체크포인트에서 출발한 학생은 배포 시 사용하는 양자화 순전파 경로를 통해 생성하고, 자신의 접두에 대해 동결된 전정밀(full-precision) 교사의 피드백을 받으며, 밀집 토큰 수준 지도와 task-verifier 보상을 결합한다. 2.79 및 1.88 effective bits에서 네 가지 모델에 걸친 실험에서 OPD는 MATH-500에서 평균 BF16 성능 유지율을 35%에서 70%로, HumanEval에서는 66%에서 91%로 끌어올리면서 단답형 성능은 유지했고, 동일 예산 비교에서 teacher-forced QAD를 이어가는 경우보다 추론 이득이 실질적으로 더 컸다. QAD의 안정적인 저비트 초기화와 OPD의 온-정책 추론 복구를 결합함으로써, 본 프레임워크는 광범위한 역량을 유지하면서 장형 추론을 되살리는 포괄적인 3비트 미만 솔루션을 제공한다.
원문 초록
Quantization-aware distillation (QAD) restores much of the short-form question-answering performance lost to sub-3-bit quantization, yet leaves mathematical and code reasoning substantially impaired. Long generations often degenerate into repetitive loops, exhausting the decoding budget without completing a solution. We trace this gap to quantization-amplified exposure bias: QAD trains on fixed corpus prefixes, while quantization-induced deviations compound along the model's own autoregressive trajectories. To address this mismatch, we introduce an on-policy distillation (OPD) stage that places teacher supervision where the quantized model actually goes. Starting from a QAD checkpoint, the student generates through the quantized forward path used at deployment and receives feedback from a frozen full-precision teacher on its own prefixes, combining dense token-level guidance with task-verifier rewards. Across four models at 2.79 and 1.88 effective bits, OPD raises average BF16 performance retention from 35% to 70% on MATH-500 and from 66% to 91% on HumanEval while preserving short-form performance, with reasoning gains substantially exceeding those of continued teacher-forced QAD in matched-budget comparisons. By coupling QAD's stable low-bit initialization with OPD's on-policy reasoning recovery, our framework provides a comprehensive sub-3-bit solution that preserves broad capabilities while restoring long-form reasoning.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.26708v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
QUASAR: 손실 인지 재구성을 통한 양자화 인지 학습의 손실 하한 낮추기
QUASAR: Lowering the Loss Floor of Quantization-Aware Training with Loss-Aware Reconstruction
대규모 언어 모델의 추론이 더 낮은 정밀도로 전환됨에 따라 사후 학습 양자화(PTQ)는 점점 더 취약해지고 있으며, 모델 품질을 보존하기 위해 양자화 인지 학습(QAT)이 필수적이 되었습니다. 그러나 QAT에는 구조적 불일치가 존재합니다. 그래디언트 업데이트는 잠재된 전정밀도 가중치에 적용되는 반면, 손실과 그래디언트는 해당 가중치의 손실성 재구성 값에서 계산됩니다. 이러한 불일치는 차선의 학습 경로와 더 높은 손실 하한(loss floor)으로 이어질 수 있습니다. 2차 PTQ 방식들은 손실 인지 재구성 오차를 최소화하여 유사한 문제를 해결하지만, 가중치가 계속 변화하는 QAT 도중에 이처럼 비용이 큰 재구성을 반복적으로 적용하는 것은 비실용적입니다. 본 논문에서는 경량의 손실 인지 재구성을 학습 루프에 도입한 QAT 방식인 QUASAR를 제안합니다. 매 학습 단계마다 QUASAR는 작은 클리핑 범위 집합을 탐색하고 중요도 가중 최소제곱법을 통해 역양자화 매개변수를 적합함으로써 잠재 가중치를 재구성합니다. 이때 파라미터별 중요도 신호로는 그래디언트 제곱의 지수 이동 평균을 사용합니다. 이론적 분석 결과, QUASAR의 재구성 목적식을 최적화하면 QAT의 수렴 한계와 최종 손실 한계가 모두 엄밀해짐을 보여줍니다. 4가지 모델 계열과 INT4, INT3, INT2 및 NVFP4 양자화 포맷 전반에 걸쳐 QUASAR를 평가했습니다. QUASAR는 경쟁 QAT 방식들보다 지속적으로 더 낮은 학습 및 평가 손실을 달성하며, 다운스트림 벤치마크에서 기존 QAT 및 PTQ 기준선을 능가합니다. INT2에서 QUASAR는 양자화 인지 지식 증류를 적용했을 때 최고 QAT 기준선 대비 평균 정확도를 13.3점 향상시켰고, 수학적 추론 데이터에 대한 QAT에서는 10.9점 향상시켰습니다. 특히 약 6억 개의 토큰만을 대상으로 증류한 후에도 QUASAR의 INT4 Gemma-4 E4B 체크포인트는 Google이 공개한 해당 QAT 체크포인트를 능가하여, KL 발산은 66% 더 낮추고 평균 정확도는 1.8점 더 높은 성과를 거두었습니다.
SparkDiffusion: 고희소성 함정 완화 --- 시각 생성의 최대 265배 단일 GPU 가속을 위한 통합 프레임워크
SparkDiffusion: Mitigating the High-Sparsity Trap --- A Unified Framework for up to $265\times$ Single-GPU Acceleration of Visual Generation
비디오 확산 트랜스포머는 긴 시공간 토큰 시퀀스에서 어텐션이 지배적이기 때문에 연산 비용이 큽니다. 본 연구에서는 극단적인 어텐션 희소성에서 스텝별 국소 학습 손실(step-local training loss)은 계속 감소하지만 최종 생성 품질은 정체되거나 저하되는 '고희소성 함정(high-sparsity trap)'을 규명합니다. 이 함정은 지도(supervision) 방식의 문제입니다. 지배적인 최종 오차는 고노이즈 구조 생성 단계에서 비롯되며, 최종 상태에 정렬된 학습(terminal-aligned training)은 스텝별 국소 학습을 대폭 연장해도 해결할 수 없는 최종 오차를 교정합니다. 이를 통해 '먼저 희소 아키텍처를 거친 사전 분포(coarse prior)에 적응시킨 후, 최종 분포를 교정한다'는 간단한 단계별 원칙이 도출됩니다. 우리는 이 원칙을 시각 생성을 위한 통합 가속 프레임워크인 SparkDiffusion으로 구현하며, 이는 짧은 희소 웜업, 소수 스텝 궤적 혼합 증류(few-step trajectory-mixed distillation), 융합 커널을 활용한 FP8 양자화를 결합합니다. SparkDiffusion은 Wan2.1/Wan2.2 백본 및 T2V/I2V 태스크 전반의 긴 시퀀스 720P 생성에서 우수한 시각적 품질과 함께 97%의 어텐션 희소성을 유지하며, Wan2.1-T2V-1.3B-480P에서는 90%의 희소성을 유지합니다. 3스텝 CFG-free 추론을 통해 SparkDiffusion은 단일 RTX 5090에서 Wan2.1-T2V-14B-720P에 대해 50스텝 CFG 밀집 기준선(dense baseline) 대비 265배(H100에서 220배)의 엔드투엔드 속도 향상을 달성하고, Wan2.1-T2V-1.3B-480P 비디오를 1.3초 만에 디노이징합니다.
LLM 압축을 위한 능력 축소 스케일링 법칙
Capability Scaling-Down Laws for LLM Compression
LLM 압축은 추론 비용과 메모리 요구량을 줄여주지만, 비슷한 자원 절감으로도 서로 다른 능력 손실이 발생할 수 있기 때문에 압축 방법과 설정을 선택하는 일은 대부분 경험적으로 이루어진다. 본 연구는 가지치기(pruning), 양자화(quantization), 지식 증류(distillation) 전반에 걸쳐 LLM 압축에 대한 능력 축소 스케일링 법칙을 체계적으로 조사한다. 우리의 프레임워크는 수학, 코드 생성, 질의응답에서의 능력 손실을 측정하고, 이 측정값을 모델 크기, 학습 단계, 압축 설정, 데이터 가용성, 학습 노출(training exposure)과 연관시킨다. 우리는 단순한 예측 관계식을 개발하고, 그 정확도, 측정 효율성, 그리고 보지 못한 설정 및 모델 상태로의 일반화 성능을 평가한다. 가지치기 수준 전반에서 밀도 반응(density response)을 공유하면 가지치기 예측기를 적합시키는 데 필요한 설정 측정 횟수가 절반으로 줄어든다: 새로운 Pythia 상태, 사전 등록된(pre-registered) OLMo-2 테스트 상태, 그리고 Wanda 가지치기 하에서, 이 간결한 관계식은 수학과 코드에 대한 모든 측정값으로 적합시킨 회귀 모델과 토큰당 0.020 나트(nats) 이내로 일치하며, 계수는 각 설정마다 다시 적합된다. 통제된 지식 증류 실험은 과도한 데이터 재사용(heavy data reuse)의 비용이 질의응답 분포 전반에서 반복적으로 나타나는 반면, 순이익(net benefit)은 평가 분포에 따라 달라짐을 보여준다. 우리는 또한 수치적 선택(numerical selection)을 설정 중앙값(configuration median) 및 고정된 방법 우선순위(fixed method priority)와 비교함으로써 이러한 예측의 의사결정 가치를 평가한다. 두 모델 패밀리에 대한 독립적인 평가 결과, 테스트된 후보 집합 내에서 선택 방식이 질의응답에 대해 얻을 수 있는 방법 간 이점(cross-method benefit)의 대부분을 포착하며, 이때 고정된 방법 우선순위도 동일한 리그렛(regret)을 달성하는 반면, 수학과 코드에서는 그 기회가 더 작음을 보여준다. 이러한 결과는 능력 축소 스케일링 법칙의 예측 범위와 압축 방법 선택에서의 활용 방안을 명확히 한다. 코드는 다음 주소에서 공개되어 있다: https://github.com/LabRAI/scaling_down_law.
QATFactory: LLM의 양자화 인식 학습 및 증류를 위한 다목적 배포 정렬 프레임워크
QATFactory: A Versatile, Deployment-Aligned Framework for Quantization-aware Training and Distillation of LLMs
대규모 언어 모델(LLM) 추론은 하드웨어 가속기의 처리량을 최대한 활용하기 위해 점차 저정밀도로 전환되고 있으나, 공격적인 사후 학습 양자화(PTQ)는 모델 성능을 저하시킬 수 있습니다. 본 논문에서는 배포 환경에 정렬된 양자화 인식 증류(QAD) 및 강화학습(QARL)을 위한 오픈소스 프레임워크인 QATFactory를 제시합니다. QATFactory는 BF16으로 행렬 곱셈을 수행하면서 배포 시점의 양자화를 시뮬레이션하므로, 목표 포맷을 네이티브로 지원하는 학습 하드웨어 없이도 모델이 양자화 노이즈에 적응할 수 있도록 합니다. 예를 들어 FP4 텐서 코어가 없는 H100 GPU에서도 NVFP4 학습을 지원합니다. 이 프레임워크는 NVFP4, MXFP4, 그리고 $\text{llama}.\text{cpp}$의 Q4_K 포맷을 지원하며, 밀집(dense) 및 전문가 혼합(MoE) 모델과 전체 매개변수 및 LoRA 기반 학습을 모두 지원합니다. 또한 추가적인 손실 변환 단계나 추론 오버헤드 없이 체크포인트를 vLLM 및 $\text{llama}.\text{cpp}$로 직접 내보냅니다. QATFactory를 활용하여 8B부터 230B 매개변수에 이르는 모델을 대상으로 광범위한 실험을 수행하고 프로덕션 추론 엔진에서 내보낸 체크포인트를 평가했습니다. 다양한 모델과 포맷 전반에서 QAD는 강력한 PTQ 베이스라인 대비 배포된 모델의 품질을 일관되게 향상시킵니다. Qwen3.5-9B의 경우, QAD는 NVFP4 환경에서 68.9%, MXFP4 환경에서 66.0%의 평균 벤치마크 정확도를 달성하여 가장 우수한 PTQ 결과인 각각 65.4%와 56.4%를 능가했습니다. 실험을 통해 두 FP4 포맷 모두 배포 시 가중치와 활성화를 양자화함에도 불구하고 최적의 학습 전략은 포맷에 따라 다르다는 점을 발견했습니다. NVFP4는 학습 중 가중치만 양자화할 때 전반적으로 더 나은 성능을 보이는 반면, MXFP4는 가중치와 활성화를 모두 양자화할 때 이점을 얻습니다. 고정된 학습 토큰 예산에서, 더 많은 4K 시퀀스로 학습하는 것보다 더 적은 수의 32K 시퀀스로 학습할 때 평균 정확도가 1.9%포인트 향상됩니다.
IoT 보안을 위한 신뢰할 수 있는 연합 TinyML 배포
Reliable Federated TinyML Deployment for IoT Security
사물인터넷(IoT) 기기의 배포가 증가함에 따라 자원 제약이 있는 하드웨어에서 직접 동작하는 프라이버시 보존형 침입 탐지 시스템의 필요성이 커졌습니다. 연합학습(Federated Learning)은 원시 데이터를 공유하지 않고도 협업적 모델 학습을 가능하게 하지만, 기존의 연합 모델은 마이크로컨트롤러급 기기에 배포하기에는 지나치게 크고 불안정한 경우가 많습니다. TinyML 기술은 소형 신경망을 가능하게 하지만 일반적으로 추론 전용 워크로드를 위해 설계됩니다. 본 연구에서는 IoT 환경의 침입 탐지를 위해 연합학습과 TinyML 기반 모델 압축을 결합하는 방안을 조사합니다. 저자들은 연합 학습 파이프라인 내에서 지식 증류, 구조적 가지치기, 양자화를 포함한 압축 전략을 평가합니다. 초기 결과는 학습 안정성이 연합 TinyML 시스템에서 결정적인 역할을 한다는 점을 보여줍니다. 특히, 서버 조율 코사인 학습률 스케줄링(server-coordinated cosine learning-rate scheduling)은 상당한 모델 압축과 효율적인 엣지 배포를 실현하는 동시에 공격 재현율(Attack Recall)을 46.7%에서 93.85%로 향상시킵니다. 이러한 결과는 IoT 기기를 위한 경량화 및 프라이버시 보존형 침입 탐지 시스템 설계에 유용한 통찰을 제공합니다.
LEAP-NBV: 파운데이션 모델 기반 차기 최적 시점 계획을 위한 경량 엣지 능동 지각
LEAP-NBV: Lightweight Edge Active-Perception for Foundation-Model Next-Best-View Planning
파운데이션 모델(foundation model)은 자율 시스템에 더 뛰어난 지능을 부여하여 시각적 지각을 통한 환경(environment)에 대한 보다 포괄적인 이해를 가능하게 하고 있다. 대표적인 예로 인체 메시 복원(HMR, Human Mesh Recovery)이 있으며, 이는 전술적 임무에 유용하게 활용될 수 있는 타깃의 3D 포즈 및 형태 추정치를 제공한다. 그러나 이러한 모델(model)의 크기와 전력 소모량으로 인해 엣지 플랫폼에서 구동하기 어렵고 실시간 성능이 제한되어 전술적 엣지 배포(edge deployment)의 요구사항을 충족하기 어렵다. 특히 통신이 제한된 환경에서 모바일 로봇이 계산을 외부로 오프로드하지 못하고 온보드 상에서 차기 최적 시점(NBV, Next-Best-View)을 계획해야 하는 능동 지각(active perception)의 경우 더욱 그렇다. 본 논문에서는 엣지 디바이스 온보드에서 파운데이션 모델 기반 차기 최적 시점 계획을 실행하는 경량 능동 지각 프레임워크인 LEAP-NBV를 제안한다. 이를 위해 오프라인 메시 목표 함수를 사용하여 대규모 HMR 교사 모델 제품군을 각각 컴팩트한 32M 학생 모델로 지식 증류(distillation)한 후, 비전 인코더를 FP16으로 양자화(quantization)하고 온디바이스 정확도와 지연 시간을 특성화한다. 차폐 인식 능동 지각 루프 내에서 동일한 홀드아웃 벤치마크(benchmark)를 통해 모든 구성을 평가(evaluation)하고, 전체 엔드투엔드 파이프라인을 NVIDIA Jetson Xavier NX에 배포하여 실제 측정된 온디바이스 지연 시간과 에너지를 보고한다. 지식 증류를 통해 테스트 세트에서 증류되지 않은 학생 모델 대비 프로크루스테스 정렬 평균 정점당 위치 오차(PA-MPVPE)를 6-7 mm 개선한다. 엣지에 최적화된 압축 모델을 선택함으로써 약간의 정확도 손실만으로 HMR 엔진의 속도를 약 12 ms로 끌어올리고, 전체 폐루프를 3.6 FPS 및 프레임당 2.6 J로 구동하여 다운스트림 태스크 품질을 거의 유지하면서도 압축되지 않은 모델 대비 2.0배의 속도 향상과 3.0배 낮은 에너지를 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.