arXiv:2610.22771v2 cs.LG

저비트 LLM에서 스케일 보정의 교차 정밀도 전이, 비국소 문맥, 용량-판독 경계

Cross-Precision Transfer, Non-Local Context, and Capacity-Readout Boundaries of Scale Calibration in Low-Bit LLMs

Xu Cao, Wenxuan Xiao

제출 2026-11-17

한국어 초록

저비트 사후 학습 양자화는 정수 코드와 영점을 고정하여 그룹별 스케일만을 간결한 적응 인터페이스로 남긴다. 본 연구는 Qwen3-1.7B와 Llama-3.2-3B에서 교차 정밀도 전이, 비국소 문맥, 최적화기 용량, 판독 행동을 연구한다. 첫째, 수혜 모델에 대한 학습 없이 부동소수점 Qwen 모델과 INT3 Qwen 모델 사이에서 상대적 스케일 이득을 전이하면, 새로운 WikiText와 C4에서 자기 보정 NLL 감소량의 76.9%-90.5%를 유지하며, 확인 가능한 자기 출처 선호도도 함께 나타난다. 그룹 순열은 전이를 파괴하고, 노름을 맞춘 레이어 제거는 16개 레이어-도메인 비교 모두를 악화시킨다. 보정된 모든 프로젝션에서 초기 텐서가 동일한 Llama 대조군은 주변 네트워크 문맥이 유도하는 선호도를 분리해 낸다. 둘째, Llama 보정을 4개에서 196개 프로젝션(스케일 0.79M개에서 22.02M개)으로 확장하면 50 스텝 학습 손실 파일럿에서 학습률 0.01이 우세해진다. 200 스텝까지 계속하면 28개 블록의 WikiText 풀을 암기하여, 4개 지점 보정 대비 미관측 퍼플렉서티가 2.06-2.28배 증가하고 혼합 행동 PIQA 정확도가 저하되며, 학습률 0.001은 암기를 방지하고 정확도를 회복시킨다. 셋째, 24개 Qwen ARC 판독 엔드포인트 전반에서 200 스텝에서 600 스텝으로 진행하면 일반 텍스트 판독에서는 INT3 교사 KL이 악화되지만 채팅 래핑 하에서는 개선된다. 교차 적합된 4-파라미터 정적 선택지 편향은 양자화된 Chat-Space 점수 이동 SSE의 71.4%-75.4%를 설명하는 반면 부동소수점에서는 2.3% 미만이다. 이 편향을 제거하면 INT3 채팅 교사 일치도가 33.3%-33.9%에서 56.6%-57.5%로 상승하고 KL은 4.15-4.42에서 1.18-1.24 nat으로 감소한다.

원문 초록

Low-bit post-training quantization freezes integer codes and zero points, leaving groupwise scales as a compact adaptation interface. We study cross-precision transfer, non-local context, optimizer capacity, and readout behavior on Qwen3-1.7B and Llama-3.2-3B. First, transferring relative scale gains between floating-point and INT3 Qwen models with zero recipient training retains 76.9%-90.5% of self-calibration NLL reductions on fresh WikiText and C4, alongside resolved own-source preferences. Group permutation destroys transfer, and norm-matched layer withdrawal degrades all 16 layer-domain comparisons. A Llama control with identical initial tensors at all calibrated projections isolates preferences induced by surrounding network context. Second, expanding Llama calibration from 4 to 196 projections (0.79M to 22.02M scales) makes learning rate 0.01 win a 50-step training-loss pilot. Continuing to 200 steps memorizes the 28-block WikiText pool, inflates unseen perplexity by 2.06-2.28 times relative to 4-site calibration, and degrades mixed-action PIQA accuracy; learning rate 0.001 prevents memorization and restores accuracy. Third, across 24 Qwen ARC readout endpoints, advancing from 200 to 600 steps worsens INT3 teacher KL on plain-text readouts yet improves it under chat wrapping. Cross-fitted four-parameter static option bias explains 71.4%-75.4% of quantized Chat-Space score-shift SSE, versus less than 2.3% on floating point. Subtracting this bias raises INT3 chat teacher agreement from 33.3%-33.9% to 56.6%-57.5% and cuts KL from 4.15-4.42 to 1.18-1.24 nats.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.22771v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.