ReSET: 단계 인식 온도 스케일링을 통한 정확한 지연 시간 민감 NVFP4 추론
ReSET: Accurate Latency-Critical NVFP4 Reasoning via Step-Aware Temperature Scaling
대규모 추론 모델(LRM)의 NVFP4 양자화(quantization)로 인한 정확도 저하 문제를 해결하기 위해, 토큰 및 추론 단계의 엔트로피(entropy)를 기반으로 온도 스케일링을 조절하는 ReSET 방법과 CUDA 기반의 최적화된 커널(kernel)을 제안한다. 제안된 방법은 기존 NVFP4 대비 정확도를 최대 2포인트 향상시키고, BF16 대비 약 2배의 추론(inference) 속도를 달성한다.