PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06527v1cs.AR

저전력 에지 효율 신경망 NVFP4 추론에서 블록 크기, 가중치 정밀도, 스케일 정밀도에 대한 어블레이션 연구

Ablation Study of Block Size, Weight Precision, and Scale Precision in NVFP4 Inference for Low-Power Edge-Efficient Neural Networks

에너지 효율적인 에지 추론을 위해서는 연산 비용, 메모리 트래픽, 하드웨어 오버헤드를 줄여야 한다. 본 논문은 에지 효율 신경망을 위한 NVFP4 LUT 기반 추론에 대한 어블레이션 중심 연구를 제시한다. 제안된 NVLUT 프레임워크는 4비트 NVFP4 활성화, 2단계 스케일링, LUT 기반 가수(mantissa) 연산, 전압 스케일 저장, 선택적 ECC 보호를 결합한다. 곱셈은 부호, 지수, 가수 경로로 분해되며, 부호는 XOR 논리, 지수는 정수 덧셈, 가수 곱셈은 컴팩트 LUT 접근으로 대체된다. NVFP4 활성화는 FP8 블록 스케일과 FP32 텐서 스케일을 갖는 FP4 데이터를 사용한다. 6개의 에지 효율 모델에 걸쳐 블록 크기 어블레이션 결과, B = 16이 실용적인 정확도/저장 트레이드오프를 제공하며 N = 4096에서 입력당 4.5078비트만 필요함을 보여준다. 가중치 정밀도 어블레이션은 동일한 NVFP4 활성화 경로에서 FP8 및 FP16 가중치가 FP4 가중치 대비 미미한 이득만 제공함을 보여준다. 순수 비스케일 FP4와 비교했을 때, 재학습 없는 NVFP4는 활성화 동적 범위를 복원하여 상당한 정확도를 회복하며, 재학습을 적용한 NVFP4는 모델 전반에서 최고 정확도를 달성한다. 하드웨어 분석 결과 NVLUT는 ECC 및 전압 스케일링이 적용된 기존 LUT 대비 최대 26.85배, 혼합 전압 동작에서는 최대 22.85배의 에너지 절감을 달성한다. 면적은 각각 최대 2.21배 및 1.52배 감소한다. 이러한 결과는 선택적 신뢰성 보호를 갖춘 NVFP4 2단계 스케일링이 강건하고 저에너지 에지 추론을 가능하게 함을 보여준다.