FORGE: 마이크로컨트롤러의 정수 전용 비전 모델을 위한 순전파 전용 테스트 시점 적응
FORGE: Forward-Only Test-Time Adaptation for Integer-Only Vision Models on Microcontrollers
한국어 초록
마이크로컨트롤러(MCU)에 배포되는 비전 모델은 정수 전용 연산으로 양자화되며, 추론 전용 런타임에서 실행됩니다. 이러한 런타임에는 현장에서 마주하는 분포 변화(센서 노이즈, 블러, 조명)에 모델을 적응시키는 표준 도구인 역전파에 필요한 기능이 갖춰져 있지 않습니다. 기존의 순전파 전용 테스트 시점 적응(TTA) 방법은 서버급 또는 엣지 GPU급 모델에서만 실행되거나(실제 마이크로컨트롤러의 정수 실행이 아님), 정수 배포 과정에서 융합되어 사라지는 배치 정규화(BN) 레이어를 필요로 합니다. 본 논문은 배포된, BN이 합성곱에 융합(folding)된 정수 전용 합성곱 신경망에서 동작하는 순전파 전용 TTA 방법을 제안합니다. 핵심 관찰은 정수 추론에 필수적인 단계인 BN을 앞선 합성곱에 융합하는 과정이, 정규화 기반 적응이 의존하는 통계량을 파괴한다는 점입니다. 본 방법은 순전파 과정에서 얻은 추정치만을 사용하여, 융합된 각 합성곱의 채널별 출력을 원래의 깨끗한(clean) 학습 통계량으로 다시 정규화함으로써 적응 기능을 복원합니다. 본 방법은 (i) 그래디언트 기반 TENT의 정확도 향상 폭 대부분을 회복하고(+20.9점 대 +24.9점) 순전파 전용 BN 적응과 동등한 성능을 보이면서도, 융합된 정수 전용 모델에서 실행되는 유일한 방법이고, (ii) 테스트 시 손상(corruption)을 보지 않고 선택한 21개 레이어 중 3개만 적응시켜도 이득의 93%를 회복하며, (iii) 배치 크기에 따라 조정되는 모멘텀을 사용하여 단일 샘플 스트리밍 환경에서도 동작하고, (iv) 3개의 데이터셋(최대 200개 클래스)과 2개의 아키텍처에서 일반화됩니다. 또한 비트 단위로 정확한(bit-exact) int8 합성곱 실행을 검증하고 ESP32-S3에 배포하였으며, Nordic PPK2 전력 프로파일러로 측정한 결과, 순전파 전용 적응(int8 합성곱 주변의 경량 fp32 재보정)은 SIMD 최적화가 적용된 배포 모델에서 8.3 mJ(추론 에너지의 6.8%)와 21.9 ms만을 소모합니다. 즉, 순전파 전용 적응은 실제 마이크로컨트롤러에서 저렴한 비용으로 수행할 수 있습니다.
원문 초록
Vision models deployed on microcontrollers (MCUs) are quantized to integer-only arithmetic and run in inference-only runtimes that do not carry the machinery backpropagation needs: the standard tool for adapting a model to the distribution shift (sensor noise, blur, lighting) it meets in the field. Existing forward-only test-time adaptation (TTA) methods either run only on server- or edge-GPU-class models (not true microcontroller integer execution), or require the batch-normalization (BN) layers that integer deployment fuses away. We present a forward-only TTA method that operates on deployed, BN-folded, integer-only convolutional networks. The key observation is that fusing BN into the preceding convolution, a mandatory step for integer inference, destroys the statistics that normalization-based adaptation relies on. We restore adaptation by re-normalizing each folded convolution's per-channel output to its clean training statistics, using only forward-pass estimates. The method (i) recovers most of gradient-based TENT's accuracy gain (+20.9 vs. +24.9 points) and matches forward-only BN adaptation, while being the only method that runs on a folded integer-only model; (ii) needs to adapt only 3 of 21 layers (selected without seeing the test corruptions) to recover 93% of the benefit; (iii) survives single-sample streaming with a batch-size-scaled momentum; and (iv) generalizes across three datasets (up to 200 classes) and two architectures. We validate bit-exact int8 convolution execution and deploy on an ESP32-S3, where, measured with a Nordic PPK2 power profiler, the forward-only adaptation (a lightweight fp32 recalibration around the int8 convolutions) costs only 8.3 mJ (6.8% of inference energy) and 21.9 ms on the deployed SIMD-optimized model: forward-only adaptation is cheap on a real microcontroller.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.01683v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.