arXiv:2611.23520v1 cs.AI

BeFit: 자원 제약 센싱을 위해 복잡도를 가중치에서 베른슈타인 활성화로 이전하기

BeFit: Shifting Complexity from Weights to Bernstein Activations for Resource-Constrained Sensing

Malak Gamal El-Din, Yasser Shoukry, Salma Elmalaki

제출 2026-11-19

한국어 초록

시계열 센싱은 점점 더 신경망에 의존하지만, 자원이 제한된 마이크로컨트롤러에서의 배포는 여전히 어렵다. 공격적인 모델 압축은 정확도를 떨어뜨릴 수 있고, 가중치를 곱셈이 필요 없는 표현으로 제한하면 추가적인 손실이 발생한다. 우리는 모델 용량을 가중치에서 학습 가능한 베른슈타인 다항식 활성화로 이전하는 종단간 프레임워크 BeFit을 제시한다. BeFit은 (i) 하드웨어 인식 신경망 구조 탐색으로 간결한 베른슈타인 활성화 합성곱 신경망(BeCNN)을 찾고 지식 증류로 학습시키며, (ii) 그 가중치를 곱셈이 필요 없는 코드로 투영하고 코드를 고정한 뒤 그로 인한 정확도 손실을 학습 가능한 활성화를 통해 회복하고, (iii) 투영된 가중치를 활용하여 곱셈 없는 합성곱을 수행하는 모델 특화 커널을 생성한다. 인간 활동 인식에서 BeCNN은 동일 구조의 ReLU CNN보다 평균 2.75 퍼센트 포인트(pp) 더 정확하다. TI CC3220SF(Cortex-M4)에서 가중치 투영은 BeCNN을 평균 2.2배 빠르게 하면서 0.8 pp를 잃으며, ReLU CNN은 2.4 pp를 잃는다. CMSIS-NN과 함께 TensorFlow Lite Micro에서 실행되는 MLPerf Tiny DS-CNN 참조 모델과 비교하면, 투영하지 않은 BeCNN은 1.0 pp 높은 정확도, 2.2배 낮은 지연 시간, 6.4배 적은 플래시를 달성하며, 투영된 모델은 참조 정확도의 1.0 pp 이내를 유지하면서 5.9배 빠르게 실행된다. 하드웨어 곱셈기가 없는 RISC-V 코어 에뮬레이션에서는 DS-CNN 대비 명령어 수 감소가 Cortex-M4의 5.2배에서 147배로 증가한다. BeFit은 트랜스포머와 MLP로도 확장되며, 모든 과제에서 최종 모델은 평균적으로 float32 교사 모델의 1.56 pp 이내를 유지한다.

원문 초록

Time-series sensing increasingly relies on neural networks, yet deployment on resource-constrained microcontrollers remains challenging. Aggressive model compression can reduce accuracy, while restricting weights to multiplication-free representations introduces further losses. We present BeFit, an end-to-end framework that shifts model capacity from weights to learnable Bernstein polynomial activations. BeFit (i) finds compact Bernstein-activated convolutional neural networks (BeCNNs) through hardware-aware neural architecture search and trains them via knowledge distillation; (ii) projects their weights to multiplication-free codes, freezes the codes, and recovers the resulting accuracy loss through the learnable activations; and (iii) generates model-specific kernels that exploit the projected weights for multiplication-free convolutions. On human activity recognition, BeCNNs are 2.75 percentage points (pp) more accurate on average than ReLU CNNs of identical architecture. On a TI CC3220SF (Cortex-M4), weight projection speeds BeCNNs up by 2.2x on average while losing 0.8 pp, compared with 2.4 pp for ReLU CNNs. Against the MLPerf Tiny DS-CNN reference model running on TensorFlow Lite Micro with CMSIS-NN, the unprojected BeCNN achieves 1.0 pp higher accuracy, 2.2x lower latency, and 6.4x lower flash, while the projected model remains within 1.0 pp of the reference accuracy and runs 5.9x faster. In emulation on a RISC-V core without a hardware multiplier, the instruction-count reduction relative to the DS-CNN increases from 5.2x on the Cortex-M4 to 147x. BeFit also extends to transformers and MLPs, and across all tasks the final models stay within 1.56 pp of their float32 teachers on average.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23520v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.