멀티코어 엣지 가속기를 위한 조기 종료 신경망의 하드웨어-알고리즘 공동 최적화
Hardware-Algorithm Co-Optimization of Early-Exit Neural Networks for Multi-Core Edge Accelerators
한국어 초록
엣지 가속기에 조기 종료 신경망(Early-Exiting Neural Networks, EENN)을 배포하려면 네트워크 아키텍처뿐만 아니라 하드웨어 배포 최적화도 함께 이루어져야 합니다. 조기 종료(exit) 구성, 양자화(quantization), 하드웨어 워크로드 매핑은 단순하지 않은 방식으로 상호작용하며 메모리 트래픽, 가속기 활용도, 궁극적으로는 에너지-지연 시간 트레이드오프에 영향을 미칩니다. 본 연구에서는 단일화된 NAS(Neural Architecture Search) 프로세스 내에서 조기 종료 구성, 양자화 인식 학습(quantization-aware training), 멀티코어 하드웨어 매핑을 공동으로 최적화하는 EENN용 하드웨어 인식 코디자인 프레임워크를 제시합니다. 분석적 설계 공간 탐험(exploration)을 활용하는 이 프레임워크는 탐색 과정에서 정확한 지연 시간 및 에너지 추정치를 제공하는 동시에 각 후보 아키텍처에 대한 효율적인 워크로드 매핑을 식별합니다. 나아가 EENN 배포를 예측 정확도, 에너지-지연 시간 곱(energy-latency product), 조기 종료 오버헤드, 동적 추론(inference) 효율성의 균형을 맞추는 제약 조건 다목적 최적화 문제로 공식화합니다. CIFAR-10에 대한 실험 결과에 따르면 제안된 프레임워크는 8비트 양자화 환경에서 정적 베이스라인 대비 에너지-지연 시간 곱을 50% 이상 절감하는 것으로 나타났습니다. 이러한 결과는 이종 엣지 가속기에서 동적 추론의 완전한 효율성 잠재력을 실현하기 위해 아키텍처와 배포를 공동 최적화하는 것이 필수적임을 입증합니다.
원문 초록
The deployment of Early-Exiting Neural Networks (EENNs) on edge accelerators requires optimizing not only the network architecture but also its hardware deployment. Exit configuration, quantization, and hardware workload mapping interact in non-trivial ways, influencing memory traffic, accelerator utilization, and ultimately the energy-latency trade-off. This work presents a hardware-aware co-design framework for EENNs that jointly optimizes exit configuration, quantization-aware training, and multi-core hardware mapping within a unified NAS process. Leveraging analytical design space exploration, the framework identifies efficient workload mappings for each candidate architecture while providing accurate latency and energy estimates during the search. We further formulate EENN deployment as a constrained multi-objective optimization problem balancing predictive accuracy, energy-latency product, exit overhead, and dynamic inference efficiency. Experimental results on CIFAR-10 demonstrate that the proposed framework achieves over a 50\% reduction in energy-latency product compared with static baselines under 8-bit quantization. These results demonstrate that jointly optimizing architecture and deployment is essential for realizing the full efficiency potential of dynamic inference on heterogeneous edge accelerators.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다차원 가지치기를 통한 임베디드 하드웨어용 효율적인 합성곱 신경망을 향하여
Towards Efficient Convolutional Neural Network for Embedded Hardware via Multi-Dimensional Pruning
본 논문에서는 임베디드 하드웨어에서의 실행 효율성을 높이기 위해 합성곱 신경망(CNN)의 세 가지 차원(깊이, 너비, 해상도)을 협력적으로 가지치기하는 다차원 가지치기 프레임워크인 TECO를 제안한다. TECO에서는 먼저 각 차원 내부의 지역적 중요도와 서로 다른 차원 간의 전역적 중요도를 모두 고려하여 각 가지치기 단위를 효율적이고 포괄적으로 평가하는 2단계 중요도 평가 프레임워크를 도입한다. 이 평가 프레임워크를 기반으로, 정확도와 효율성 간의 최적 균형을 향해 CNN의 세 차원을 점진적으로 가지치기하는 휴리스틱 가지치기 알고리즘을 제시한다. 다양한 벤치마크에서의 실험을 통해 기존 최신(SOTA) 방법들에 비한 TECO의 우수성을 검증한다. 코드 및 사전학습 모델은 https://github.com/ntuliuteam/Teco에서 공개되어 있다.
HiFi-LLP: 강건한 HW-NAS를 위한 신뢰도 기반 고충실도·저비용 지연 시간 예측기
HiFi-LLP: High-Fidelity, Low-Cost Latency Predictors with Confidence for Robust HW-NAS
심층 신경망(DNN)이 엣지 디바이스에 점점 더 많이 배포됨에 따라, HW 인식 압축 및 HW 인식 신경망 구조 탐색(HW-NAS)과 같은 하드웨어(HW) 인식 최적화 기법이 필수적이 되었다. 이러한 방법들은 효율적인 배포를 위해 DNN 아키텍처를 조정하는 데 목표 하드웨어의 실제 피드백에 의존한다. 탐색은 병렬화할 수 있지만, 하드웨어-인-더-루프(HIL)를 통한 지연 시간 측정은 순차적 특성으로 인해 병목 지점으로 남아 있다. 최근 접근법들은 비용이 많이 드는 HIL 피드백을 대체하기 위해 지연 시간 예측기를 활용하지만, 두 가지 과제가 지속된다: (1) 플랫폼별 예측기는 종종 수만 개의 샘플을 필요로 하며, (2) 부정확한 예측이 NAS 과정을 잘못 인도할 수 있다. 이를 해결하기 위해, 우리는 신뢰도 지표로 보강된 그래프 어텐션 네트워크 기반의 고충실도·저비용 지연 시간 예측기인 HiFi-LLP를 소개한다. HiFi-LLP는 LatBench 데이터셋의 6개 디바이스에 걸쳐 10% 정확도 범위 기준에서 기존 플랫폼별 예측기 대비 최대 9 퍼센트 포인트(p.p.) 높은 성능을 달성하며, 스피어만 순위 상관계수 최대 0.996을 달성한다. 나아가 신뢰도가 낮은 예측을 HIL로 라우팅하는 하이브리드 NAS 프레임워크를 제안하여, 경쟁력 있는 파레토 프론트를 유지하면서 일반적인 NAS 대비 최대 8.6배의 속도 향상을 달성한다.
O\'ido: Real-Time Open-Vocabulary Speech Recognition on a $5 Microcontroller without a Neural Accelerator
NanoVSR: 엣지 디바이스에서의 실시간 비디오 초해상도를 향하여
NanoVSR: Towards Real-Time Video Super-Resolution on Edge Devices
최근 비디오 초해상도(VSR) 방법들은 트랜스포머와 명시적 옵티컬 플로우에 크게 의존하며, 이는 TensorRT와 같은 하드웨어 가속기에의 배포를 저해하는 연산 오버헤드와 커스텀 연산을 야기한다. 이를 해결하기 위해, 우리는 리소스가 제한된 엣지 디바이스를 위해 설계된 확장 가능한 완전 합성곱 아키텍처인 NanoVSR을 소개한다. 구조적 재파라미터화(structural reparameterization)를 활용하여, NanoVSR은 추론 시 표준 합성곱으로 축약되어 원활한 하드웨어 호환성과 무시할 수 있는 수준의 런타임 오버헤드를 보장한다. 또한, 명시적 모션 보상이 없음에도 불구하고, 점진적 학습을 통해 시공간적 정렬을 암묵적으로 학습함으로써 경쟁력 있는 복원 품질을 유지한다. REDS4 벤치마크에서 평가한 결과, NanoVSR은 정확도와 연산 효율성 간의 탁월한 균형을 보여주며, 소형 아키텍처에서의 트레이드오프를 크게 개선한다. NanoVSR-644k 기준선은 NVIDIA Jetson Orin NX 16GB(25W)에서 27.2 FPS를 달성하면서 28.64 dB PSNR을 제공하여, 더 무거운 모델 대비 대폭적인 속도 향상을 제공한다. 확장된 NanoVSR-1.7M 변형은 19.58 FPS의 처리량으로 29.15 dB에 도달하여, 우수한 엣지 최적화 업스케일링을 제공한다. 코드는 https://github.com/filippawlicki/nanovsr 에서 확인할 수 있다.
MiX: 엔드투엔드 저비트 비전-언어 모델 가속을 위한 마이크로 역스케일링
MiX: Micro-Inverted-Scaling for End-to-End Low-Bit Vision-Language Model Acceleration
엣지 기기에서 비전-언어 모델(VLM)의 배포는 메모리 대역폭으로 인한 심각한 병목 현상을 겪고 있어, 공격적인 8비트 미만 양자화(quantization)가 필수적입니다. 엣지 가속기는 면적과 전력에 엄격한 제약이 있으므로 엔드투엔드 양자화 모델을 필요로 합니다. 그러나 멀티모달 토큰 간의 극단적인 동적 범위 격차로 인해 표준 블록 포맷은 단 하나의 거대한 이상치(outlier)가 공유 지수를 독점하여 주변 요소를 언더플로우시키고 어텐션(attention) 맵을 파괴하는 '마이크로스케일링 붕괴(microscaling collapse)'를 겪게 됩니다. 이러한 병목 현상을 해결하기 위해, 우리는 마이크로스케일링 패러다임을 수학적으로 역전시킨 새로운 포맷인 마이크로 역스케일링(MiX, Micro-Inverted-Scaling)을 제안합니다. MiX는 하나의 공유 지수 아래에 여러 가수를 그룹화하는 대신, 단일 공유 가수 아래에 요소별 개별 지수를 그룹화합니다. 비대칭적인 VLM 이상치 토폴로지를 처리하기 위해 적응형 듀얼 포맷(MiX-MX) 추론(inference) 프레임워크를 도입합니다. 공유된 MiX 가수를 대수적으로 인수분해함으로써, 이 프레임워크는 커스텀 가속기에 매핑되어 곱셈기를 효율적인 시프터로 대체합니다. 여러 VLM에서 엔드투엔드로 평가한 결과, 4.5비트 MiX 구성은 멀티모달 벤치마크에서 NVFP4와 동등하거나 우수한 정확도를 보였습니다. 동시에 MiX 가속기는 NVFP4 기준선(baseline) 대비 25% 향상된 면적 효율성을 제공하고, 최첨단 가속기인 Focus와 비교하여 여러 모델에 걸쳐 2.3~4.5배의 속도 향상과 1.4~2.9배의 에너지 절감을 달성하여 역스케일링 데이터패스가 효율적인 VLM 배포에 물리적으로 우수함을 입증했습니다.
GenomeOcean Anywhere: 게놈 MoE 모델을 위한 비공개 WebGPU 추론
GenomeOcean Anywhere: Private WebGPU Inference for Genome MoEs
게놈 파운데이션 모델(foundation model)은 시퀀스(sequence)가 생성되는 곳에서 가장 유용하지만, 가장 큰 모델들은 데이터센터급 가속기와 민감한 DNA 정보를 전송할 장소를 필요로 한다. 본 연구는 150억 개 매개변수(parameter) 규모의 게놈 전문가 혼합(MoE) 모델이 전문가(expert)들을 여러 신뢰할 수 없는(untrusted) 기기들에 분산시킨 채, 예측 결과를 바꾸지 않고도, 그리고 어떤 단일 기기에도 시퀀스를 노출하지 않으면서 자원봉사자들의 웹 브라우저에서 대신 실행될 수 있는지를 묻는다. 우리는 신뢰할 수 있는 코디네이터(coordinator)가 어텐션(attention)과 라우팅(routing)을 수행하고, 브라우저 워커(worker)들이 손수 작성한 WebGPU 커널을 통해 모든 전문가의 순전파 신경망(feed-forward network)을 실행하는 시스템을 구축했으며, 실수값 라그랑주 코딩 계산(real-valued Lagrange coded computing)으로 전문가 입력을 보호한다: 각 워커는 가우시안 패딩(Gaussian-padded) 처리된 공유값(share)만을 받아 전문가의 선형 변환(linear map)을 계산하고, 코디네이터는 세 워커 중 임의의 두 워커로부터 결과를 복호화(decode)한다. GenomeOcean-MoE(전문가 8개, top-2 라우팅, 24개 레이어)에서, 브라우저 경로는 모든 양자화(quantization) 수준에서 네이티브(native) llama.cpp와 일치하며, 분산 경로는 BF16 수치 노이즈 바닥(numerical noise floor) 수준을 유지하고(토큰당 KL 0.0036 나트(nats)), 별도로 피팅하지 않은(unfitted) 지연시간 모델은 에뮬레이션된 광역망(wide-area link) 환경에서 디코드(decode) 시간을 0.74%(중앙값) 오차 내로 예측한다. 우리는 먼저 평문(plaintext) 상태의 전문가 입력이 프라이버시를 보장하지 못함을 보인다: 프로브(probe)는 모든 깊이(depth)에서 단일 벡터로부터 토큰을 복원하며, 한 워커는 순서 없는(unordered) 300개의 토큰으로부터 92%의 정확도로 원본 게놈을 식별할 수 있다. 코딩된(coded) 전문가를 사용하면, 공유값으로 학습된 적응형 공격자(adaptive attacker)의 성능은 최다 빈도 토큰 기준선(most-frequent-token baseline) 수준으로 떨어지고, 각 토큰에 대해 한 워커가 얻는 정보는 순전파(forward pass)당 1비트 미만으로 제한되며, 정확도(fidelity) 손실은 BF16 노이즈 바닥 이하로 유지된다. Chrome에서 코딩된 디코딩은 라우팅 정보가 얼마나 은닉되는지에 따라 토큰당 220~376ms로 실행되며, 워커 하나가 실패해도 복제본(replica) 없이 계속 동작한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.