멀티코어 엣지 가속기를 위한 조기 종료 신경망의 하드웨어-알고리즘 공동 최적화
Hardware-Algorithm Co-Optimization of Early-Exit Neural Networks for Multi-Core Edge Accelerators
엣지 가속기에 조기 종료 신경망(Early-Exiting Neural Networks, EENN)을 배포하려면 네트워크 아키텍처뿐만 아니라 하드웨어 배포 최적화도 함께 이루어져야 합니다. 조기 종료(exit) 구성, 양자화(quantization), 하드웨어 워크로드 매핑은 단순하지 않은 방식으로 상호작용하며 메모리 트래픽, 가속기 활용도, 궁극적으로는 에너지-지연 시간 트레이드오프에 영향을 미칩니다. 본 연구에서는 단일화된 NAS(Neural Architecture Search) 프로세스 내에서 조기 종료 구성, 양자화 인식 학습(quantization-aware training), 멀티코어 하드웨어 매핑을 공동으로 최적화하는 EENN용 하드웨어 인식 코디자인 프레임워크를 제시합니다. 분석적 설계 공간 탐험(exploration)을 활용하는 이 프레임워크는 탐색 과정에서 정확한 지연 시간 및 에너지 추정치를 제공하는 동시에 각 후보 아키텍처에 대한 효율적인 워크로드 매핑을 식별합니다. 나아가 EENN 배포를 예측 정확도, 에너지-지연 시간 곱(energy-latency product), 조기 종료 오버헤드, 동적 추론(inference) 효율성의 균형을 맞추는 제약 조건 다목적 최적화 문제로 공식화합니다. CIFAR-10에 대한 실험 결과에 따르면 제안된 프레임워크는 8비트 양자화 환경에서 정적 베이스라인 대비 에너지-지연 시간 곱을 50% 이상 절감하는 것으로 나타났습니다. 이러한 결과는 이종 엣지 가속기에서 동적 추론의 완전한 효율성 잠재력을 실현하기 위해 아키텍처와 배포를 공동 최적화하는 것이 필수적임을 입증합니다.