오디오 모델의 효율적인 스케일링: 규모, 해상도, 적응, 정밀도 및 희소성의 결합 최적화
Scaling Audio Models Efficiently: Joint Optimization of Scale, Resolution, Adaptation, Precision, and Sparsity
Whisper와 같은 대규모 자동 음성 인식(ASR) 모델은 메모리 및 추론(inference) 속도 제약이 크게 다른 다양한 하드웨어 전반에 배포되어야 합니다. 본 논문에서는 모델 크기, 시간 해상도, 인코더 토큰(token) 스트라이드, 저순위 적응(low-rank adaptation) 용량, 가중치(weight) 정밀도 및 희소성(sparsity) 패턴의 6가지 차원에 따라 Whisper 배포를 공동으로 매개변수화하는 압축 프레임워크를 제시합니다. 모든 축은 단어 오류율(WER), 추론 FLOPs, 메모리 점유율이라는 세 가지 배포 목표와 관련하여 NSGA-III를 사용해 결합 최적화(optimization)됩니다. 평가된 1,680개의 후보 구성 중 50개 전반에 걸쳐 각 축의 조건부 효과를 특성화하고 단순한 단일 축 스케일링을 능가하는 압축 조합을 식별하는 한편, 1:4 구조화된 희소성은 테스트된 복구 예산 내에서 허용 가능한 정확도를 복구하지 못함을 발견했습니다. 측정된 WER 및 상주 메모리를 보고하고, 분석적 EffFLOPs를 탐색 시간 계산 대리 지표로 사용하며, 측정된 실시간 계수(RTF)를 사용하여 대표적인 추론 구성을 별도로 검증합니다.