연합 다국어 Speech-LLM: 아키텍처 및 집계 전략 벤치마킹
Federated Multilingual Speech-LLMs: Architecture and Aggregation Strategy Benchmarking
한국어 초록
본 논문에서는 Multilingual LibriSpeech 데이터셋에서 4가지 Speech-LLM 아키텍처를 평가하여 다국어 자동 음성 인식(ASR)을 위한 연합학습(FL)의 종합적인 벤치마크를 제시합니다. 인코더 동결(frozen) 및 동결 해제(unfrozen) 설정 전반에서 FedAvg와 FedProx를 비교하여, 최적화된 학습률이 성능에 결정적임을 입증합니다. 구체적으로 음성 인코더, 커넥터, 디코더의 학습률을 독립적으로 튜닝할 때 가장 낮은 오류율을 달성하며, 세 구성 요소 전체를 적응시키는 방식(인코더와 디코더에는 LoRA 적용, 커넥터는 전체 학습)이 가장 우수한 연합학습 결과를 도출합니다. 또한 FedProx의 효용성이 아키텍처에 따라 달라지며, 다국어 사전학습 아키텍처(예: 인코더를 고정했을 때 TinyLlama 대비 EuroLLM)에서 두드러진 이점을 제공함을 관찰했습니다. 이는 대규모 언어 모델(LLM) 백본의 용량이 이종 데이터 분포에 대한 회복탄력성을 매개하는 데 핵심적인 역할을 함을 시사합니다. 이러한 연구 결과는 개인정보 보호에 민감한 분산 환경에 다국어 Speech-LLM을 배포하기 위한 구체적인 설계 지침을 제공합니다.
원문 초록
We present a comprehensive benchmark of Federated Learning (FL) for multilingual Automatic Speech Recognition (ASR), evaluating four Speech-LLM architectures on the Multilingual LibriSpeech dataset. We compare FedAvg and FedProx across frozen and unfrozen encoder configurations, demonstrating that optimized learning rates are critical for performance. Specifically, independently tuning the learning rates for the speech encoder, connector, and decoder yields the lowest error rates, with full three-component adaptation (LoRA for encoder and decoder, full training for the connector) producing the best FL results. We observe that FedProx efficacy is architecture-dependent, providing notable advantages in multilingual pre-trained architectures (e.g., EuroLLM over TinyLlama when keeping the encoder fixed); this indicates that LLM backbone capacity plays a key role in mediating resilience to heterogeneous data distributions. These findings offer concrete design guidance for deploying multilingual Speech-LLMs in privacy-sensitive, distributed environments.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.23825v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.