arXiv:2603.05354v2 cs.CL

ASR의 다중 도메인 적응을 위한 모델 병합의 잠재력과 한계 탐구

Exploring the potential and limitations of Model Merging for Multi-Domain Adaptation in ASR

Carlos Carvalho, Francisco Teixeira, Thomas Rolland, Alberto Abad

제출 2026-11-02

한국어 초록

모델 병합은 여러 특화 모델의 능력을 하나의 모델로 결합하는, 다중 과제 학습에 대한 확장 가능한 대안이다. 이는 도메인별 미세조정을 통해 적응되어 여러 맞춤형 체크포인트가 생기고, 새로운 데이터가 확보될 때마다 전체 미세조정을 반복하는 것이 계산적으로 엄두를 내기 어려운 대규모 음성 파운데이션 모델에서 특히 매력적이다. 본 연구에서는 다중 도메인 ASR을 위한 모델 병합을 연구하며, 10개의 유럽 포르투갈어 도메인에 대해 11가지 병합 알고리즘을 벤치마킹하고, 도메인 내 정확도, 분포 변화에 대한 강건성, 그리고 영어 및 다국어 성능을 평가한다. 또한 TSV-M을 기반으로 특이값 부스팅을 통해 랭크 붕괴를 완화하고 수치적 안정성을 개선하는 새로운 병합 알고리즘 BoostedTSV-M을 제안한다. 전반적으로 우리의 접근법은 단일 모델에서 분포 외 일반화를 유지하면서 유럽 포르투갈어에서 전체 미세조정보다 우수한 성능을 보인다.

원문 초록

Model merging is a scalable alternative to multi-task training that combines the capabilities of multiple specialised models into a single model. This is particularly attractive for large speech foundation models, which are typically adapted through domain-specific fine-tuning, resulting in multiple customised checkpoints, for which repeating full fine-tuning when new data becomes available is computationally prohibitive. In this work, we study model merging for multi-domain ASR and benchmark 11 merging algorithms for 10 European Portuguese domains, evaluating in-domain accuracy, robustness under distribution shift, as well as English and multilingual performance. We further propose BoostedTSV-M, a new merging algorithm based on TSV-M that mitigates rank collapse via singular-value boosting and improves numerical stability. Overall, our approach outperforms full fine-tuning on European Portuguese while preserving out-of-distribution generalisation in a single model.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.05354v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.