Unlocking Speech-Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning
음성 시퀀스가 텍스트 대비 최대 20배 길어 인스트럭션 튜닝 데이터 확장이 극히 어려운 문제를 해결하기 위해, SpeechCombine은 텍스트 대규모 언어 모델(LLM)의 인스트럭션 튜닝 가중치 차분(Δθ_inst)과 30k 시간 음성 사전학습으로 얻은 음성 적응 가중치 차분(Δθ_speech)을 파라미터 공간에서 선형 결합하는 모델 병합(model merging) 방식을 제안한다. 별도의 인스트럭션 튜닝 없이도 텍스트 지향, 음성 이해, 음성 생성 등 세 가지 범주의 인스트럭션 팔로잉 능력이 음성 도메인으로 효과적으로 전이됨을 실험으로 입증했다.