Freeze-Omni: A Smart and Low Latency Speech-to-speech Dialogue Model with Frozen LLM
한국어 초록
빠르게 발전하는 대규모 언어 모델(LLM)은 엄청난 지능형 응용 프로그램을 가져왔습니다. 특히, GPT-4o의 뛰어난 양방향 음성 상호작용 능력은 사용자에게 인상적인 경험을 선사했습니다. 최근 연구자들은 사용자-에이전트 간의 음성 대 음성 대화를 실현할 수 있는 여러 멀티모달 LLM을 제안했습니다. 본 논문에서는 Freeze-Omni라는 새로운 음성-텍스트 멀티모달 LLM 아키텍처를 제안합니다. 우리의 주요 기여는 음성 입력 및 출력 모달리티가 LLM의 매개변수를 훈련 과정 내내 고정한 채로 텍스트 LLM에 쉽게 연결될 수 있다는 점입니다. 우리는 음성 입력과 출력을 모델링하기 위한 3단계 훈련 전략을 설계하여 Freeze-Omni가 텍스트-음성 쌍 데이터(예: ASR 및 TTS 데이터)와 8개의 GPU에서 단 60,000개의 다중 라운드 텍스트 Q&A 데이터만으로 음성 대 음성 대화 능력을 획득할 수 있도록 합니다. 또한, Freeze-Omni의 음성 모달리티의 지능이 기본 LLM의 텍스트 모달리티와 동일한 수준에 있도록 효과적으로 보장하면서도 낮은 지연 시간의 종단 간 음성 응답을 달성할 수 있습니다. 추가로, 우리는 다중 작업 훈련을 통해 양방향 대화 능력을 달성하는 방법도 설계하여 Freeze-Omni가 사용자와 에이전트 간의 보다 자연스러운 대화 스타일을 갖추도록 하였습니다. 요약하자면, Freeze-Omni는 고정된 LLM 조건 하에서 멀티모달 LLM을 기반으로 음성 대 음성 대화를 수행할 수 있는 큰 잠재력을 지니며, 제한된 데이터와 훈련 자원으로 인한 재앙적 망각 문제를 피할 수 있습니다.
원문 초록
Rapidly developing large language models (LLMs) have brought tremendous intelligent applications. Especially, the GPT-4o's excellent duplex speech interaction ability has brought impressive experience to users. Researchers have recently proposed several multi-modal LLMs in this direction that can achieve user-agent speech-to-speech conversations. This paper proposes a novel speech-text multimodal LLM architecture called Freeze-Omni. Our main contribution is that the speech input and output modalities can be easily connected to a textual LLM while keeping the LLM's parameters frozen throughout the training process. We design a three-stage training strategy for modeling both the speech input and output, enabling Freeze-Omni to obtain speech-to-speech conversation ability using text-speech paired data (such as ASR and TTS data) and only 60,000 multi-round text Q&A data on 8 GPUs. Moreover, we can effectively ensure that the intelligence of the Freeze-Omni in the speech modality is at the same level compared with that in the text modality of its backbone LLM, while achieving low latency end-to-end spoken response. In addition, we also designed a method to achieve duplex dialogue ability through multi-task training, giving Freeze-Omni a more natural style of dialogue ability between users and agents. In summary, Freeze-Omni holds great potential to conduct speech-to-speech dialogue based on a multimodal LLM under the condition of a frozen LLM, avoiding the catastrophic forgetting problem caused by limited data and training resources.
요약
대규모 언어 모델(LLM)의 발전은 음성 상호작용의 혁신을 이끌어내고 있으며, 특히 Freeze-Omni는 이러한 발전을 바탕으로 한 새로운 음성-텍스트 멀티모달 아키텍처를 제안합니다. Freeze-Omni는 음성 입력과 출력을 텍스트 LLM에 연결하면서 LLM의 파라미터를 동결하여 학습하는 독창적인 접근 방식을 채택하고 있습니다. 이를 통해 모델은 음성-음성 대화 능력을 효과적으로 획득할 수 있으며, 이는 텍스트-음성 쌍 데이터와 60,000개의 다중 라운드 텍스트 질문-응답 데이터로 학습됩니다. Freeze-Omni의 주요 혁신은 세 가지 단계로 구성된 훈련 전략에 있습니다. 첫 번째 단계에서는 대량의 자동 음성 인식(ASR) 데이터를 활용하여 음성 인코더와 LLM을 정렬함으로써 음성에서 의미 정보를 이해할 수 있도록 합니다. 두 번째 단계에서는 텍스트-음성 변환(TTS) 데이터를 사용하여 음성 디코더를 훈련시키며, 이를 통해 텍스트에서 음성으로의 변환 능력을 강화합니다. 마지막으로, 다중 작업 학습을 통해 이중 대화 능력을 구현하여 사용자와 에이전트 간의 자연스러운 대화를 가능하게 합니다. 이러한 방법론은 재앙적 망각 문제를 피하면서도 음성 모드에서의 지능을 텍스트 모드와 동일한 수준으로 유지하는 데 기여합니다. Freeze-Omni는 낮은 지연 시간으로 음성-음성 대화를 수행할 수 있으며, 이는 기존의 음성-텍스트 멀티모달 LLM보다 뛰어난 성능을 보여줍니다. 이러한 특성 덕분에 Freeze-Omni는 다양한 멀티모달 LLM에 적용 가능하며, 필요한 경우 LLM의 응답 스타일을 조정하기 위한 미세 조정이 용이합니다. 결론적으로, Freeze-Omni는 음성-음성 대화의 새로운 가능성을 열어주며, 제한된 데이터와 학습 자원으로 인한 문제를 해결할 수 있는 잠재력을 지니고 있습니다. 이 모델은 인공지능 대화 시스템의 발전에 기여할 것으로 기대됩니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.