arXiv:2305.15255

Spoken Question Answering and Speech Continuation Using Spectrogram-Powered LLM

Eliya Nachmani, Alon Levkovitch, Roy Hirsch, Julian Salazar, Chulayuth Asawaroengchai, Soroosh Mariooryad, Ehud Rivlin, RJ Skerry-Ryan, Michelle Tadmor Ramanovich

제출 2023-05-24

원문 초록

We present Spectron, a novel approach to adapting pre-trained large language models (LLMs) to perform spoken question answering (QA) and speech continuation. By endowing the LLM with a pre-trained speech encoder, our model becomes able to take speech inputs and generate speech outputs. The entire system is trained end-to-end and operates directly on spectrograms, simplifying our architecture. Key to our approach is a training objective that jointly supervises speech recognition, text continuation, and speech synthesis using only paired speech-text pairs, enabling a `cross-modal' chain-of-thought within a single decoding pass. Our method surpasses existing spoken language models in speaker preservation and semantic coherence. Furthermore, the proposed model improves upon direct initialization in retaining the knowledge of the original LLM as demonstrated through spoken QA datasets. We release our audio samples (https://michelleramanovich.github.io/spectron/spectron) and spoken QA dataset (https://github.com/google-research-datasets/LLAMA1-Test-Set).

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.13814v3cs.CV공통 태그 Question Answering, Speech Recognition

Realtime-Venus: 비동기 위임을 갖춘 전이중(full-duplex) 상호작용 시스템

Realtime-Venus: A full-duplex interaction system with asynchronous delegation

디지털 및 물리적 환경에서의 자연스러운 상호작용은 지속적인 인지(perception)와 적시의 응답을 요구한다. 음성 대화는 음향 및 언어적 단서에 의존하며, 영상 상호작용은 또한 변화하는 시각적 맥락 속에서 대화를 그라운딩(grounding)할 필요가 있다. 우리는 별도로 학습된 9B 모델 두 개—오디오-비주얼 상호작용용 Realtime-Venus-Omni와 음성 상호작용용 Realtime-Venus-Audio—를 갖춘 선제적 전이중 상호작용 시스템 Realtime-Venus를 제시한다. 각 모델은 완전한 대화형 프론트엔드로 동작하며, 사용자 입력, 모델 출력, 위임(delegation) 이벤트에 대한 공유 인과 타임라인을 통해 지속적 인지, 대화 제어, 네이티브 음성 생성을 통합한다. 이중 루프 런타임은 라이브 상호작용과 백그라운드 추론 및 도구 실행을 조율한다. Realtime-Venus-Harness가 비동기적으로 작업을 실행하고 진행 중인 대화에 통합할 결과를 반환하는 동안 전경(foreground) 상호작용은 계속된다. 두 모델 모두 오프라인 이해, 선제적 전이중 궤적, 위임 워크플로를 결합한 공통 사후 학습 레시피를 따른다. 평가된 온라인 모델 가운데 Realtime-Venus-Omni는 여덟 개 영상 벤치마크 중 여섯에서 최고 점수를 기록했으며, StreamingBench(70.2%), OVO-Bench(64.7%), Daily-Omni(81.3%)를 포함한다. 여덟 개의 오디오 이해 및 음성 질의응답 벤치마크 전반에서 Realtime-Venus-Audio는 MMAU(78.0%), MMAU-Pro(63.2%), Llama Questions(83.8%), Speech CMMLU(67.8%)에서 비교 모델들을 앞서며, VoiceBench AlpacaEval 점수 4.81로 최고 성능과 동률을 기록했다. Full-Duplex-Bench v1.5에서 Realtime-Venus-Audio는 사용자 끼어들기의 75%에 응답하며, 백채널(backchannel), 타인 지향 발화(other-directed speech), 배경 음성(background speech) 조건에서 각각 97%, 88%, 86%의 continuation rate를 달성해 세 continuation 지표 모두에서 Gemini 3.1 Live와 GPT-4o를 넘어선다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.