Text-only Domain Adaptation using Unified Speech-Text Representation in Transducer
원문 초록
Domain adaptation using text-only corpus is challenging in end-to-end(E2E) speech recognition. Adaptation by synthesizing audio from text through TTS is resource-consuming. We present a method to learn Unified Speech-Text Representation in Conformer Transducer(USTR-CT) to enable fast domain adaptation using the text-only corpus. Different from the previous textogram method, an extra text encoder is introduced in our work to learn text representation and is removed during inference, so there is no modification for online deployment. To improve the efficiency of adaptation, single-step and multi-step adaptations are also explored. The experiments on adapting LibriSpeech to SPGISpeech show the proposed method reduces the word error rate(WER) by relatively 44% on the target domain, which is better than those of TTS method and textogram method. Also, it is shown the proposed method can be combined with internal language model estimation(ILME) to further improve the performance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
Towards End-To-End Speech Recognition with Recurrent Neural Networks
TransBERT: 도메인 특화 언어 모델링을 위한 합성 번역 프레임워크
TransBERT: A Framework for Synthetic Translation in Domain-Specific Language Modeling
전문 도메인에서 비영어권 언어 데이터가 부족하다는 점은 효과적인 자연어 처리(NLP) 도구의 개발을 크게 제한한다. 본 논문에서는 오직 합성 번역된 텍스트만을 사용하여 언어 모델을 사전학습하는 새로운 프레임워크인 TransBERT를 제시하고, 확장 가능한 번역 툴킷인 TransCorpus를 함께 소개한다. 프랑스어 생명과학 도메인에 초점을 맞춘 본 접근법은, 합성 번역 데이터만을 활용하여도 다양한 다운스트림 태스크에서 최고 수준(state-of-the-art)의 성능을 달성할 수 있음을 보여준다. 우리는 TransCorpus 툴킷, TransCorpus-bio-fr 코퍼스(36.4GB 분량의 프랑스어 생명과학 텍스트), 이와 연관된 사전학습 언어 모델인 TransBERT-bio-fr, 그리고 사전학습과 미세조정 모두를 위한 재현 가능한 코드를 공개한다. 본 연구의 결과는 자원이 풍부한 번역 방향에서의 합성 번역이, 저자원 언어/도메인 쌍에서 고품질 NLP 자원을 구축하는 데 실효성이 있음을 보여준다.
Realtime-Venus: 비동기 위임을 갖춘 전이중(full-duplex) 상호작용 시스템
Realtime-Venus: A full-duplex interaction system with asynchronous delegation
디지털 및 물리적 환경에서의 자연스러운 상호작용은 지속적인 인지(perception)와 적시의 응답을 요구한다. 음성 대화는 음향 및 언어적 단서에 의존하며, 영상 상호작용은 또한 변화하는 시각적 맥락 속에서 대화를 그라운딩(grounding)할 필요가 있다. 우리는 별도로 학습된 9B 모델 두 개—오디오-비주얼 상호작용용 Realtime-Venus-Omni와 음성 상호작용용 Realtime-Venus-Audio—를 갖춘 선제적 전이중 상호작용 시스템 Realtime-Venus를 제시한다. 각 모델은 완전한 대화형 프론트엔드로 동작하며, 사용자 입력, 모델 출력, 위임(delegation) 이벤트에 대한 공유 인과 타임라인을 통해 지속적 인지, 대화 제어, 네이티브 음성 생성을 통합한다. 이중 루프 런타임은 라이브 상호작용과 백그라운드 추론 및 도구 실행을 조율한다. Realtime-Venus-Harness가 비동기적으로 작업을 실행하고 진행 중인 대화에 통합할 결과를 반환하는 동안 전경(foreground) 상호작용은 계속된다. 두 모델 모두 오프라인 이해, 선제적 전이중 궤적, 위임 워크플로를 결합한 공통 사후 학습 레시피를 따른다. 평가된 온라인 모델 가운데 Realtime-Venus-Omni는 여덟 개 영상 벤치마크 중 여섯에서 최고 점수를 기록했으며, StreamingBench(70.2%), OVO-Bench(64.7%), Daily-Omni(81.3%)를 포함한다. 여덟 개의 오디오 이해 및 음성 질의응답 벤치마크 전반에서 Realtime-Venus-Audio는 MMAU(78.0%), MMAU-Pro(63.2%), Llama Questions(83.8%), Speech CMMLU(67.8%)에서 비교 모델들을 앞서며, VoiceBench AlpacaEval 점수 4.81로 최고 성능과 동률을 기록했다. Full-Duplex-Bench v1.5에서 Realtime-Venus-Audio는 사용자 끼어들기의 75%에 응답하며, 백채널(backchannel), 타인 지향 발화(other-directed speech), 배경 음성(background speech) 조건에서 각각 97%, 88%, 86%의 continuation rate를 달성해 세 continuation 지표 모두에서 Gemini 3.1 Live와 GPT-4o를 넘어선다.
로짓 바이어스를 통한 놀라울 정도로 간단한 언어 모델 블랙박스 적응
Frustratingly Simple Black-Box Adaptation of Language Models via Logit Bias
많은 조직은 도메인 특화 작업에서의 성능 향상과 민감한 데이터에 대한 프라이버시 우려 해결 모두를 위해 내부 사용에 맞게 언어 모델을 적응시키려 한다. 그러나 이러한 적응은 여전히 쉽지 않다. 이는 종종 오픈소스 모델의 운영상 어려운 미세조정이나 임시방편적인 프롬프트 최적화를 필요로 한다. 우리는 간단한 API 수준의 제어에 기반한 최소한의 대안을 연구한다. 사용자가 사용자 정의 벡터로 모델의 로짓에 바이어스를 부여할 수 있게 하는 것이다. 우리는 모델 가중치를 수정하거나 그래디언트를 요구하지 않고, 모든 디코딩 단계에 더해지는 단일 문맥 독립적 로짓-바이어스 벡터를 학습하는 블랙박스 방법을 개발한다. KL 정규화 강화학습(RL) 목적 함수에서 출발하여, 이러한 고정 로짓-바이어스 벡터가 최적의 접두 문맥 의존적 보정을 근사할 수 있는 조건을 특성화하고, 롤아웃, 보상, 토큰 확률로부터 폐형식 역-경향성(inverse-propensity) 추정량을 유도한다. 실험적으로, 이 간단한 디코딩 시점 개입은 기존 미세조정보다 훨씬 적은 학습 가능 매개변수를 사용하면서 수학 및 추론 벤치마크에서 기본 모델 대비 성능을 향상시킨다. 우리의 결과는 학습된 로짓 바이어스가 최소한의 접근 요건 하에서 언어 모델을 적응시키는 경량 메커니즘임을 시사한다.
AUTOMATIC PRONUNCIATION MISTAKE DETECTOR PROJECT REPORT
토론
이 논문과 연결된 포럼 글이 아직 없습니다.