arXiv:2302.13652

Duration-aware pause insertion using pre-trained language model for multi-speaker text-to-speech

Dong Yang, Tomoki Koriyama, Yuki Saito, Takaaki Saeki, Detai Xin, Hiroshi Saruwatari

제출 2023-02-27

원문 초록

Pause insertion, also known as phrase break prediction and phrasing, is an essential part of TTS systems because proper pauses with natural duration significantly enhance the rhythm and intelligibility of synthetic speech. However, conventional phrasing models ignore various speakers' different styles of inserting silent pauses, which can degrade the performance of the model trained on a multi-speaker speech corpus. To this end, we propose more powerful pause insertion frameworks based on a pre-trained language model. Our approach uses bidirectional encoder representations from transformers (BERT) pre-trained on a large-scale text corpus, injecting speaker embedding to capture various speaker characteristics. We also leverage duration-aware pause insertion for more natural multi-speaker TTS. We develop and evaluate two types of models. The first improves conventional phrasing models on the position prediction of respiratory pauses (RPs), i.e., silent pauses at word transitions without punctuation. It performs speaker-conditioned RP prediction considering contextual information and is used to demonstrate the effect of speaker information on the prediction. The second model is further designed for phoneme-based TTS models and performs duration-aware pause insertion, predicting both RPs and punctuation-indicated pauses (PIPs) that are categorized by duration. The evaluation results show that our models improve the precision and recall of pause insertion and the rhythm of synthetic speech.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26488v1cs.CL공통 태그 Language Modeling, Text to Speech

소리 내어 생각하는 구어 언어 모델

Spoken Language Models that Think Aloud

사고의 연쇄(Chain-of-Thought, CoT) 추론은 언어 모델의 능력을 향상시켜 왔으나, 구어 언어 모델(SLM)에 이를 직접 적용하면 직렬적인 "생각 후 발화(think-then-speak)" 패러다임에서 긴 침묵 구간이 생겨 실시간 구어 상호작용을 방해할 수 있다. 이 문제를 해결하기 위해 우리는 Thinker-Talker 아키텍처 안에서 추론 기반 SLM을 위한 비동기 think-aloud 프레임워크를 제안한다. 이 프레임워크는 논리적 연역을 담당하는 주 추론 스트림과, 사용자 입력 및 변화하는 추론 상태를 조건으로 짧고 과제에 그라운딩된 진행 발화를 생성하는 경량 think-aloud 스트림을 유지한다. 동적 균형 전략이 런타임에 두 스트림을 조율하며, 침묵 공백을 피하기 위해 추가 think-aloud 발화를 트리거하고 최종 응답이 준비되면 대기 중인 발화를 취소한다. 구어 추론 및 질의응답 벤치마크 실험에서 본 접근법은 추론 중 사용자에게 들리는 침묵을 크게 줄이면서 직렬 "think-then-speak" 기준선과 비슷한 답변 정확도를 유지함을 보여 주며, SLM에서 반응형 상호작용을 위한 비동기 think-aloud의 잠재력을 입증한다.

arXiv:2607.22264v1cs.LG공통 태그 Language Modeling, Prediction

다중모달 입력을 갖는 자기회귀 EHR 파운데이션 모델

Autoregressive EHR Foundation Models with Multimodal Inputs

토큰화된 전자건강기록(EHR)으로 학습된 자기회귀 파운데이션 모델은 제로샷 임상 예측을 지원할 수 있지만, 대부분은 구조화된 이벤트 코드만을 대상으로 동작하며 여러 모달리티를 체계적인 방식으로 통합하지 않는다. 우리는 모달리티별 잠재 압축과 시간 정렬을 갖춘 게이트 크로스-어텐션(gated cross-attention)을 사용하여, ECG 파형, 흉부 X-ray 이미지, 임상 기록 등 보조 임상 모달리티로 이러한 모델을 조건화하는 프레임워크를 제시한다. 우리는 두 가지 핵심 설계 선택을 조사한다: (1) 다중모달 크로스-어텐션에 들어가기 전에 모달리티별 긴 시퀀스(예: ECG 시계열)를 어떻게 압축할 것인가. 이 특징은 연산 오버헤드를 줄이는 데 필수적일 수 있으며 일반화에도 유리할 수 있다; (2) 각 모달리티에 대한 사전학습 인코더 선택이 하류 성능에 어떤 영향을 미치는가. MIMIC-IV에서 통제된 ablation을 통해, 최적의 잠재 압축 구성이 압축하지 않은 크로스-어텐션과 평균 풀링 모두를 능가함을 보인다. 인코더 선택은 모달리티 내에서 뚜렷한 효과를 보이며, 더 강력한 사전학습 인코더가 일관되게 더 약한 대안들을 능가한다. 또한 보조 모달리티를 단순히 추가하는 것만으로는 EHR 전용 기준선 대비 ICU 사망률 예측에서의 개선을 보장하지 않음을 보인다. 이는 융합 아키텍처의 신중한 설계와 임상 맥락에서의 적절한 평가가 필요함을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.