arXiv:1502.05213

F0 Modeling In Hmm-Based Speech Synthesis System Using Deep Belief Network

Sankar Mukherjee, Shyamal Kumar Das Mandal

제출 2015-02-18

원문 초록

In recent years multilayer perceptrons (MLPs) with many hid- den layers Deep Neural Network (DNN) has performed sur- prisingly well in many speech tasks, i.e. speech recognition, speaker verification, speech synthesis etc. Although in the context of F0 modeling these techniques has not been ex- ploited properly. In this paper, Deep Belief Network (DBN), a class of DNN family has been employed and applied to model the F0 contour of synthesized speech which was generated by HMM-based speech synthesis system. The experiment was done on Bengali language. Several DBN-DNN architectures ranging from four to seven hidden layers and up to 200 hid- den units per hidden layer was presented and evaluated. The results were compared against clustering tree techniques pop- ularly found in statistical parametric speech synthesis. We show that from textual inputs DBN-DNN learns a high level structure which in turn improves F0 contour in terms of ob- jective and subjective tests.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08208v2cs.CL공통 태그 Clustering, speech-recognition, Speech Recognition, Speech Synthesis

다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응

Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.

arXiv:2607.08409v1cs.CL공통 태그 speech-recognition, Speech Recognition, Speech Synthesis

합성 음성만 있을 때: GRPO를 선택하라

When Synthetic Speech Is All You Have: Better Call GRPO

은행과 같은 규제 도메인에 적응된 대규모 언어 모델(LLM) 기반 자동 음성 인식(ASR)은 프라이버시 문제로 인해 병목이 발생한다: 실제 음성은 수집 비용이 높고 법적 제약이 따르기 때문에, 합성 텍스트 음성 변환(TTS)이 매력적인 대안으로 부상한다. 그러나 합성 음성은 실제 녹음과 음향적으로 불일치한 상태를 유지하며, 이 간극을 다루는 연구는 지도 미세조정(SFT) 범위 내에 머물러 있었다. 우리는 대신 강화학습으로 전환하여, Group Relative Policy Optimization(GRPO)이 동일한 합성 음성으로부터 SFT보다 훨씬 많은 성능을 이끌어냄을 보인다. 낮은 단어 오류율(WER) 가설을 보상하는 크리틱 없는(critic-free) 방법인 GRPO를 이용해 합성 음성만으로 모델을 적응시키면 SFT 대비 WER이 40% 상대적으로 감소하며(36.71%→22.09%), SFT 후 GRPO를 결합하면 이를 45%까지 더 향상시킨다. 우리는 이 향상이 표현(representation)보다 행동(behavior)에 기인함을 규명한다: GRPO는 정지 보정(stopping calibration)을 개선하여 삽입 오류를 줄이고, 어텐션을 오디오에 더 잘 고정시킴으로써 음성-텍스트 정렬을 향상시키며, 초기 층 표현은 그대로 유지한다. 합성 음성이 주된 자원일 때, 강화학습이 지도 미세조정보다 선호되어야 한다.

arXiv:2607.06540v5cs.CL공통 태그 Speech Recognition, Speech Synthesis

계층적 음향-의미 모델링: 완전 이중 통화 음성 언어 모델을 위한 모달리티 분리와 의미 일관성

Hierarchical Acoustic-Semantic Modeling: Modality Separation and Semantic Coherence for Full-Duplex SLMs

원활하고 고성능인 네이티브 지능형 완전 이중 통화(full-duplex) 음성 언어 모델(SLM)을 개발하는 것은 음성 및 자연어 처리(NLP) 커뮤니티에서 오랫동안 해결되지 않은 핵심 과제이다. 주목할 만한 진전에도 불구하고, 최근의 시도들은 심각한 모달리티 간섭(modality interference)이라는 근본적인 제약에 직면해 있으며, 이는 상당한 지식 손실과 의미 무결성 훼손을 초래함으로써 완전 이중 통화 SLM이 부자연스럽고 지능적이지 않게 느껴지게 만든다. 본 논문에서는 모델 최적화 동역학에 대한 철저하고 세분화된 분석을 통해 이러한 성능 저하의 근본 원인을 규명하고, 모달리티 간섭이 두 모달리티가 깊은 매개변수 공간을 공유하도록 강제될 때 음향 모델링과 의미 모델링 간의 내재적 그래디언트 충돌에서 발생함을 밝혀낸다. 이 핵심 통찰을 바탕으로, 모달리티 간섭을 완화하도록 설계된 네이티브 엔드-투-엔드 완전 이중 통화 프레임워크인 Lychee-FD를 소개한다. 특히, 심층 레이어에서 충돌하는 모달리티를 분리하면서도 전용 의미 정렬 채널을 통해 교차 모달리티 일관성을 유지하는 계층적 매개변수 분리 전략을 제안한다. 다수의 완전 이중 통화 벤치마크에 대한 광범위한 실험을 통해, 본 방법이 추론 효율성을 저해하지 않으면서 음성 지능(Spoken QA에서 +7.4%) 및 완전 이중 통화 상호작용 유창성(FullDuplexBench 1.5에서 +28.5%) 모두에서 상당한 향상을 이끌어내며 최고 수준을 크게 향상시킴을 입증한다. 본 연구는 두 가지 핵심 성과를 최초로 달성한 것으로 본다: 1) 완전 이중 통화 SLM에서 모달리티 간섭의 근본 원인을 밝히고 규명한 것, 2) 원활하고 고성능인 네이티브 지능형 완전 이중 통화 SLM을 위한 우아한 계층적 모델과 실용적 해결책을 설계한 것.

arXiv:2607.10162v2eess.AS공통 태그 Speech Recognition, Speech Synthesis

인간처럼 들을 수 있는가? 음성 언어 모델에서의 음성 상징과 지각적 정렬

Hearing Like Humans? Sound Symbolism and Perceptual Alignment in Speech Language Models

음성 상징(sound symbolism)은 음성 소리를 둥글거나 날카로움과 같은 지각적 특성에 대응시키는 인간의 경향으로, 철자보다는 주로 음성의 음향적 특성에서 비롯됩니다. 음성 언어 모델(SLM)이 이러한 경향을 공유하는지는 이전 평가들이 실제 음성이 아닌 텍스트나 이미지에 의존했기 때문에 여전히 미해결 과제로 남아 있습니다. 본 연구에서는 실제 인간의 음성 녹음을 활용하여, 해당 효과의 청각적, 교차감각적, 시각적 구성 요소 전반에 걸쳐 모델의 판단을 인간 데이터와 비교 분석합니다. 그 결과, SLM의 청각적 판단은 인간의 지각과 잘 일치하지 않으며 스펙트럼 기울기(spectral tilt)와 같이 인간의 직관을 유도하는 음향 단서를 포착하지 못하는 것으로 나타났으며, 공개 가중치(open-weight) 모델은 들리는 소리를 그에 대응하는 형태와 신뢰성 있게 연결하지 못했습니다. 형태 지각 요인을 배제한 시각 전용 대조 실험을 통해 이러한 한계가 음성이 표현되는 방식에 기인함을 밝혔으며, 이는 지각적 정렬(perceptual alignment)이 더 강력한 비전 능력이 아니라 인간이 듣는 단서를 포착하는 음성 표현에 달려 있음을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.