베이징·대만 표준어 자발 대화 음성 코퍼스에서 경성의 음성 실현을 분석한 결과, 경성이 네 개 어휘 성조와 같이 고유한 성조 목표와 첫 음절 성조에 따른 피치 패턴, 단어 특이적 피치 시그니처를 갖는 것으로 나타났다. 문맥화 임베딩(contextualized embedding)으로 피치 시그니처가 어느 정도 예측 가능함을 보여 경성을 어휘 성조로 볼 근거를 제시하며, 두 변종 간 차이는 코퍼스 내 단어 의미 차이와 연관될 수 있다.
Balalaika는 러시아어 음성에 시맨틱 VAD 분할, 다중 ASR ROVER 앙상블 전사, 품질·화자 순도 필터링을 결합하고 구두점·어휘 강세·IPA 음소 등 운율 인식 주석을 추가하는 데이터 중심 오픈소스 파이프라인이다. 이를 활용해 5.1k시간 규모의 다중 출처 코퍼스를 구축했으며, 동일 학습 예산에서 음성 노이즈 제거와 TTS(text-to-speech) 모두에서 기존 데이터셋 대비 일관된 성능 향상을 보였고, 강세·구두점 주석의 상보적 효과도 확인했다.
어구 경계 주석의 신뢰할 수 있는 평가는 매우 중요하다. 운율 경계의 미묘한 변화가 음성의 명료성과 자연스러움에 직접적인 영향을 미치기 때문이다. 그러나 기존 접근법에는 큰 한계가 있다. 단일 참조 평가는 하나의 발화에 대해 여러 유효한 구획이 존재함에도 불구하고 유일한 정답 구획을 가정하는 반면, 인간 판단은 유연하지만 노동 집약적이며 확장성이 떨어진다. 이를 해결하기 위해 우리는 어구 경계 주석을 위한 LLM 기반 다중 참조 평가(LMRE)를 제안한다. LMRE는 운율적 구획의 일대다 특성을 모델링하며, 최소한의 시연으로 여러 유효한 구획을 생성한다. 5가지 전략을 아우르는 1,356개 주석으로 구성된 한국어 테스트베드에서 LMRE는 수용 행동과 점수 상관 모두에서 단일 참조 평가보다 인간 판단과 더 강한 정렬을 보였다. 본 연구 결과는 LMRE가 확장성과 다중 참조 지원을 모두 효과적으로 달성함을 보여 주며, 음성 도메인 평가에서 LLM의 잠재력을 시사한다.
평균 의견 점수(MOS) 예측 모델은 텍스트 음성 변환(TTS) 연구에서 대리 지표로 널리 사용되지만, 음향적 충실도를 넘어선 품질 차이를 포착하는 능력은 여전히 불분명합니다. 본 연구에서는 음성에 대한 제어된 섭동, 즉 음향적 저하, 운율적 오류, 피치(음고) 및 발화 속도와 같은 화자 특정 특성 조작을 통해 이를 조사했습니다. 해당 음성 샘플에 대해 인간 청취자와 모델 모두로부터 MOS 예측을 얻었고, 그 지각적 특성의 차이를 분석했습니다. 결과에 따르면 대부분의 모델은 음향적 저하를 잘 추적하는 반면, 주관적 점수가 크게 하락함에도 불구하고 모든 모델이 운율적 오류에 둔감한 것으로 나타났습니다. 화자 특성과 관련하여 모델은 이중 해리(double dissociation)를 보여주는데, 인간 평가에는 없는 강한 평균 기본 주파수(F0) 편향을 나타내면서도 인간이 인지하는 발화 속도 및 F0 변동성에는 둔감합니다. 이러한 발견은 음향적 충실도를 넘어선 스칼라 MOS 예측의 한계를 강조합니다.