음성 품질 예측기는 보상(reward)으로 점점 더 널리 사용되고 있으나, 이들의 해킹 취약성(hackability)에 대한 합의된 측정 기준은 존재하지 않는다. 기존의 측정 방식에는 두 가지 결함이 있다. 첫째, 섭동(perturbation)은 그 자체로 점수를 변화시키는 처리 체인(여기서는 신경망 코덱)을 거쳐 예측기에 도달하는데, 원시 입력(raw input)을 기준으로 점수를 매기면 이러한 점수 변화를 공격 탓으로 돌리게 된다. 대신 섭동이 없는 왕복 처리를 참조하면 측정된 해킹 취약성이 최대 4배까지 달라진다(한 방어 기법의 경우 0.31에서 0.08로 변화). 둘째, 학습된 공격자 하나는 하나의 표본일 뿐 측정치 자체가 아니다. 무작위 시드만 다른 다섯 공격자가 하나의 고정된 예측기를 상대로 0.00에서 0.38에 이르는 성공률을 기록하므로, 방어 성능을 입증하려면 여러 공격자에 대한 최악의 경우를 평가해야 한다. 이 프로토콜 하에서 공개된 4개의 예측기는 큰 차이를 보인다. NISQA는 발화의 90%에서 해킹되었고, SSL-MOS는 21%, DNSMOS는 14%, UTMOS는 6%에서 해킹되었다. 이어 우리는 폐쇄형 공격-탐지-패치(attack-detect-patch) 루프를 점검한다. 이는 공격자들 간의 편차보다도 작은 수준으로 자체 공격 공간 내에서만 예측기를 방어할 뿐이며, 무작위 섭동 기준선(baseline)만으로도 이와 대등한 수준을 달성할 수 있고, 도메인 외(out of domain) 환경에서는 시스템 SRCC가 최대 0.30 감소하는 대가를 치른다. 패치된 예측기를 대상으로 사후학습(post-training)된 음성 향상 모델은 해당 지표를 훨씬 덜 해킹한다(PESQ -0.03 대 -0.23). 코드, 사전 등록 정보 및 실행 결과는 모두 공개된다.
기존의 평균 의견 점수(MOS) 예측 모델은 주로 발화 수준의 자연스러움 MOS를 예측하므로, 국소적인 피치 악센트 오류에 민감하지 않을 수 있습니다. 우리는 피치 악센트의 정확성을 명시적으로 목표로 하는 피치 악센트 중심 음성 품질 평가(PASQA)를 제안합니다. 모델 학습을 위해 악센트 제어 가능 텍스트 음성 변환 시스템을 사용하여 악센트 패턴을 변경함으로써 통제된 일본어 악센트 오류 데이터셋을 구축하고, 악센트 오류율로부터 의사 악센트 품질 점수를 계산했습니다. PASQA는 자기 지도 표현(self-supervised representations)을 기반으로 하며, 모라 조건 융합(mora-conditioned fusion), 순위 손실(ranking loss), 보조 악센트 오류 국소화 작업, 화자 불변 학습(speaker-invariant training)을 사용합니다. 실험 결과, 기존 모델은 악센트 오류 심각도에 따른 순서를 유지하지 못하는 반면, PASQA는 학습에 사용된 화자와 미사용 화자 모두에서 높은 순서 정확도를 달성했습니다. 또한, PASQA는 인간의 악센트 정확성 판단과 더 강한 일치를 보입니다. 코드는 https://github.com/lycorp-jp/PASQA에서 제공됩니다.
평균 의견 점수(MOS) 예측 모델은 텍스트 음성 변환(TTS) 연구에서 대리 지표로 널리 사용되지만, 음향적 충실도를 넘어선 품질 차이를 포착하는 능력은 여전히 불분명합니다. 본 연구에서는 음성에 대한 제어된 섭동, 즉 음향적 저하, 운율적 오류, 피치(음고) 및 발화 속도와 같은 화자 특정 특성 조작을 통해 이를 조사했습니다. 해당 음성 샘플에 대해 인간 청취자와 모델 모두로부터 MOS 예측을 얻었고, 그 지각적 특성의 차이를 분석했습니다. 결과에 따르면 대부분의 모델은 음향적 저하를 잘 추적하는 반면, 주관적 점수가 크게 하락함에도 불구하고 모든 모델이 운율적 오류에 둔감한 것으로 나타났습니다. 화자 특성과 관련하여 모델은 이중 해리(double dissociation)를 보여주는데, 인간 평가에는 없는 강한 평균 기본 주파수(F0) 편향을 나타내면서도 인간이 인지하는 발화 속도 및 F0 변동성에는 둔감합니다. 이러한 발견은 음향적 충실도를 넘어선 스칼라 MOS 예측의 한계를 강조합니다.
평균 의견 점수(MOS)는 음성 품질 평가에 널리 사용되지만, 스칼라 라벨은 평가자 변동성과 청취 테스트 차이에 민감합니다. 이는 라벨링 노이즈를 유발하여 MOS 예측의 신뢰성을 제한합니다. 선호도 예측은 청취자가 신호를 직접 비교하여 더 깨끗한 라벨을 생성하므로 이러한 변동성을 줄여줍니다. 본 연구에서는 MOS 기반이 아닌 선호도 예측을 다루며, 불확실성 인식 로짓, 손상 어텐션(attention) 헤드, 비일치 참조 비교 기반 모듈을 포함하는 PrefSQA를 제안합니다. 우리는 MOS 파생 및 저노이즈 시뮬레이션 세트(일치 및 비일치 콘텐츠 포함)를 포함한 5개의 데이터셋을 사용하여 정제하고, 인간 선호도 세트로 실험한 후 보이지 않은 데이터에서 테스트를 수행했습니다. 실험 결과 MOS 파생 데이터에서는 소폭의 개선이 관찰된 반면, 다른 세트에서는 베이스라인 대비 명확한 개선이 나타나 고품질 선호도 데이터의 가치를 강조하고 제안된 방법의 효과를 입증했습니다.