arXiv:2609.09263v1 cs.SD

목소리인가 고정관념인가? Speech-to-Speech 모델에서 음향적·내용 기반 성별의 분리

Voice or Stereotype? Disentangling Acoustic and Content-Based Gender in Speech-to-Speech Models

Xiaoqun Liu, Tanu Mitra, Harshit Rajgarhia, Abhishek Mukherji

제출 2026-09-08

한국어 초록

음성-음성(S2S) 모델은 이제 더빙, 번역, 음성 에이전트 안에서 동작한다. 텍스트 모델과 달리 S2S 모델은 화자의 성별을 담고 있는 화자의 목소리를 듣는다. 충실한 시스템은 화자를 말한 내용과 보통 일치하는 사람이 누구인지가 아니라, 들리는 그 사람으로 취급해야 한다. 이를 검증하는 일은 겉보기보다 어렵다. 대부분의 S2S 모델은 단일하고 고정된 출력 음성으로 응답하며, 고정관념 쪽으로 drift할 수 없도록 하드코딩되어 있기 때문이다. 모델에 바이어스가 있어도 출력 음성만 확인하면 문제가 없는 것처럼 보인다. 따라서 두 가지 질문을 던진다. 모델이 입력을 다시 말할 때, 말 속의 고정관념이 출력 음성의 지각적 성별(음성 렌더링, voice rendering)을 바꾸는가? 그리고 모델이 화자의 성별을 말할 때, 목소리를 따르는가 아니면 내용을 따르는가(성별 귀属, gender attribution)? 남성·여성 음성과 남성적·중립적·여성적 고정관념 구절을 교차시킨 하나의 통제 실험으로, 영어·스페인어·중국어(만다린)에서 오픈·클로즈드 소스 모델 다섯 개에 대해 두 질문 모두에 답한다. 렌더링된 음성에서는 고정관념 drift가 나타나지 않는다. 그러나 모든 모델은 목소리가 아니라 내용으로부터 화자의 성별을 결정한다. 내용을 한 단계 더 여성적으로 만들면(남성적 → 중립적 → 여성적) 「female」 판정의 오즈가 1.7~24배 증가한다. 내용과 목소리가 충돌할 때, 가장 나쁜 모델은 90%의 경우에서 화자의 성별을 잘못 판단한다. 일치할 때는 2%에 불과하다. 따라서 바이어스는 고정 출력 음성 평가로는 드러나지 않는 성별 귀属에 숨어 있으며, S2S 시스템이 실제 사람을 대신 말하게 될수록 감사(audit)가 집중해야 할 지점이다.

원문 초록

Speech-to-speech (S2S) models now run inside dubbing, translation, and voice agents. Unlike text models, they hear the speaker's voice, which carries the speaker's gender. A faithful system should treat a speaker as who they sound like, not as whoever usually says what they said. Testing this is harder than it looks, since most S2S models answer in a single, fixed output voice, hard-coded so it cannot drift toward a stereotype. Checking the output voice comes back clean even when the model is biased. We therefore ask two questions. When a model re-speaks the input, does the stereotype in the words shift the perceived gender of the output voice (voice rendering)? And when the model states the speaker's gender, does it follow the voice or the content (gender attribution)? We answer both with one controlled experiment crossing male and female voices with masculine-, neutral-, and feminine-stereotyped passages, on five open- and closed-source models in English, Spanish, and Mandarin. The rendered voice shows no stereotype drift. But every model decides the speaker's gender from the content, not the voice. Making the content one step more feminine (masculine -> neutral -> feminine) multiplies the odds of a "female" judgment by 1.7-24. When the content clashes with the voice, the worst model misgenders the speaker in 90% of cases. When they agree, it misgenders in only 2%. The bias thus hides in gender attribution, where fixed-voice evaluation cannot see, and where audits must look as S2S systems increasingly speak for real people.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.09263v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.