음성 "복제"는 스타일 전이다
Voice "Cloning" is Style Transfer
인공적으로 생성된 음성은 일상생활에 점점 더 깊이 자리 잡고 있습니다. 특히 음성 복제(voice cloning)는 녹음 완성, 새로운 언어로의 더빙, 또는 언어 상실을 겪는 개인의 음성 보존과 같이 화자의 정체성 보존이 중요한 응용 분야를 가능하게 합니다. 그러나 본 연구에서는 이러한 명칭에도 불구하고, 음성 복제가 개인의 음성을 충실하게 '복제'하지 못한다는 점을 발견했습니다. 대신 널리 사용되는 음성 복제 모델들이 원본 음성에 체계적으로 스타일 전이(style transfer)를 적용한다는 사실을 확인했습니다. 인간 평가자의 평가 결과, 복제된 음성은 원본에 비해 더 권위 있고, 따뜻하며, 고객 서비스와 같고, 인간답게 인식되는 것으로 나타났습니다. 또한 인간 평가자들은 원본 음성보다 복제된 음성에 대해 더 큰 신뢰를 표했으며, 민감한 개인 정보를 더 기꺼이 공개하려는 경향을 보였습니다. 나아가 본 연구는 억양, 발화 속도 및 오디오 임베딩 공간의 분산 감소로 측정된 바와 같이, 음성 복제가 화자 특성의 균질화로 이어진다는 점을 보여줍니다. 종합적으로 본 연구 결과는 음성 복제 기술의 새로운 한계와 위험, 그리고 이것이 인간 행동에 미칠 수 있는 잠재적 영향을 강조합니다.