누구를 잊었는지 잊기: 제로샷(zero-shot) 텍스트 음성 변환에서 재식별 방지를 위한 화자 언러닝
Forget who you Forgot: Speaker Unlearning to Prevent Re-Identification in Zero-Shot Text-to-Speech
최근의 제로샷(zero-shot) 텍스트 음성 변환(ZS-TTS) 시스템은 불과 몇 초의 참조 음성만으로도 화자의 음성을 높은 충실도로 재현할 수 있어, 무단 음성 복제 및 사칭에 대한 우려를 낳고 있습니다. 이에 대응하여 최근 제외를 요청한(opt-out) 화자에 대해서는 이러한 기능을 선택적으로 억제하는 동시에 다른 화자에 대한 합성 능력은 보존하는 화자 정체성 언러닝(speaker identity unlearning)이 하나의 접근법으로 부상했습니다. 기존 접근법들은 화자 유사도를 낮추지만, 재식별(re-identification)을 방지하는 과정에서 음질이 심각하게 저하되는 문제에 직면하곤 합니다. 이러한 관찰에 착안하여, 본 논문에서는 동결된 TTS 백본(backbone) 상에서 학습된 화자 게이트와 화자-비의존적 활성화 스티어링(activation steering)을 결합한 경량 화자 정체성 언러닝 프레임워크인 GUARD를 제안합니다. 스티어링 벡터는 명료도와 음성 자연스러움을 보존하면서 망각 대상(forget) 화자의 출력을 모집단 수준의 사칭자(impostor) 유사도로 이동시키기 위해 집단-상대적 보상 최적화(group-relative reward optimization)를 사용하여 최적화됩니다. CosyVoice2에서 GUARD는 유지 대상(retain) 화자의 재현 성능을 보존하면서, 망각 대상 화자의 유사도를 0.541에서 0.103으로, 150명 화자 갤러리에서의 재식별 정확도를 73.5%에서 0.5%로 낮춥니다. 이러한 결과는 유사도 감소만으로는 성공적인 화자 정체성 언러닝을 완전히 특정하기 어려울 수 있음을 입증하며, 언러닝 평가(evaluation)를 위한 상호보완적 기준으로서 재식별을 강조합니다.