SteerSpeech: 생성된 음성의 감정 제어를 위한 활성화 스티어링
Steerspeech: Activation Steering For Emotion Control In Generated Speech
한국어 초록
사전학습된 텍스트 음성 변환(TTS) 모델은 표현력이 풍부한 음성을 생성할 수 있지만, 신뢰할 수 있는 추론 시점의 감정 제어는 여전히 어렵습니다. 프롬프트와 참조 오디오는 거칠고 일관되지 않은 제어를 제공하는 반면, 특화된 조건화 및 모델 적응은 비용이 많이 드는 학습을 필요로 합니다. 본 논문에서는 은닉 활성화(hidden activations)에 스티어링 벡터를 주입하여 감정을 제어하는 경량 활성화 스티어링(activation steering) 프레임워크인 SteerSpeech를 제시합니다. 각 목표 감정에 대해 화자 정체성과 언어적 내용을 보존하고 스티어링 드리프트를 제한하며 TTS 백본을 고정한 상태로 유지하면서 단조로운 감정 제어를 유도하는 다중 전문가 목적 함수를 사용하여 경량 저랭크 변환(low-rank transform)을 학습합니다. 이산 음성 토큰을 통해 최적화하기 위해, straight-through estimator를 사용하여 샘플링된 토큰을 통해 전문가 감독을 역전파하는 2단계 생성 및 재생 파이프라인을 도입합니다. 추론 시에는 목표 감정 스티어링 방향이 각각의 변환과 함께 최적화되어 기본 TTS 모델에 주입됩니다. 학습된 화자, 미학습 화자 및 악센트가 있는 화자를 대상으로 한 Qwen3-TTS 기반의 객관적 및 주관적 평가는 화자 및 내용 저하를 최소화하면서 더 강력하고 연속적인 감정 제어가 가능함을 보여줍니다. SteerSpeech는 기준선(baseline) 대비 1.08배~7.12배의 목표 감정 점수를 달성하며, 대표적인 감정에 대한 주관적 평가에서 높은 스티어링 강도일 때 78.1%~96.8%의 강도 선호도와 1.43배~1.46배의 화자 정체성 보존율을 기록합니다.
원문 초록
Pretrained text-to-speech (TTS) models can generate expressive speech, but reliable inference-time emotion control remains challenging: prompts and reference audio offer coarse, inconsistent control, whereas specialized conditioning and model adaptation require costly training. We present SteerSpeech, a lightweight activation-steering framework that controls emotion by injecting steering vectors into hidden activations. For each target emotion we train a lightweight low-rank transform, using a multi-expert objective that encourages monotonic emotion control while preserving speaker identity and linguistic content, constraining steering drift, and keeping the TTS backbone frozen. To optimize through discrete speech tokens, we introduce a two-pass generation-and-replay pipeline using a straight-through estimator to backpropagate expert supervision through sampled tokens. At inference, a target-emotion steering direction is optimized with its respective transform and injected into the base TTS model. Objective and subjective evaluations with Qwen3-TTS across seen, unseen, and accented speakers show stronger continuous emotion control with limited speaker and content degradation. SteerSpeech achieves 1.08x-7.12x baseline target-emotion scores and for a representative emotion subjectively, it receives 78.1%-96.8% intensity preference and 1.43x-1.46x speaker-identity preservation at high steering strengths.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Under review at IEEE ICASSP 2027. This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible