arXiv:2309.11849

A Discourse-level Multi-scale Prosodic Model for Fine-grained Emotion Analysis

Xianhao Wei, Jia Jia, Xiang Li, Zhiyong Wu, Ziyi Wang

제출 2023-09-21

원문 초록

This paper explores predicting suitable prosodic features for fine-grained emotion analysis from the discourse-level text. To obtain fine-grained emotional prosodic features as predictive values for our model, we extract a phoneme-level Local Prosody Embedding sequence (LPEs) and a Global Style Embedding as prosodic speech features from the speech with the help of a style transfer model. We propose a Discourse-level Multi-scale text Prosodic Model (D-MPM) that exploits multi-scale text to predict these two prosodic features. The proposed model can be used to analyze better emotional prosodic features and thus guide the speech synthesis model to synthesize more expressive speech. To quantitatively evaluate the proposed model, we contribute a new and large-scale Discourse-level Chinese Audiobook (DCA) dataset with more than 13,000 utterances annotated sequences to evaluate the proposed model. Experimental results on the DCA dataset show that the multi-scale text information effectively helps to predict prosodic features, and the discourse-level text improves both the overall coherence and the user experience. More interestingly, although we aim at the synthesis effect of the style transfer model, the synthesized speech by the proposed text prosodic analysis model is even better than the style transfer from the original speech in some user evaluation indicators.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.07293v1cs.SD공통 태그 Emotion Recognition, Style Transfer, Speech Synthesis

TargetSEC: 각성 조건부 잠재 스타일 디퓨전을 통한 플러그 앤드 플레이 실제 환경(In-the-Wild) 음성 감정 변환

TargetSEC: Plug-and-Play In-the-Wild Speech Emotion Conversion via Arousal-Conditioned Latent Style Diffusion

음성 감정 변환(Speech Emotion Conversion, SEC)은 내용과 화자 정체성을 보존하면서 원본 발화의 감정을 목표 감정으로 변환하는 것을 목표로 합니다. 실제 환경(In-the-Wild) 데이터에 대한 SEC는 학습 데이터의 비병렬(non-parallel) 특성과 복잡한 실제 음향 환경으로 인해 어려운 과제입니다. 기존의 고정 길이(fixed-duration) 접근 방식은 감정을 효과적으로 변환하는 데 어려움을 겪거나(높은 품질, 낮은 변환율), 음성의 자연스러움을 저하시키는(낮은 품질, 높은 변환율) 문제가 있습니다. 본 연구에서는 화자 정체성과 연속적인 감정에 조건화된 감정 중심 스타일 임베딩을 생성하는 임베딩 기반 잠재 디퓨전 프레임워크인 TargetSEC를 제안합니다. 스펙트로그램(spectrogram) 위에서 확산(diffuse)하는 방법들과 달리, TargetSEC는 압축된 잠재 공간에서 작동합니다. MSP-Podcast 데이터셋에 대한 실험 결과, TargetSEC는 높은 음성 품질을 유지하면서 변환 정확도 면에서 현재의 비지속(non-duration) 기준 모델들을 능가하며, 명시적인 시간적 모델링 없이도 지속 시간 예측 시스템과 유사한 성능을 달성함을 보여줍니다.

arXiv:2607.10165v1cs.CV공통 태그 Emotion Recognition, Style Transfer

EmoStyle: 감성 이미지 생성을 위한 스타일 전문가 혼합의 감성 조건화

EmoStyle: Affective Conditioning of Style-Specialist Experts for Emotional Image Generation

감정 인식 예술적 이미지 생성은 입력 프롬프트에 부합하고, 지정된 예술적 스타일을 따르며, 목표 감정을 전달하는 이미지를 필요로 한다. 이 과제에서 주된 어려움은 학습 데이터에서 사용 가능한 시각적·감성적 속성이 테스트 시점에 명시적으로 제공되지 않는다는 점이다. 이러한 속성 없이는 생성기가 무엇을 묘사할지뿐만 아니라, 색상·조명·붓질·구도·선·레이아웃을 통해 목표 감정을 어떻게 표현할지도 결정해야 한다. 이는 사용 가능한 테스트 프롬프트와 감정 인식 예술적 생성에 필요한 세밀한 조건 사이에 제어 간극(control gap)을 만들어낸다. 이 간극을 해소하기 위해, 우리는 입력 프롬프트를 구조화된 생성 상태로 변환하는 Z-Image 기반 프레임워크인 EmoStyle을 제안한다. 대규모 언어 모델(LLM) 추론기가 먼저 감성적 단서(valence-arousal, 지배적 감정, 치료적 효과 레이블)와 화면비 결정을 예측한다. 이 예측들을 단순히 추가 프롬프트 텍스트로만 사용하는 대신, 감성적 필드를 감성 조건 벡터로 인코딩하고 AdaLN 방식의 변조(modulation)를 통해 디노이징 블록에 주입한다. 이를 통해 추론된 제어 변수가 중간 피처 생성을 직접적으로 안내할 수 있다. 감정 표현이 스타일에도 의존하기 때문에, 각 예술적 스타일 버킷별로 전용 LoRA 어댑터를 추가로 학습하고 추론 시 해당 전문가를 선택함으로써, 동일한 감성적 단서가 색상·텍스처·붓질·구도에 대한 버킷별 사전(prior)으로 렌더링될 수 있도록 한다. 마지막으로, 경량 비전-언어 모델(VLM) 기반 후보 선택 단계에서 프롬프트 정합성, 스타일 일관성, 감정 표현, 시각적 품질을 기준으로 생성된 이미지의 순위를 매긴다. AffectiveArt Challenge 2026의 Track 1에서 우리의 USTC_PI_LAB_TEAM 제출물은 1위를 달성하였다.

arXiv:2607.08863v1cs.SD공통 태그 Style Transfer, Speech Synthesis

Clean2FX: 클린-이펙트 기타 오디오 변환을 위한 레이블 조건부 모델링

Clean2FX: Label-conditioned modeling for clean-to-effect guitar audio transformations

본 논문에서는 일렉트릭 기타 오디오의 레이블 조건부 클린-이펙트 변환에 대한 연구 및 데모인 Clean2FX를 제안한다. 클린 기타 입력과 목표 이펙트 레이블이 주어졌을 때, 음악적 내용을 보존하면서 해당 이펙트가 적용된 신호를 합성하는 것이 목표이다. 학습 및 평가 쌍은 EGFxSet의 실제 단음 녹음으로부터 클린/이펙트 코드, 멜로디, 혼합 타임라인을 매칭하여 구성되며, 이를 통해 이펙트 간 통제된 비교가 가능하다. 공통된 스펙트로그램 기반 변환 설정 하에서 네 가지 신경망 접근법을 평가한다: 선형 또는 로그-크기 표현에서 동작하는지에 따라 구분되는 두 가지 변분 오토인코더(variational autoencoder)와 두 가지 U-Net 모델이다. 성능은 선형-크기 스펙트로그램 MSE와 Fréchet Audio Distance(FAD)로 측정한다. U-Net 모델이 변분 오토인코더 변형보다 우수한 성능을 보인다. 이펙트별 결과에서는 왜곡(distortion) 이펙트가 가장 크게 개선되는 반면, 딜레이(delay)와 리버브(reverb) 이펙트는 상당한 스펙트럼 오차 감소에도 불구하고 FAD 향상폭이 미미함을 보인다. 조건부 민감도 진단은 최우수 모델이 단일 변환으로 수렴하지 않고 목표 레이블에 반응함을 보여주는 근거를 제공한다. 데모 웹사이트에서는 학습 및 검증 데이터 외부의 실제 기타 연주에 두 모델을 적용하여, 실용적인 클린-이펙트 동작의 오디오 및 스펙트로그램 예시를 비교한다.

arXiv:2607.05365v1cs.CL공통 태그 Emotion Recognition, Speech Synthesis

SPEARBench: 스트리밍 음성-음성 언어 모델의 자연스러움 평가를 위한 벤치마크

SPEARBench: A Benchmark for Naturalness Evaluation in Streaming Speech-to-Speech Language Models

스트리밍 음성-음성 언어 모델은 구어체 질의에 합성 음성으로 직접 답변하는 것을 목표로 한다. 그러나 기존의 음성 및 텍스트 벤치마크는 이러한 시스템이 대화에서 자연스럽게 동작하는지 포착하지 못한다. 대화에서는 타이밍, 순서 교대(turn-taking), 운율(prosody), 대인 태도(interpersonal stance), 언어 및 방언 일관성, 관계 인식 적절성이 복합적으로 지각 품질을 결정한다. 우리는 질의-응답 상호작용에서 음성-음성 언어 모델의 자연스러움을 평가하기 위한 벤치마크인 SPEARBench를 소개한다. SPEARBench는 Seamless Interaction 코퍼스로부터 통제된 대화 프롬프트를 구성하고, 여러 모델에 걸쳐 추론을 수행한 후, 응답 지연(response latency), 끼어들기(interruptions), 음성 품질, ASR 견고성, 언어 및 방언 일관성, 감정적 자연스러움, 대인 태도, 그리고 설명 가능한 분포적 기준선을 포괄하는 다차원 프로토콜로 생성된 답변을 평가한다. 이 벤치마크는 참조 조건으로 원본 인간 답변을 포함하며, 여러 최신 모델에 대한 결과를 보고한다. 결과에 따르면 현재 모델들은 높은 신호 수준의 품질과 낮은 ASR 오류를 달성할 수 있으나, 지연, 겹침, 방언 보존, 감정 적응, 대인 태도 역학 측면에서 인간 대화 행동과 여전히 차이를 보인다.

arXiv:2606.31947v2cs.CL공통 태그 Emotion Recognition, Speech Synthesis

LuxEmo: 룩셈부르크어를 위한 표현적 텍스트 음성 변환 말뭉치

LuxEmo: Expressive Text-to-Speech Corpus for Luxembourgish

최신 음성 데이터셋은 주로 널리 사용되는 언어에 집중하며, 음성 기술 연구에서 저자원 언어(low-resource language)로 남아 있는 룩셈부르크어와 같은 언어를 간과하는 경우가 많다. 본 연구에서는 4가지 감정 범주를 갖춘 룩셈부르크어용 21시간 분량의 대화형 표현 음성 말뭉치인 LuxEmo를 소개한다. LuxEmo는 자동화된 감지와 인간 검증을 거쳐 Radio Télévision Luxembourg(RTL) 청소년 방송에서 수집되었다. 우리는 음성 활동 감지(voice activity detection), 잡음 제거(denoising), 언어 식별(language identification), LuxASR 기반 분할, 자동 감정 예측, 어휘적 단서 및 집중적 인간 검토를 결합한 반자동 큐레이션 워크플로를 제안한다. 또한 독일어 기반 교차 언어 전이(cross-lingual transfer), 다국어 룩셈부르크어 지원, 룩셈부르크어 적응, 비모수 운율 전이(non-parametric prosody transfer)를 포함하는 5개의 표현적 텍스트 음성 변환(TTS) 시스템을 벤치마크한다. 성능은 객관적 지표와 인간 평가 모두를 사용하여 평가된다.

arXiv:2607.00959v1cs.CV공통 태그 Emotion Recognition, Speech Synthesis

GaussianEmoTalker: 오디오 기반 및 블렌드셰이프 기반 3D 가우시안 스플래팅을 이용한 실시간 감정 표현 토킹 헤드 합성

GaussianEmoTalker: Real-Time Emotional Talking Head Synthesis with Audio-Driven and Blendshape-Based 3D Gaussian Splatting

오디오 기반 토킹 헤드 합성은 입술 동기화와 시각적 품질 측면에서 인상적인 발전을 이루었지만, 실시간 제약 조건 하에서 제어 가능한 강도를 갖춘 표현력 있는 감정 아바타를 생성하는 것은 여전히 어려운 과제입니다. 본 논문에서는 3D 가우시안 스플래팅(3D Gaussian Splatting)에 기반한 실시간 감정 표현 토킹 헤드 합성을 위한 오디오 기반 프레임워크인 GaussianEmoTalker를 제안합니다. 음성으로부터 최종 감정 아바타를 직접 예측하는 대신, 감정 애니메이션을 중립-감정 잔차 변형(neutral-to-emotional residual deformation) 문제로 정식화합니다. GaussianEmoTalker는 먼저 GaussianBlendshapes를 이용해 고충실도 가우시안 속성과 음소 동기화된 중립 동작을 제공하는 개인 특화 중립 토킹 공간을 구성합니다. 이후 메시 변위 단서, 오디오 특징, 감정 범주, 강도 인코딩을 결합하여 감정 조건부 잔차 변형을 예측합니다. 이러한 이질적 신호들을 융합하기 위해, 표현력 있고 시간적으로 안정적인 렌더링을 위한 가우시안 속성의 오프셋을 추정하는 공간-오디오-감정 어텐션 모듈을 도입합니다. 광범위한 실험을 통해 GaussianEmoTalker가 최신 감정 토킹 헤드 방법들과 비교하여 경쟁력 있는 영상 품질, 정확한 입술 동기화, 제어 가능한 감정 표현, 그리고 실시간 렌더링을 달성함을 입증합니다. 프로젝트 페이지는 https://njust-yang.github.io/GaussianEmoTalker.github.io/ 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.