arXiv:2212.06972

Disentangling Prosody Representations with Unsupervised Speech Reconstruction

Leyuan Qu, Taihao Li, Cornelius Weber, Theresa Pekarek-Rosin, Fuji Ren, Stefan Wermter

제출 2022-12-14

원문 초록

Human speech can be characterized by different components, including semantic content, speaker identity and prosodic information. Significant progress has been made in disentangling representations for semantic content and speaker identity in Automatic Speech Recognition (ASR) and speaker verification tasks respectively. However, it is still an open challenging research question to extract prosodic information because of the intrinsic association of different attributes, such as timbre and rhythm, and because of the need for supervised training schemes to achieve robust large-scale and speaker-independent ASR. The aim of this paper is to address the disentanglement of emotional prosody from speech based on unsupervised reconstruction. Specifically, we identify, design, implement and integrate three crucial components in our proposed speech reconstruction model Prosody2Vec: (1) a unit encoder that transforms speech signals into discrete units for semantic content, (2) a pretrained speaker verification model to generate speaker identity embeddings, and (3) a trainable prosody encoder to learn prosody representations. We first pretrain the Prosody2Vec representations on unlabelled emotional speech corpora, then fine-tune the model on specific datasets to perform Speech Emotion Recognition (SER) and Emotional Voice Conversion (EVC) tasks. Both objective (weighted and unweighted accuracies) and subjective (mean opinion score) evaluations on the EVC task suggest that Prosody2Vec effectively captures general prosodic features that can be smoothly transferred to other emotional speech. In addition, our SER experiments on the IEMOCAP dataset reveal that the prosody features learned by Prosody2Vec are complementary and beneficial for the performance of widely used speech pretraining models and surpass the state-of-the-art methods when combining Prosody2Vec with HuBERT representations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27382v1cs.SD공통 태그 Automatic Speech Recognition, Disentanglement

얽힘이 격차의 하한을 규정할 때: 오디오 이해 모델의 인구통계적 공정성 감사 및 보정

When Entanglement Lower-Bounds Disparity: Auditing and Repairing Demographic Fairness in Audio Understanding Models

음성 기술은 일부 목소리에 불리하게 작용한다. 흑인 화자에 대해서는 인식 오류가 거의 두 배 더 자주 발생하며, 제2언어 억양과 고령 화자에 대해서는 정확도가 떨어진다. 우리는 TRIAD를 제안한다. 이는 제어 가능한 텍스트 음성 변환을 통해 120개 텍스트, 24개의 렌더링된 인구통계적 음성 프로파일(성별, 연령대, 억양), 10가지 표현 스타일을 교차하는 감사 그리드로, 콘텐츠 및 affect와 지각된 인구통계 속성을 분리한다. 10개의 오픈 가중치(open-weights) 인코더에 대해 축 충실도(axis-fidelity) 함수적, 부분공간 간 주각(principal-angle) 누출, 그룹 조건부 격차를 정의한다. 한 명제는 평균 프로브(probe) 격차가 우리가 측정하는 동일한 집계 음성-의미 누출 $\Lambda$와 함께 증가함을 증명하고, 한 따름 정리는 최대 누출이 활성 영역 내 최악의 경우 격차를 강제함을 보인다. 측정된 평균제곱 프로브 격차는 $\Lambda$를 추적한다(Pearson r = 0.93), 블랙박스 프로토콜은 두 개의 폐쇄형(closed-source) 모델에서 동일한 특성을 드러낸다. ORCA는 축별 대조(contrastive) 헤드, 직交성(orthogonality) 페널티, 그룹 균형 샘플링을 결합한 어댑터로, 누출을 72% 줄이고 격차를 대략 절반으로 줄인다.

arXiv:2609.27615v1cs.AI공통 태그 Emotion Recognition, Disentanglement

BiCFlow-MER: 조건 수송을 통한 판별형·생성형 멀티모달 감정 인식 통합

BiCFlow-MER: Orchestrating Discriminative and Generative Multimodal Emotion Recognition via Conditional Transport

멀티모달 감정 인식(MER)에서는 여러 모달리티의 상보적 단서를 통합해 인간의 정서 상태를 추론한다. 오디오-텍스트 MER에서는 정서 단서가 화자 스타일과 어휘 내용과 얽혀 있고, 교차 모달 불일치는 증거를 어떻게 통합할지 더 복잡하게 만든다. 기존 판별형 융합에서는 멀티모달 증거가 최종 예측으로 압축되어 모달리티별 단서와 충돌 정보가 충분히 보존되지 않는다. 반면 대규모 생성형 정서 모델에서는 정서 추론이 보통 언어 디코딩에 내재되어 감정 증거가 암묵적이며 구조화된 공간에서 검증하기 어렵다. 이러한 한계를 위해 BiCFlow-MER(Bidirectional Conditional Flow for Multimodal Emotion Recognition, 멀티모달 감정 인식을 위한 양방향 조건 흐름)를 조건 흐름(condition flow) 프레임워크로 제안하며, 오디오-텍스트 MER를 구조화된 감정 공간에서의 생성적 증거 수송 문제로 formulation한다. BiCFlow-MER 내에서는 감정 지향 증거를 화자 스타일·어휘 내용 요인에서 분리(disentangle)해 충돌 인식(conflict-aware) 정서 조건을 구성한다. 이 조건의 안내 하에 각 발화(utterance)는 양방향 rectified flow를 통해 명시적 감정 공간 끝점으로 수송(transport)된다. 후보 감정은 수송된 끝점에 대한 적응형 프로토타입-클라우드(prototype-cloud) 스코어링과 원래 멀티모달 조건에 대한 역방향 클래스-조건 일관성을 함께 검증하여 충돌 인식 인식을 가능하게 한다. BiCFlow-MER는 IEMOCAP, MELD, 제로샷(zero-shot) CASE 벤치마크에서 비교한 모든 방법보다 우수한 것으로 보고된다. 조건 수송을 통해 판별 인식과 생성적 증거 모델링을 조율(orchestrate)함으로써 BiCFlow-MER는 새로운 MER 패러다임을 제시한다.

arXiv:2609.14570v2cs.CL공통 태그 Emotion Recognition, Disentanglement

다국어 저자원 감정 탐지를 위한 멀티 에이전트 LLM에서 토폴로지와 다양성의 분리 분석

Disentangling Topology and Diversity in Multi-Agent LLMs for Multilingual Low-Resource Emotion Detection

멀티 에이전트 LLM 시스템은 여러 번의 추론 호출을 결합하지만, 기존 연구는 호출들이 서로 연결되는 방식과 호출들을 다양화하는 방식을 종종 혼동한다. 본 연구는 이 두 요인, 즉 추론 토폴로지(inference topology)와 에이전트 간 다양성의 원천을 독립적으로 연구한다. 통제된 $2 \times 3$ 행렬에서 병렬 집계(parallel aggregation)와 순차적 정제(sequential refinement)를 확률적 샘플링(stochastic sampling), 역할 프롬프팅(role prompting), 학습된 QLoRA 전문화(specialization)와 교차 조합하며, 각 백본 내에서 세 번의 호출 예산과 출력 프로토콜을 고정한다. Qwen2.5-14B-Instruct와 Llama-3.1-8B-Instruct를 사용하여 9개 언어에 걸친 다국어 저자원 감정 탐지에서 여섯 가지 구성을 모두 평가한다. 병렬 학습 전문화는 Qwen에서 52.83 Macro-F1로 가장 강력하며 Llama에서는 52.94에 도달한다. Qwen에서는 동일 백본의 제로샷, 퓨샷, CoT, 그리고 일곱 번 호출하는 자기 일관성(self-consistency) 베이스라인도 능가한다. 선호되는 토폴로지는 다양성의 원천에 따라 달라진다. 순차적 정제는 확률적 설정과 프롬프트 기반 설정에서 도움이 되는 반면, 학습된 설정에서의 Width(병렬) 이점은 Qwen의 2.83포인트에서 Llama의 0.17포인트로 줄어든다. 깊이(depth)별 분석은 이후 단계의 학습된 전문가가 올바른 초기 예측을 덮어쓸 수 있음을 시사하지만, 전체적인 효과는 백본에 따라 달라진다. 종합하면, 에이전트를 어떻게 차별화하는가가 토폴로지보다 더 큰 성능 변화를 만들어내며, 토폴로지는 전문화와 함께 공동으로 평가되어야 한다.

arXiv:2607.23840v1cs.CV공통 태그 Emotion Recognition, Disentanglement

STEER: 조향 가능한 대화형 헤드 아바타

STEER: Steerable Dyadic Head Avatars

얼굴 움직임과 표정은 대면 의사소통의 핵심으로, 발화와 함께 발언권 교환, 주의, 동의, 참여를 전달한다. 음성 기반 얼굴 애니메이션은 입술 동기화와 오디오 조건부 모션 생성에서 큰 진전을 이루었지만, 대부분의 방법은 대화 행동을 오디오의 창발적(emergent) 부산물로 취급하거나, 거친 시퀀스 수준의 정서(affect) 제어만 제공한다. 그 결과, 시선 접촉과 회피, 리듬감 있는 머리 움직임, 감정과 같은 핵심 비언어적 채널은 명시적으로 제어하기 어렵다. 우리는 반응형 대화 헤드 아바타를 위한 제어 가능한 3D 대화형(dyadic) 모션 사전(prior)인 STEER를 제시한다. STEER는 대화 행동을 시선, 머리 리듬, 감정에 대한 명시적 제어로 분해하여, 사용자가 아바타가 대화 상대를 어떻게 듣고, 반응하고, 교류하는지 조향할 수 있게 한다. 이러한 행동에 대한 시간 정렬 주석이 공개 대화형 코퍼스에서 제공되지 않기 때문에, 우리는 in-the-wild 대화형 영상에서 행동 의사 라벨(pseudo-label)을 복원하는 추적 및 주석 파이프라인을 도입한다. 인과적(causal) flow-matching 트랜스포머가 오디오, 상대 모션, 감정 및 제안된 행동 제어를 조건으로 하는 상대 인식(partner-aware) 목표 모션을 학습한다. 우리는 추적된 파라메트릭 모션을 아바타 구동 공간으로 매핑하는 학습된 매핑으로 Universal Gaussian Head-Avatar Prior를 확장하여, STEER를 사실적인(photorealistic) 아바타 파이프라인에 통합한다. 이를 통해 기본 아바타 모델을 재학습하지 않고도 고품질 Gaussian 헤드 아바타의 제어 가능한 애니메이션이 가능해진다. STEER는 모션 품질, 역학(dynamics), 다양성에서 최근 대화형 모션 베이스라인을 능가하고, 상대 결합(partner coupling)에서는 경쟁력을 유지하며, 시선, 머리 리듬, 감정 편집과 대화형 실시간 배포를 함께 가능하게 한다. 코드와 데이터셋 주석은 웹페이지에서 공개한다.

arXiv:2607.11120v1cs.CV공통 태그 Emotion Recognition, Automatic Speech Recognition

비디오에서의 양가성 및 머뭇거림 인식을 위한 단순 특징과 정직한 캘리브레이션

Simple Features and Honest Calibration for Ambivalence and Hesitancy Recognition in Video

우리는 ABAW 2026 BAH 챌린지에서 양가성 및 머뭇거림(A/H) 인식 문제를 다룬다: 짧은 인터뷰 영상이 주어졌을 때, 해당 인물이 A/H 징후를 보이는지 예측한다. 우리 시스템은 감정 특화 텍스트, 오디오, 시각적 표현을 소수의 해석 가능한 언어적 머뭇거림 단서와 결합하며, 이를 감정 마커 융합(Affective Marker Fusion, AMF)이라 부르는 신뢰도 게이트로 융합하고, 고정된 결정 임계값에서의 단순 AP 가중 앙상블로 마무리한다. 또한 \emph{ASR 삭제 시간}을 제안한다: 음성 인식기는 전사문에서 채움말과 머뭇거림 휴지를 삭제하지만, 청크 타임스탬프에는 해당 이벤트에 소요된 시간이 보존되며, 이 간격으로 구성한 16개의 특징은 우리가 측정한 가장 강력하고 독립적인 비언어적 채널을 형성한다(AP $0.718$, 다른 모든 구성원과의 상관관계 $0.11$--$0.36$). 통제된 실험을 통해 세 가지를 발견했다: 교차 모달 충돌 설계는 BAH에서 일관된 성능 향상을 제공하지 않는다; 언어는 단연 가장 강력한 채널이며 감정 특화 오디오가 유용한 두 번째 채널이다; 그리고 캘리브레이션이 아키텍처보다 더 중요하다. 소규모 검증 분할에 앙상블 가중치와 임계값을 맞추면 과적합이 발생한다: 검증에서 매크로 F1 $0.741$을 기록하지만 미공개 테스트 세트에서는 $0.690$에 그친다. 반면 고정 임계값에서의 AP 가중은 테스트에서 $\mathbf{0.731}$에 도달한다.

arXiv:2607.02674v1cs.CV공통 태그 Emotion Recognition, Disentanglement

EmoteGPT: 자연어 설명으로부터 생성하는 3D 인간 표정

EmoteGPT: 3D Human Facial Expressions from Natural Language Descriptions

텍스트로부터 3D 표정을 정밀하게 제어하는 것은 가상 아바타, 애니메이션, 인간-컴퓨터 상호작용에서 매우 중요하지만, 기존의 텍스트-3D 방법들은 정체성, 표정, 텍스처를 함께 생성하기 때문에 세밀한 표정 제어가 어렵다. 우리는 대신 텍스트 기반 표정 합성을 3D 변형 가능 모델(3DMM)의 분리된 매개변수 공간에서의 회귀 문제로 정식화한다. 그러나 이 설정은 세부적인 언어를 정밀한 표정 매개변수와 연결하는 쌍 데이터를 필요로 하며, 기존 자원에는 이러한 데이터가 없다. 이 공백을 채우기 위해, 우리는 GPT-4o와 고충실도 얼굴 추적기로부터 획득한 세밀한 텍스트 주석이 포함된 다양한 3D 표정 벤치마크인 Txt2Emote를 소개한다. 이 벤치마크는 얼굴 특징을 상세히 설명하는 명시적 설명과 표정 뒤의 상황적 맥락을 참조하는 암묵적 설명을 모두 제공한다. 이 데이터셋을 활용하여, 우리는 표정 표현을 의미론적으로 그라운딩하기 위한 전용 <Expr> 토큰을 갖춘 멀티모달 대규모 언어 모델(MLLM) 기반의 텍스트-3D 표정 프레임워크인 EmoteGPT를 제시하며, 이를 통해 3DMM 매개변수로 디코딩한다. 우리는 대규모 이미지-3DMM 데이터를 학습에 증강하여 EmoteGPT를 더욱 개선하고, 감정 인식 지표와 표현력 지각 측면에서 최신 텍스트-3D 얼굴 합성 방법들을 능가할 수 있게 한다. 아바타 파이프라인에 통합된 우리의 방법은 포토리얼리스틱 및 스타일화된 3D 아바타뿐만 아니라 텍스트 입력으로부터 표현력 있는 3D 일관 2D 얼굴 합성을 가능하게 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.