UniSAE: 이산 음성학적 사후그램 모델링을 통한 화자, 감정 및 저수준 내용에 대한 통합 음성 속성 편집
UniSAE: Unified Speech Attribute Editing on Speaker, Emotion and Low-Level Content via Discrete Phonetic Posteriorgram Modelling
한국어 초록
음성 편집(speech editing)은 발화의 특정 부분을 수정하면서 나머지 음성은 보존하는 것을 목표로 한다. 기존 접근법은 주로 단어 수준의 내용 수정에 초점을 맞추며, 내용·화자·감정 편집을 별도의 작업으로 처리하는 경우가 많아 편집 세분성과 유연성이 제한된다. 우리는 단일 아키텍처 내에서 음소 이하(sub-phoneme) 수준부터 단어 수준까지 조합 가능한 화자, 감정 및 내용 편집을 지원하는 통합 음성 속성 편집 프레임워크인 UniSAE를 제안한다. UniSAE는 음소 정체성, 발음 변이, 지속 시간을 인코딩하는 이산 토큰으로 음성 내용을 분해하는 이산 음성학적 사후그램(Discrete Phonetic PosteriorGram, DPPG) 표현을 도입하여, 직접적인 음소 및 음소 이하 수준의 편집을 가능하게 한다. 더 높은 수준의 수정을 위해서는 자기회귀 내용 트랜스포머가 단어 수준 내용 편집을 위한 수정된 DPPG 시퀀스를 예측한다. 수정된 시퀀스는 분리된 화자 및 감정 표현을 조건으로 하는 확산 기반 음향 디코더에 의해 음성으로 렌더링된다. 실험 결과, 제안된 통합 프레임워크가 정밀한 화자 및 감정 제어, 다양한 세분성 수준에서의 내용 편집, 그리고 단일 프레임워크 내에서 세 가지 속성 모두의 공동 수정을 지원함을 보여준다.
원문 초록
Speech editing aims to modify specific portions of an utterance while preserving the remaining speech. Existing approaches primarily focus on word-level content modification and typically treat content, speaker, and emotion editing as separate tasks, limiting both editing granularity and flexibility. We propose UniSAE, a unified speech attribute editing framework which supports composable speaker, emotion and content editing from sub-phoneme to word level within a single architecture. UniSAE introduces a Discrete Phonetic PosteriorGram (DPPG) representation that factorizes speech content into discrete tokens encoding phoneme identity, pronunciation variants, and duration, enabling direct phoneme- and sub-phoneme-level editing. For higher-level modifications, an autoregressive content transformer predicts edited DPPG sequences for word-level content editing. The edited sequences are rendered into speech by a diffusion-based acoustic decoder, conditioned on disentangled speaker and emotion representations. Experimental results demonstrate that the proposed unified framework supports precise speaker and emotion control, content editing at multiple granularities, and joint modification of all three attributes within a single framework.
요약
UniSAE는 화자(speaker)·감정(emotion)·언어 내용을 단일 아키텍처에서 통합 편집하는 프레임워크로, 이산 음성학적 사후그램(DPPG) 표현을 통해 음소 이하 수준까지 세밀한 내용 편집을 지원한다. 자기회귀 Content Transformer와 확산 기반 음향 디코더를 결합하여 화자·감정·내용 세 속성의 독립적 또는 공동 수정이 가능함을 실험으로 검증했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.31128v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화
Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction
이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.
BiCFlow-MER: 조건 수송을 통한 판별형·생성형 멀티모달 감정 인식 통합
BiCFlow-MER: Orchestrating Discriminative and Generative Multimodal Emotion Recognition via Conditional Transport
멀티모달 감정 인식(MER)에서는 여러 모달리티의 상보적 단서를 통합해 인간의 정서 상태를 추론한다. 오디오-텍스트 MER에서는 정서 단서가 화자 스타일과 어휘 내용과 얽혀 있고, 교차 모달 불일치는 증거를 어떻게 통합할지 더 복잡하게 만든다. 기존 판별형 융합에서는 멀티모달 증거가 최종 예측으로 압축되어 모달리티별 단서와 충돌 정보가 충분히 보존되지 않는다. 반면 대규모 생성형 정서 모델에서는 정서 추론이 보통 언어 디코딩에 내재되어 감정 증거가 암묵적이며 구조화된 공간에서 검증하기 어렵다. 이러한 한계를 위해 BiCFlow-MER(Bidirectional Conditional Flow for Multimodal Emotion Recognition, 멀티모달 감정 인식을 위한 양방향 조건 흐름)를 조건 흐름(condition flow) 프레임워크로 제안하며, 오디오-텍스트 MER를 구조화된 감정 공간에서의 생성적 증거 수송 문제로 formulation한다. BiCFlow-MER 내에서는 감정 지향 증거를 화자 스타일·어휘 내용 요인에서 분리(disentangle)해 충돌 인식(conflict-aware) 정서 조건을 구성한다. 이 조건의 안내 하에 각 발화(utterance)는 양방향 rectified flow를 통해 명시적 감정 공간 끝점으로 수송(transport)된다. 후보 감정은 수송된 끝점에 대한 적응형 프로토타입-클라우드(prototype-cloud) 스코어링과 원래 멀티모달 조건에 대한 역방향 클래스-조건 일관성을 함께 검증하여 충돌 인식 인식을 가능하게 한다. BiCFlow-MER는 IEMOCAP, MELD, 제로샷(zero-shot) CASE 벤치마크에서 비교한 모든 방법보다 우수한 것으로 보고된다. 조건 수송을 통해 판별 인식과 생성적 증거 모델링을 조율(orchestrate)함으로써 BiCFlow-MER는 새로운 MER 패러다임을 제시한다.
다국어 저자원 감정 탐지를 위한 멀티 에이전트 LLM에서 토폴로지와 다양성의 분리 분석
Disentangling Topology and Diversity in Multi-Agent LLMs for Multilingual Low-Resource Emotion Detection
멀티 에이전트 LLM 시스템은 여러 번의 추론 호출을 결합하지만, 기존 연구는 호출들이 서로 연결되는 방식과 호출들을 다양화하는 방식을 종종 혼동한다. 본 연구는 이 두 요인, 즉 추론 토폴로지(inference topology)와 에이전트 간 다양성의 원천을 독립적으로 연구한다. 통제된 $2 \times 3$ 행렬에서 병렬 집계(parallel aggregation)와 순차적 정제(sequential refinement)를 확률적 샘플링(stochastic sampling), 역할 프롬프팅(role prompting), 학습된 QLoRA 전문화(specialization)와 교차 조합하며, 각 백본 내에서 세 번의 호출 예산과 출력 프로토콜을 고정한다. Qwen2.5-14B-Instruct와 Llama-3.1-8B-Instruct를 사용하여 9개 언어에 걸친 다국어 저자원 감정 탐지에서 여섯 가지 구성을 모두 평가한다. 병렬 학습 전문화는 Qwen에서 52.83 Macro-F1로 가장 강력하며 Llama에서는 52.94에 도달한다. Qwen에서는 동일 백본의 제로샷, 퓨샷, CoT, 그리고 일곱 번 호출하는 자기 일관성(self-consistency) 베이스라인도 능가한다. 선호되는 토폴로지는 다양성의 원천에 따라 달라진다. 순차적 정제는 확률적 설정과 프롬프트 기반 설정에서 도움이 되는 반면, 학습된 설정에서의 Width(병렬) 이점은 Qwen의 2.83포인트에서 Llama의 0.17포인트로 줄어든다. 깊이(depth)별 분석은 이후 단계의 학습된 전문가가 올바른 초기 예측을 덮어쓸 수 있음을 시사하지만, 전체적인 효과는 백본에 따라 달라진다. 종합하면, 에이전트를 어떻게 차별화하는가가 토폴로지보다 더 큰 성능 변화를 만들어내며, 토폴로지는 전문화와 함께 공동으로 평가되어야 한다.
STEER: 조향 가능한 대화형 헤드 아바타
STEER: Steerable Dyadic Head Avatars
얼굴 움직임과 표정은 대면 의사소통의 핵심으로, 발화와 함께 발언권 교환, 주의, 동의, 참여를 전달한다. 음성 기반 얼굴 애니메이션은 입술 동기화와 오디오 조건부 모션 생성에서 큰 진전을 이루었지만, 대부분의 방법은 대화 행동을 오디오의 창발적(emergent) 부산물로 취급하거나, 거친 시퀀스 수준의 정서(affect) 제어만 제공한다. 그 결과, 시선 접촉과 회피, 리듬감 있는 머리 움직임, 감정과 같은 핵심 비언어적 채널은 명시적으로 제어하기 어렵다. 우리는 반응형 대화 헤드 아바타를 위한 제어 가능한 3D 대화형(dyadic) 모션 사전(prior)인 STEER를 제시한다. STEER는 대화 행동을 시선, 머리 리듬, 감정에 대한 명시적 제어로 분해하여, 사용자가 아바타가 대화 상대를 어떻게 듣고, 반응하고, 교류하는지 조향할 수 있게 한다. 이러한 행동에 대한 시간 정렬 주석이 공개 대화형 코퍼스에서 제공되지 않기 때문에, 우리는 in-the-wild 대화형 영상에서 행동 의사 라벨(pseudo-label)을 복원하는 추적 및 주석 파이프라인을 도입한다. 인과적(causal) flow-matching 트랜스포머가 오디오, 상대 모션, 감정 및 제안된 행동 제어를 조건으로 하는 상대 인식(partner-aware) 목표 모션을 학습한다. 우리는 추적된 파라메트릭 모션을 아바타 구동 공간으로 매핑하는 학습된 매핑으로 Universal Gaussian Head-Avatar Prior를 확장하여, STEER를 사실적인(photorealistic) 아바타 파이프라인에 통합한다. 이를 통해 기본 아바타 모델을 재학습하지 않고도 고품질 Gaussian 헤드 아바타의 제어 가능한 애니메이션이 가능해진다. STEER는 모션 품질, 역학(dynamics), 다양성에서 최근 대화형 모션 베이스라인을 능가하고, 상대 결합(partner coupling)에서는 경쟁력을 유지하며, 시선, 머리 리듬, 감정 편집과 대화형 실시간 배포를 함께 가능하게 한다. 코드와 데이터셋 주석은 웹페이지에서 공개한다.
엔드투엔드 오디오 모델의 주파수 표현에 나타나는 구조적 병목
Structural Bottlenecks on Frequency Representation in End-to-End Audio Models
엔드투엔드(end-to-end) 신경망 오디오 모델은 고품질 압축 및 생성을 달성한다. 이러한 성능을 근거로 모델이 음정(pitch)이나 음색(timbre)과 같은 해석 가능한 특징을 직접 표현한다고 볼 수 있지만, 그럴듯한 출력을 생성한다고 해서 반드시 그러한 표현이 이루어지는 것은 아니다. 모델은 도달 가능한 임의의 기저에서 이러한 특징들을 인코딩할 수 있으나, 어떤 기저를 사용하더라도 해당 특징들은 시간-주파수 국소화된 기본 요소(time-frequency-localized primitives)의 조합으로 잘 기술된다. 최신 인코더들이 이러한 기본 요소, 나아가 그 조합에 대한 접근을 보존하는지 여부는 아직 불명확하다. 이론적 분석과 통제된 실험을 통해, 우리는 최신 스트라이드 합성곱(strided convolutional) 인코더 여러 개가 이러한 기본 요소에 대한 접근을 아키텍처와 신호 구조로부터 예측 가능한 두 가지 구조적 병목을 부과함을 보인다: (1) 기본 요소들을 에일리어싱 동치류(alias equivalence classes)로 병합하여 표현 용량에 상한을 설정하고, (2) 학습된 필터가 사용할 수 있는 주파수 해상도를 제한하여 분리 가능성을 저하시킨다. 잘 구조화된 데이터에서 31–35%의 병합률(collapse rate)과 이론적 해상도 경계의 10–35배에 달하는 필터 대역폭을 확인하였으며, 이는 현실적인 신호 조건에서도 두 병목이 모두 발생함을 입증한다. 이어서 우리는 Gabor Latent Refactorization(GLRF)을 제안한다. 이는 인코더 잠재 표현을 주파수 국소화된 기저로 재표현하는 경량의 사후 개입(post-hoc intervention)으로, 재학습 없이 필터 대역폭을 이론적 해상도 경계의 10–35배에서 1.5–3배로 줄이면서도 재구성 충실도를 유지하고 음정과 같은 속성에 대한 제어를 향상시킨다. 이 결과는 해당 인코더들이 주파수 국소화된 기본 요소에 대한 접근을 예측 가능한 방식으로 저하시켜 그에 의존하는 특징들을 얽히게 만들며, 경량의 재학습 불필요 개입을 통해 해당 접근의 상당 부분을 회복하여 조정 가능성(steerability)과 해석 가능성(interpretability)을 개선할 수 있음을 보여준다.
SPEARBench: 스트리밍 음성-음성 언어 모델의 자연스러움 평가를 위한 벤치마크
SPEARBench: A Benchmark for Naturalness Evaluation in Streaming Speech-to-Speech Language Models
스트리밍 음성-음성 언어 모델은 구어체 질의에 합성 음성으로 직접 답변하는 것을 목표로 한다. 그러나 기존의 음성 및 텍스트 벤치마크는 이러한 시스템이 대화에서 자연스럽게 동작하는지 포착하지 못한다. 대화에서는 타이밍, 순서 교대(turn-taking), 운율(prosody), 대인 태도(interpersonal stance), 언어 및 방언 일관성, 관계 인식 적절성이 복합적으로 지각 품질을 결정한다. 우리는 질의-응답 상호작용에서 음성-음성 언어 모델의 자연스러움을 평가하기 위한 벤치마크인 SPEARBench를 소개한다. SPEARBench는 Seamless Interaction 코퍼스로부터 통제된 대화 프롬프트를 구성하고, 여러 모델에 걸쳐 추론을 수행한 후, 응답 지연(response latency), 끼어들기(interruptions), 음성 품질, ASR 견고성, 언어 및 방언 일관성, 감정적 자연스러움, 대인 태도, 그리고 설명 가능한 분포적 기준선을 포괄하는 다차원 프로토콜로 생성된 답변을 평가한다. 이 벤치마크는 참조 조건으로 원본 인간 답변을 포함하며, 여러 최신 모델에 대한 결과를 보고한다. 결과에 따르면 현재 모델들은 높은 신호 수준의 품질과 낮은 ASR 오류를 달성할 수 있으나, 지연, 겹침, 방언 보존, 감정 적응, 대인 태도 역학 측면에서 인간 대화 행동과 여전히 차이를 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.