arXiv:1904.02373

Multi-reference Tacotron by Intercross Training for Style Disentangling,Transfer and Control in Speech Synthesis

Yanyao Bian, Changbin Chen, Yongguo Kang, Zhenglin Pan

제출 2019-04-04

원문 초록

Speech style control and transfer techniques aim to enrich the diversity and expressiveness of synthesized speech. Existing approaches model all speech styles into one representation, lacking the ability to control a specific speech feature independently. To address this issue, we introduce a novel multi-reference structure to Tacotron and propose intercross training approach, which together ensure that each sub-encoder of the multi-reference encoder independently disentangles and controls a specific style. Experimental results show that our model is able to control and transfer desired speech styles individually.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09973v1cs.SD공통 태그 Diversity, Speech Synthesis

SFX 생성 평가를 위한 프로덕션 지향 프레임워크

A Production-Oriented Framework for Evaluation of SFX Generation

산업용 사운드 디자인은 현실감 있는 오디오를 생성할 뿐만 아니라 레퍼런스의 지각적 정체성을 보존하고, 제어 가능한 변형을 지원하며, 실용적인 워크플로우에서 효율적으로 동작하는 오디오 생성 시스템을 필요로 한다. 기존 평가는 대부분 텍스트-투-오디오(TTA), 비조건부(unconditional), 또는 태스크 특화 설정에 국한되어 있어, 레퍼런스 기반 음향 효과(SFX) 변형에 대한 평가를 제한한다. 이러한 격차를 해소하기 위해, 우리는 이질적인 오디오 생성 및 편집 방법을 구조적으로 비교하기 위한 프로덕션 지향 평가 프레임워크를 제안한다. 본 프레임워크는 아홉 가지 프로덕션 요구사항을 식별하고 모델 역량의 차이를 명시적으로 반영하여, 공통 프로덕션 목표 하에서의 비교를 가능하게 한다. 두 단계 프로토콜이 도입된다: (1) 레퍼런스 기반 오디오-투-오디오(ATA) 변형 태스크로, 모든 방법이 동일한 ESC-50 SFX 적응 설정 하에서 평가되며, (2) SFX 모핑(morphing), 시간적·에너지 정렬, 인페인팅(inpainting), 목표 편집 등 고유 연산에 대한 역량별 분석이 수행된다. 본 프레임워크는 객관적 지표(FAD, ImageBind 기반 레퍼런스 정렬, 생성 변형 간 다양성 포함)와 지각적 정체성 보존 및 트랜지언트(transient) 진단에 관한 사용자 연구를 결합한다. 연구 결과, 다양한 프로덕션 요구에 따라 베이스라인들 간의 상호 보완적 강점과 트레이드오프가 드러났다. 공유된 ATA 설정 하에서 평가된 완전 생성 베이스라인 중 AudioX가 레퍼런스 정렬과 다양성 간의 전반적 트레이드오프에서 가장 우수한 성능을 보이면서도 SFX 모핑을 지원한다. 다른 베이스라인들은 특정 편집 연산에 가장 적합한 것으로 나타났다. 본 프레임워크는 레퍼런스 기반 SFX 변형을 위한 구조적 평가 및 의사결정 프로토콜을 확립하고, 미래의 통합 산업용 오디오 생성 파이프라인 설계를 위한 실용적 기반을 제공한다. 오디오 데모는 제공된 웹 페이지에서 확인할 수 있다.

arXiv:2606.21366v2eess.AS공통 태그 Diversity, Speech Synthesis

성적화된 합성 페르소나는 음성을 통해 젠더화된 권력 비대칭을 인코딩하고 증폭한다

Sexualised synthetic personas encode and amplify gendered power asymmetries through voice

본 연구는 인기 상업 플랫폼에서 제공하는 성적화된 AI 생성 영어 음성을 조사한다. 새로운 기술은 성적 자기결정과 젠더 표현의 다양성을 가능하게 할 수 있지만, 독성 남성성(toxic masculinity), 이성애 규범성(heteronormativity), 여성 및 LGBTQ+ 사람들에 대한 학대는 여전히 온라인에서 만연하다. 페미니스트 HCI 관점에 기초하여, 상업적 음성 AI 시스템이 특정한 젠더 수행(performance of gender)을 어떻게 재생산하고 순환시키는지를 살펴본다. 다양한 청취자 집단을 대상으로 정량적 형용사 선택, 정성적 자유 서술 응답, 음향 분석을 결합한 청취 실험을 수행했다. 참가자들은 성적화된 대본 또는 중립적 텍스트와 함께 제시된 남성-코딩 및 여성-코딩 음성을 평가했다. 결과는 젠더 표현의 범위가 좁고, 대체로 이분법적이며 이성애 규범적임을 보여준다. 여성-코딩 음성은 성적화되고 복종적인 용어로 더 자주 묘사되는 반면, 남성-코딩 음성은 지배와 긍정적 특성과 더 자주 연관된다.

arXiv:2605.25796v4cs.CR공통 태그 Diversity

SAMark: 단락 수준 패러프레이즈 견고성을 갖춘 자기 고정(self-anchored) 텍스트 워터마킹

SAMark: A Self-Anchored Text Watermarking with Paragraph-Level Paraphrase Robustness

의미 수준 워터마킹(SWM)은 문장을 기본 단위로 취급하여 텍스트 수정에 대한 견고성을 향상시킨다. 그러나 단락 수준 패러프레이즈(paraphrasing)에 대한 견고성은 여전히 어려운 문제로 남아 있다. 이러한 공격은 문장 순서를 변경함으로써 워터마크 신호를 전역적으로 교란하기 때문이다. 본 연구에서는 SAMark를 제안한다. 이는 의미 공간(semantic space)에 단계 독립적(step-independent) green region을 설정함으로써 문장 순서에 대한 의존성을 제거하는 자기 고정(self-anchored) 워터마킹 프레임워크이다. 탐지성(detectability)을 향상시키기 위해, 워터마크 신호를 증폭하면서 약하게 정렬(aligned)된 후보에서 발생하는 노이즈를 억제하는 다채널 쌍곡(hyperbolic) 스코어링 메커니즘을 도입한다. 또한 단순 n-gram 반복 필터를 넘어 의미적 중복(semantic redundancy)을 다루기 위해 hard filtering과 soft 정규화(regularization)를 결합한 다양성 인식(diversity-aware) 필터링 전략을 제안한다. 실험 결과, SAMark는 일반적인 단락 수준 패러프레이즈 공격 하에서 최대 90.2% TP@FP1%를 달성하며, 평균적으로 가장 강력한 선행 기준선(baseline)보다 30% 이상 우수한 성능을 보인다. 동시에 워터마크가 없는 텍스트와 경쟁할 만한 생성 품질을 유지하며, 기존 방법을 제한하던 견고성-품질 트레이드오프(robustness-quality trade-off)를 깬다. 코드는 https://github.com/Z1zs/SAMark 에서 공개될 예정이다.

arXiv:2606.12247v2cs.CY공통 태그 Diversity

3인칭 감사를 넘어서: 사용자 중심 LLM 바이어스 연구를 위한 상황화된 상호작용 감사

Beyond Third-Person Audits: Situated Interaction Auditing for User-Centered LLM Bias Research

대규모 언어 모델(LLM)의 편향 연구는 모델이 인구 집단을 외부 대상으로서 어떻게 표상하거나 평가하는지를 연구하는 3인칭 감사에 주로 초점을 맞추어 왔다. 그러나 이 패러다임은 감사에 사용자가 부재하다는 구조적 사각지대를 간과한다. 실제로 LLM은 개방적이고 개인적인 상호작용에서 사용되며, 이때 모델은 사용자를 암묵적으로 표상하고 그에 맞춰 응답을 조정한다. 동일한 요청이 누가 묻느냐에 따라 다른 응답을 낳는다면, 편향은 모델이 타인을 서술하는 방식이 아니라 대화 상대를 대하는 방식에서 나타난다. 1인칭 편향에 대한 실증 연구가 늘고 있으나, 서로 다른 단서, 결과 지표, 타당화 방식을 사용하여 결과를 비교하기 어렵다. 본 논문은 이러한 문헌을 위한 공통 진단 프레임워크인 상황 기반 상호작용 감사(SIA)를 제안한다. SIA는 이름과 표면적 표지, 글쓰기 스타일과 방언, 명시된 정체성이라는 사용자 프로필 신호의 유형론을 설계 원칙 및 결과 지표와 함께 도입하여 연구를 비교하고 누적할 수 있게 한다. 우리는 이 프레임워크를 아홉 개 과업 영역과 세 가지 모델에 걸친 칠레인의 이름과 성에 대한 사례 연구로 구현하고, 실무자를 위한 지침과 연구자를 위한 미해결 질문으로 마무리한다.

arXiv:2607.09767v2eess.SP공통 태그 Speech Synthesis

특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화

Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction

이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.