AttS2S-VC: Sequence-to-Sequence Voice Conversion with Attention and Context Preservation Mechanisms
원문 초록
This paper describes a method based on a sequence-to-sequence learning (Seq2Seq) with attention and context preservation mechanism for voice conversion (VC) tasks. Seq2Seq has been outstanding at numerous tasks involving sequence modeling such as speech synthesis and recognition, machine translation, and image captioning. In contrast to current VC techniques, our method 1) stabilizes and accelerates the training procedure by considering guided attention and proposed context preservation losses, 2) allows not only spectral envelopes but also fundamental frequency contours and durations of speech to be converted, 3) requires no context information such as phoneme labels, and 4) requires no time-aligned source and target speech data in advance. In our experiment, the proposed VC framework can be trained in only one day, using only one GPU of an NVIDIA Tesla K80, while the quality of the synthesized speech is higher than that of speech converted by Gaussian mixture model-based VC and is comparable to that of speech generated by recurrent neural network-based text-to-speech synthesis, which can be regarded as an upper limit on VC performance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation
Effective Deep Learning Models for Automatic Diacritization of Arabic Text
NADI 2026: 두 번째 다중 방언 아랍어 음성 처리 공유 과제
NADI 2026: The Second Multidialectal Arabic Speech Processing Shared Task
NADI 2026은 Nuanced Arabic Dialect Identification(NADI) 공유 과제 시리즈의 일곱 번째 개최이며, 다중 방언 아랍어 음성 처리에 초점을 맞춘 두 번째 회차이다. 이번 회차는 자동 음성 인식(ASR), 구어 방언 식별(SDID), 텍스트 음성 변환(TTS), 구어 언어 번역(SLT), 구어 언어 이해(SLU)에 걸친 다섯 가지 과제와 여덟 개의 하위 과제로 구성된다. NADI 2026은 저대역폭, 혼합 방언, 코드 스위칭, 도메인 외(out-of-domain), 제로샷(zero-shot) 설정을 통한 현실적인 평가를 강조하며, 시리즈에 TTS, SLT, SLU를 처음으로 도입한다. 공유 과제에는 최소 13개국에서 온 21개 참가 팀이 참여했고, 테스트 단계 제출 48건과 시스템 설명 논문 14편이 제출되었다. 결과는 도메인 외 일반화가 여전히 주요 병목임을 보여 주며, 최근 아랍어 특화 음성 모델, 멀티모달 방언 식별 접근, 앙상블 방법의 효과를 부각한다. 전반적으로 NADI 2026은 견고한 아랍어 방언 음성 처리를 위한 더 넓고 도전적인 벤치마크를 제공한다.
다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.
텍스트 지능의 퇴보 없는 통합 오디오 지능
Unified Audio Intelligence Without Regressing on Text Intelligence
오디오 지능은 오디오와 음성 모두를 이해하고 추론하며 생성하는 것을 포함한다. 본 연구에서는 강력한 텍스트 전용 MoE 대규모 언어 모델(LLM)인 Nemotron-Cascade-2-30B-A3B를 기반으로 구축된 통합 오디오-텍스트 LLM, Nemotron-Labs-Audex-30B-A3B(Audex)를 소개한다. Audex는 단일 트랜스포머 디코더를 사용하는 간단한 통합 설계를 채택한다. 오디오 입력은 인코딩되어 텍스트 임베딩 공간으로 투영되며, 텍스트 토큰과 양자화된 오디오 출력 토큰은 생성 과정에서 동일하게 처리된다. 이 아키텍처는 강력한 오디오-텍스트 융합, 원활한 멀티모달 생성, 그리고 표준 LLM 학습 및 추론 인프라와의 호환성을 가능하게 한다. 학습을 위해 157.4B 오디오 토큰과 320.5B 텍스트 토큰으로 구성된 오디오-텍스트 데이터셋을 세심하게 구축하였다. 이 데이터셋에 대해 다단계 지도 학습을 적용한 후, 텍스트 전용 Cascade 강화학습(RL)과 다중 도메인 온-정책 지식 증류를 수행하였다. Audex는 최첨단 오디오 이해, 음성 인식 및 번역, 텍스트 음성 변환, 오디오 생성, 음성-음성 생성을 제공하는 동시에, 텍스트 전용 LLM 백본이 지닌 뛰어난 추론, 정렬(alignment), 지식, 긴 컨텍스트, 에이전트(agentic) 역량을 미미하거나 전혀 없는 퇴보로 유지한다. 우리는 오픈 연구를 촉진하기 위해 모델 체크포인트를 공개한다.
Wan-Streamer v0.2: 더 높은 해상도, 동일한 지연 시간
Wan-Streamer v0.2: Higher Resolution, Same Latency
우리는 네이티브 스트리밍 방식의 엔드투엔드 오디오-비주얼 상호작용 모델의 지연 시간 보존 업그레이드인 Wan-Streamer v0.2를 소개한다. v0.2는 v0.1의 모델링 공식을 유지하면서 25 FPS에서 약 200 ms의 모델 측 신호-신호 간 지연 시간을 보존하며 인터랙티브 출력 스트림을 192x336에서 640x368로 높인다. 더 높은 해상도의 스트림은 자세, 시선, 손, 주변 사물, 로컬 장면 레이아웃이 실시간 대화 중에도 식별 가능한 상태를 유지하는 장면 기반 미드샷 에이전트를 지원한다. 사용자가 체감하는 지연 없이 더 큰 시각적 스트림을 지원하기 위해 v0.2는 씽커(thinker)를 스트리밍 지각을 위한 단일 GPU 저지연 경로, 생성 캐시를 구축하는 짧은 언어/상태 트랜스포머 패스, 최종 디코딩으로 유지한다. 퍼포머(performer)는 비용이 큰 차세대 유닛 잠재(latent) 생성을 위한 멀티 GPU 율리시스(Ulysses) 방식 컨텍스트 병렬 그룹이 된다. 각 퍼포머 랭크는 수신되는 K/V를 사전 샤딩된 로컬 캐시에 기록한다. 긴 고해상도 잠재 비디오 시퀀스는 디노이징을 위해 랭크 전체에 분할되고 Ulysses 통신을 통해 수집되는 반면, 훨씬 짧은 오디오 잠재 시퀀스는 시퀀스 샤딩 없이 생성된다. 이 분할에서 씽커의 언어/상태 연산은 K/V 컨디셔닝으로만 퍼포머에 전달되므로 퍼포머 그룹 내부에서 별도의 언어 시퀀스를 통신할 필요가 없다. 이를 통해 씽커-퍼포머 경계를 간결하게 유지하면서 추가 하드웨어를 시각적 생성에 집중할 수 있으며, 350 ms의 양방향 네트워크 예산이 포함될 때 총 원격 상호작용 지연 시간을 약 550 ms로 유지한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.