타임라인을 보존하는 음성-음성 번역 학습
Learning Timeline-Preserving Speech-to-Speech Translation
한국어 초록
음성-음성 번역(S2ST)은 무엇을 말하는지와 어떻게 들리는지를 점점 더 잘 보존하지만, 발화와 침묵이 언제 일어나는지는 반드시 보존하지는 않는다. 더빙 및 기타 시간적 근거가 필요한 응용에서는 총 길이를 맞추는 것만으로는 충분하지 않으며, 발화와 휴지도 서로 대응하는 시점에 나타나야 한다. 우리는 공유된 절대 타임라인상에서 원본의 종료 시점과 두드러진 내부 휴지를 보존하는 것을 목표로 하는 타임라인 보존 S2ST를 정식화한다. 우리는 추론 시 프레임 단위 타이밍 제어나 사후 시간 보정 없이, 정렬된 목표 음성 파형으로부터 이러한 시간 구조를 직접 학습하는 종단간 자기회귀 시스템인 TransDubber를 제시한다. 이러한 지도 신호를 제공하기 위해, 원본에서 정의된 시간 골격 위에서 목표 음성을 번역하고 합성하여 길이가 정확히 일치하는 영어-중국어 음성 쌍 642K개를 구축한다. 학습은 번역 품질과 시간 정렬의 균형을 맞추기 위해 점진적 지도 커리큘럼과 검증기 기반 강화학습을 결합한다. 낭독 음성과 자발 음성을 아우르는 4,353개 발화의 테스트 세트에서 TransDubber는 UniSS와 비교하여 원본 길이의 2% 이내인 번역의 비율을 25.6%에서 61.5%로, 휴지 정렬 F1을 0.118에서 0.550으로 높이면서도 경쟁력 있는 번역 품질을 유지한다. 분석 결과, 정렬된 지도 신호가 타임라인 추종을 확립하고, 강화학습은 시간적 정밀도를 다듬으며 엄격한 동기화로 인한 번역 품질 저하를 부분적으로 상쇄한다. 이러한 결과는 타임라인 보존 S2ST를 위한 우리의 데이터와 학습 프레임워크의 효과를 보여 준다. 오디오 샘플, 코드, 데이터셋, 사전 학습 모델은 https://zhishengzheng.com/transdubber/ 에서 이용할 수 있다.
원문 초록
Speech-to-speech translation (S2ST) increasingly preserves what is said and how it sounds, but not necessarily when speech and silence occur. For dubbing and other temporally grounded applications, matching total duration is not enough: speech and pauses must also occur at corresponding moments. We formulate timeline-preserving S2ST, which aims to preserve the source endpoint and salient internal pauses on a shared absolute timeline. We present TransDubber, an end-to-end autoregressive system that learns this temporal structure directly from aligned target waveforms, without inference-time frame-level timing control or post-hoc temporal correction. To provide this supervision, we construct 642K exactly duration-matched English-Chinese speech pairs by translating and synthesizing target speech on source-defined temporal scaffolds. Training combines a progressive supervised curriculum with verifier-guided reinforcement learning to balance translation quality and temporal alignment. On a 4,353-utterance test set spanning read and spontaneous speech, TransDubber increases the proportion of translations within 2% of the source duration from 25.6% to 61.5% and pause-alignment F1 from 0.118 to 0.550 compared with UniSS, while maintaining competitive translation quality. Our analysis shows that aligned supervision establishes timeline following, while reinforcement learning refines temporal precision and partially offsets the translation-quality cost of strict synchronization. Together, these results demonstrate the effectiveness of our data and training framework for timeline-preserving S2ST. Audio samples, code, datasets, and pretrained models are available at https://zhishengzheng.com/transdubber/.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.00690v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.