arXiv:2608.06424v1 cs.SD

텍스트 기반 음성 인페인팅 및 편집을 위한 다중 코덱 이산 확산 모델

Multi Codec Discrete Diffusion Model for Text Guided Speech Inpainting and Editing

Iftach Shoham, Tali Dror, Oren Gal, Haim Permuter, Gilad Katz, Eliya Nachmani

제출 2026-08-05

한국어 초록

음성 녹음에는 전체 발화를 다시 합성하지 않고 재구성하거나 수정해야 하는 누락, 손상 또는 잘못된 영역이 포함되는 경우가 많습니다. 음성 인페인팅(speech inpainting)은 누락된 구간을 복원하는 반면, 음성 편집(speech editing)은 편집된 전사 텍스트에 따라 발화 내용을 대체합니다. 두 작업 모두 생성된 음성이 의도한 단어를 표현하는 동시에 주변 화자의 정체성, 운율, 타이밍 및 녹음 환경과 일관성을 유지해야 합니다. 이산 확산(discrete diffusion)은 좌우 음향적 문맥(context) 모두를 공동으로 조건화하면서 마스킹된 토큰을 반복적으로 개선(refine)할 수 있어 이러한 작업에 특히 적합합니다. 본 논문에서는 계층적 코덱 토큰 기반의 텍스트 안내 음성 인페인팅 및 편집을 위한 이산 확산 프레임워크인 SIEDD를 소개합니다. 핵심 아키텍처인 HiCoDD는 이전에 생성된 코드북을 깨끗하고 확정된 음향적 문맥으로 표현하고 현재 개선 대상 코드북에만 확산을 적용함으로써 RVQ 생성 순서를 따릅니다. 이러한 분리를 통해 순차적인 coarse-to-fine 추론(inference)과 일치하면서도 정보 누출이 없는 결합 학습(joint training)이 가능해집니다. 또한 본 모델은 음소 수준의 조건화, 구간 국소화된 분류기 없는 유도(span-localized classifier-free guidance), 그리고 길이 예측을 결합하여 고정 길이 인페인팅과 가변 길이 텍스트 편집을 모두 지원합니다. RealEdit 벤치마크에서 SIEDD는 평가된 방법 중 전반적으로 가장 뛰어난 음성 편집 성능을 달성했습니다. 또한 단일 및 다중 결측 구간 모두의 모든 음성 인페인팅 설정에서 평가된 자기회귀(autoregressive) 베이스라인들을 능가합니다. 이러한 결과는 코덱 계층 구조를 명시적으로 모델링하는 것이 문맥을 보존하는 음성 재구성 및 편집을 실질적으로 향상시킴을 보여줍니다. 전체 코드는 https://github.com/iftachShoham/SIEDD 에서 확인할 수 있습니다.

원문 초록

Speech recordings often contain missing, corrupted, or incorrect regions that must be reconstructed or modified without re-synthesizing the entire utterance. Speech inpainting restores missing segments, whereas speech editing replaces spoken content according to an edited transcript. Both tasks require the generated speech to express the intended words while remaining consistent with the surrounding speaker identity, prosody, timing, and recording conditions. Discrete diffusion is particularly well suited to these tasks because it can iteratively refine masked tokens while jointly conditioning on both left and right acoustic context. We introduce SIEDD, a discrete diffusion framework for text-guided speech inpainting and editing over hierarchical codec tokens. Its core architecture, HiCoDD, follows the RVQ generation order by representing previously generated codebooks as clean, committed acoustic context and applying diffusion only to the current refinement codebook. This separation enables leakage-free joint training while matching sequential coarse-to-fine inference. The model further combines phoneme-level conditioning, span-localized classifier-free guidance, and duration prediction to support both fixed-duration inpainting and variable-duration text edits. On the RealEdit benchmark, SIEDD achieves the best overall speech-editing performance among the evaluated methods. It also outperforms the evaluated autoregressive baselines across all speech-inpainting settings, on both single and multiple gaps. These results demonstrate that explicitly modeling the codec hierarchy substantially improves context-preserving speech reconstruction and editing. See our full code at https://github.com/iftachShoham/SIEDD.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.06424v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.