PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.20518v1cs.AI

FlowEdit: Flow-Matching 텍스트 음성 변환에서의 평생 발음 적용을 위한 연상 기억

FlowEdit: Associative Memory for Lifelong Pronunciation Adaptation in Flow-Matching TTS

Flow-matching 텍스트 음성 변환 시스템은 탁월한 제로샷 품질을 달성하지만 배포 후에는 정적으로 유지됩니다: 모델을 재학습하지 않으면 어휘 외 고유명사에 대한 발음 오류가 지속됩니다. 우리는 가중치 업데이트 대신 잠재 조건 편집으로 발음 수정을 학습하는, 동결된 Flow-matching 텍스트 음성 변환을 위한 평생 적용 프레임워크인 FlowEdit을 소개합니다. 수정 피드백이 제공되면 FlowEdit은 텍스트 임베딩 공간에서 토큰 수준의 섭동을 최적화한 다음, 내용 주소형 에피소드 기억 역할을 하는 Modern Hopfield Network에 수정 사항을 저장합니다. 추론 시 수정 사항은 유사성 게이트가 있는 소프트 어텐션을 통해 검색되며, 이를 통해 퍼지 형태소 매칭이 가능합니다. 18개 어족에 걸친 312개의 다국어 고유명사로 구성된 우리가 선별한 벤치마크에서 FlowEdit은 제로샷 기준선 대비 목표 단어 음소 오류율을 92.7% 감소시키면서 동일한 일반 음성 품질을 유지했습니다. 수정은 단일 GPU에서 약 15초 만에 완료됩니다.