FlowEdit: Flow-Matching 텍스트 음성 변환에서의 평생 발음 적용을 위한 연상 기억
FlowEdit: Associative Memory for Lifelong Pronunciation Adaptation in Flow-Matching TTS
한국어 초록
Flow-matching 텍스트 음성 변환 시스템은 탁월한 제로샷 품질을 달성하지만 배포 후에는 정적으로 유지됩니다: 모델을 재학습하지 않으면 어휘 외 고유명사에 대한 발음 오류가 지속됩니다. 우리는 가중치 업데이트 대신 잠재 조건 편집으로 발음 수정을 학습하는, 동결된 Flow-matching 텍스트 음성 변환을 위한 평생 적용 프레임워크인 FlowEdit을 소개합니다. 수정 피드백이 제공되면 FlowEdit은 텍스트 임베딩 공간에서 토큰 수준의 섭동을 최적화한 다음, 내용 주소형 에피소드 기억 역할을 하는 Modern Hopfield Network에 수정 사항을 저장합니다. 추론 시 수정 사항은 유사성 게이트가 있는 소프트 어텐션을 통해 검색되며, 이를 통해 퍼지 형태소 매칭이 가능합니다. 18개 어족에 걸친 312개의 다국어 고유명사로 구성된 우리가 선별한 벤치마크에서 FlowEdit은 제로샷 기준선 대비 목표 단어 음소 오류율을 92.7% 감소시키면서 동일한 일반 음성 품질을 유지했습니다. 수정은 단일 GPU에서 약 15초 만에 완료됩니다.
원문 초록
Flow-matching text-to-speech systems achieve remarkable zero-shot quality but remain static after deployment: pronunciation errors on out-of-vocabulary proper nouns persist unless the model is retrained. We introduce FlowEdit, a life-long adaptation framework for frozen flow-matching TTS that learns pronunciation corrections as latent conditioning edits rather than weight updates. When corrective feedback is provided, FlowEdit optimizes a token-level perturbation in the text embedding space, then stores the correction in a Modern Hopfield Network serving as content-addressable episodic memory. At inference, corrections are retrieved via soft attention with a similarity gate, enabling fuzzy morphological matching. On our curated benchmark of 312 multilingual proper nouns across 18 language families, FlowEdit reduces target-word Phoneme Error Rate by 92.7% relative to the zero-shot baseline while maintaining identical general-speech quality. Corrections complete in approximately 15 seconds on a single GPU.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.20518v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
From Weights to Features: Sparse-Autoencoder-Guided Activation Regularization for Continual Learning in Large Language Models
DriftGuard: 진화하는 유해성 모더레이션을 위한 안전성 인식 다중 모니터 탐지 및 선택적 적응
DriftGuard: Safety-Aware Multi-Monitor Detection and Selective Adaptation for Evolving Toxicity Moderation
MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization
EVOQUANT: 견고한 정량 트레이딩을 위한 자기 진화형 검증기 유도 전략 최적화
EVOQUANT: Self-Evolving Verifier-Guided Strategy Optimization for Robust Quantitative Trading
정량 전략 최적화는 여전히 대부분 수동으로 이루어지며, 도메인 전문가가 약한 신호를 식별하고, 리스크 관리 규칙을 조정하며, 반복적인 수정을 지속적으로 검증해야 한다. 대규모 언어 모델(LLM)은 이 과정을 가속할 수 있지만, 이를 직접 의존하여 트레이딩 전략을 재작성하면 환각(hallucination)으로 인한 수정, 전략 표류(strategy drift), 백테스트 과적합이 발생하는 경우가 많다. 우리는 정량 트레이딩에서의 전략 최적화를 위한 자기 진화형 검증기 유도(self-Evolving Verifier-guided) 프레임워크인 EVOQUANT를 제안한다. 우리 방법은 LLM을 활용해 성능 병목을 심층 진단하고, 의미적으로 통제된 후보 수정안을 생성하며, 다단계 검증 파이프라인을 통해 최적 전략을 선택하고, 최적화 경험을 재사용 가능한 지식으로 증류(distillation)하여 지속적인 자기 개선을 가능하게 한다. 우리는 대표 전략 일곱 개—A주 시장 네 개와 암호화폐 시장 세 개—를 사용해 방법을 평가한다. 실험 결과, 검증된 모든 전략에서 Sharpe ratio가 크게 향상됨을 보여준다: 평균 테스트 Sharpe는 -0.298에서 0.538로 증가했으며, 최고 성능 전략은 상대적으로 199% 개선을 달성했다. 더 엄격한 조건에서의 ablation 연구와 스트레스 테스트는 프레임워크의 효과와 견고함을 추가로 검증한다. 전반적으로, 본 연구는 정량 전략 최적화를 비용이 큰 수동 시행착오에서 자동화되고 검증 가능한 반복적 패러다임으로 전환하며, 금융 전략 연구에 대규모 언어 모델을 적용하는 새로운 경로를 제시한다.
Continual Graph Memory and Community Infrastructure for AI-Assisted Mathematical Discovery
파라메트릭 스킬
Parametric Skills
토론
이 논문과 연결된 포럼 글이 아직 없습니다.