지시는 음성을 어떻게 형성하는가? 스타일 캡션 기반 텍스트 음성 변환을 위한 크로스 어텐션 귀인
How Do Instructions Shape Speech? Cross-Attention Attribution for Style-Captioned Text-to-Speech
한국어 초록
스타일 캡션 기반 텍스트 음성 변환(TTS) 시스템은 자연어를 사용하여 음성 특성을 제어하지만, 개별 단어가 음향 출력에 미치는 영향은 여전히 불분명합니다. 이를 이해하는 것은 표현력 있는 TTS의 실패 모드를 진단하고 제어 가능성을 개선하는 데 중요합니다. 본 연구에서는 음성 확산 모델을 위한 크로스 어텐션 귀인(cross-attention attribution)을 제안하며, DAAM 프레임워크를 처음으로 음성 도메인에 적용하여 CapSpeech-TTS에 활용합니다. 제안하는 방법은 25개 층과 24개 ODE 단계에 걸쳐 토큰당 히트맵을 추출합니다. 30개의 텍스트 대본 생성을 각각 조건화하는 120개의 스타일 캡션으로 구성된 총 3,600개의 (스타일 캡션, 텍스트 대본) 조합을 분석하여, 캡션 토큰이 파형을 형성하는 방식을 규명합니다. 결과는 다음을 보여줍니다: (1) 스타일 토큰은 내용/기능 토큰보다 시간적 분산이 낮아 전역적 조건화를 확인하며; (2) 스타일 어텐션은 F0(기본 주파수) 및 에너지와 상관관계가 있고; (3) 스타일 조건화는 초기 단계와 깊은 층에서 정점을 이루며; (4) 어텐션 엔트로피는 층 17에서 최소가 되는데, 이는 스타일 중요도의 정점과 일치하며 가장 스타일이 중요한 단계에서 네트워크 선택성이 최대임을 나타냅니다. 이는 자연어가 음성 확산 모델 내 크로스 어텐션에 미치는 영향을 연구한 첫 번째 사례입니다.
원문 초록
Style-captioned text-to-speech systems use natural language to control voice characteristics, but how individual words influence acoustic output remains unclear. Understanding this is critical for diagnosing failure modes and improving controllability in expressive TTS. We propose cross-attention attribution for speech diffusion models, adapting the DAAM framework to the speech domain for the first time, and apply it to CapSpeech-TTS. Our method extracts per-token heatmaps across 25 layers and 24 ODE steps. We analyze 3,600 (style caption, text transcript) combinations comprising 120 style captions conditioning the generation of 30 text transcripts each, revealing how caption tokens shape waveforms. Results show: (1) style tokens have lower temporal variance than content/function tokens, confirming global conditioning; (2) style attention correlates with F0 and energy; (3) style conditioning peaks in early steps and deep layers; (4) attention entropy reaches its minimum at layer 17, co-occurring with the style importance peak, indicating maximal network selectivity at the most style-critical stage. This is the first study of how natural language influences cross-attention in speech diffusion models
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.20532v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
확산 모델의 암기 완화에 대한 재고: 텍스트 조건화 강화
Rethinking Memorization Mitigation in Diffusion Models: Reinforcing Text Conditioning
텍스트-이미지 확산 모델(diffusion model)은 이미지 합성에서 괄목할 만한 발전을 이루었으나, 개별 학습(training) 예제를 거의 그대로 재현하는 암기(memorization) 현상을 보일 수 있습니다. 효과적인 암기 완화는 대안적인 묘사를 유도하기 위해 유용한 프롬프트(prompt) 정보를 보존해야 합니다. 본 연구에서는 추가적인 노이즈 제거기(denoiser) 평가 없이, 가우시안 평활화(Gaussian smoothing)를 통해 교차 어텐션(cross-attention)을 재분배한 후 콘텐츠 토큰(token)의 기여도를 강화하고 패딩의 기여도를 감쇄하는 학습 불필요(training-free) 방식을 제안합니다. 이러한 개입을 통해 더 강력한 콘텐츠 조건화는 유사한 수준의 학습 이미지 유사도에서도 프롬프트 정렬(alignment)을 향상할 수 있습니다. 국소 분석(local analysis)을 통해 재분배가 국소화된 어텐션 질량을 줄이는 동시에 강화가 공유된 값(value) 정보를 보존하는 조건을 규명합니다. Stable Diffusion v1.4 및 v2.0에서 평가된 모든 평활화 너비는 학습 이미지 유사도 대비 프롬프트 정렬 및 이미지 선호도 모두에 대한 실증적 파레토 최적(Pareto frontier) 선상에 위치합니다. Stable Diffusion에서 선택된 구성은 추가적인 튜닝 없이도 DeepFloyd IF의 템플릿 재현을 감소시킵니다. 이러한 결과는 프롬프트와 일관된 대안적 생성을 위해 조건화 할당과 강도를 함께 제어해야 함을 뒷받침합니다.
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화
Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction
이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.
ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템
ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding
다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.
적은 감독, 더 나은 일반화: 디퓨전으로 편집된 이미지에서의 약지도 가짜 영역 위치 추정
Less Supervision, Better Generalization: Weakly Supervised Fake Region Localization in Diffusion-Edited Images
PRISM: Stress-Testing Alignment-Faking Claims
토론
이 논문과 연결된 포럼 글이 아직 없습니다.