TargetSEC: 각성 조건부 잠재 스타일 디퓨전을 통한 플러그 앤드 플레이 실제 환경(In-the-Wild) 음성 감정 변환
TargetSEC: Plug-and-Play In-the-Wild Speech Emotion Conversion via Arousal-Conditioned Latent Style Diffusion
한국어 초록
음성 감정 변환(Speech Emotion Conversion, SEC)은 내용과 화자 정체성을 보존하면서 원본 발화의 감정을 목표 감정으로 변환하는 것을 목표로 합니다. 실제 환경(In-the-Wild) 데이터에 대한 SEC는 학습 데이터의 비병렬(non-parallel) 특성과 복잡한 실제 음향 환경으로 인해 어려운 과제입니다. 기존의 고정 길이(fixed-duration) 접근 방식은 감정을 효과적으로 변환하는 데 어려움을 겪거나(높은 품질, 낮은 변환율), 음성의 자연스러움을 저하시키는(낮은 품질, 높은 변환율) 문제가 있습니다. 본 연구에서는 화자 정체성과 연속적인 감정에 조건화된 감정 중심 스타일 임베딩을 생성하는 임베딩 기반 잠재 디퓨전 프레임워크인 TargetSEC를 제안합니다. 스펙트로그램(spectrogram) 위에서 확산(diffuse)하는 방법들과 달리, TargetSEC는 압축된 잠재 공간에서 작동합니다. MSP-Podcast 데이터셋에 대한 실험 결과, TargetSEC는 높은 음성 품질을 유지하면서 변환 정확도 면에서 현재의 비지속(non-duration) 기준 모델들을 능가하며, 명시적인 시간적 모델링 없이도 지속 시간 예측 시스템과 유사한 성능을 달성함을 보여줍니다.
원문 초록
Speech Emotion Conversion (SEC) aims to transform the emotion of a source utterance into a target emotion while preserving content and speaker identity. SEC on in-the-wild data is challenging due to the non-parallel nature of training data and complex real-world acoustics. Existing fixed-duration approaches either struggle to shift the emotion effectively (high quality, low conversion) or degrade speech naturalness (low quality, high conversion). We propose TargetSEC, an embedding-driven latent diffusion framework that generates emotion-focused style embeddings conditioned on speaker identity and continuous emotion. Unlike methods that diffuse over spectrograms, TargetSEC operates in a compact latent space. Experiments on the MSP-Podcast dataset show that TargetSEC outperforms current non-duration baselines in conversion accuracy while maintaining high speech quality, and achieves performance comparable to duration-prediction systems without explicit temporal modeling.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.07293v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VISTA: 비디오가 주입된 양식화 텍스트-애니메이션 생성
VISTA: Video-Injected Stylized Text-to-Animation
본 논문에서는 함께 쌍을 이루는 (텍스트, 비디오, 양식화된 모션) 트리플렛(triplet) 없이도 텍스트 프롬프트의 구조적 콘텐츠와 참조 비디오의 표현력 있는 스타일을 융합하여 양식화된 3D 인간 모션을 생성하는 2단계 프레임워크인 VISTA를 제시한다. 먼저 Dual-channel Autoencoder가 모션 시퀀스와 비디오 클립을 공유 잠재 다양체(latent manifold)로 매핑한다. 그런 다음 마스크된 자기회귀 확산(masked autoregressive diffusion) 백본이 이 다양체 내에서 작동하며, 텍스트 조건화된 콘텐츠 구조를 보존하면서 전용 후기 융합(late-fusion) Dual-AdaLN 경로를 통해 비디오 유래 스타일을 주입한다. 잠재 순환 일관성(latent cycle consistency)을 갖춘 교차 배치(cross-batch) 비쌍형 학습(unpaired training) 프로토콜은 의미론적으로 풍부한 데이터셋과 스타일적으로 다양한 분리된 데이터셋 전반에 걸친 공동 학습을 가능하게 한다. 제어 가능한 애니메이션 합성의 개념 증명으로서, 렌더링된 모션 캡처 참조를 통해 VISTA를 검증했다. VISTA는 비디오 조건부 방법 중 가장 높은 스타일 인식 정확도를 달성하는 동시에 경쟁력 있는 콘텐츠 정렬을 유지하며, 분해된 3방향 분류기 없는 유도(classifier-free guidance)를 통해 추론(inference) 시 사용자가 콘텐츠-스타일 균형을 독립적으로 제어하며 보정할 수 있도록 지원한다.
MTVDiff: 향상된 열화상-가시광 얼굴 변환을 위한 다중모달 조건부 잠재 확산
MTVDiff: Multimodal Conditional Latent Diffusion for Enhanced Thermal-to-Visible Face Translation
열화상-가시광 얼굴 변환은 기하학적 불연속성, 의미적 속성 불일치, 신원 저하를 포함한 근본적인 과제를 제기한다. 우리는 이러한 한계를 해결하면서 신원 특성을 보존하기 위해 깊이(depth)와 텍스트 정보를 시너지적으로 통합하는 새로운 다중모달 잠재 확산 프레임워크인 MTVDiff를 제안한다. MTVDiff 프레임워크는 세 가지 핵심 기술적 기여를 제시한다: (1) 다중 스케일 열화상-깊이 특징 추출 및 융합을 위한 Dual-Branch Cross-Attention Fusion(DBCAF) 모듈, (2) 의미론적으로 유도된 생성을 위한 Gated Text-to-Visual Feature Alignment 메커니즘, (3) 적응적 다중모달 사전(prior) 통합을 위한 Spatial Feature Transformations(SFT). MCXFace 및 SpeakingFaces 데이터셋에 대한 광범위한 실험은, 우리의 다중모달 접근법이 여러 지표에서 기존 생성적 적대 신경망(GAN) 기반 및 확산 기반 접근법을 크게 능가하며, 이미지 품질과 얼굴 검증 성능 모두에서 상당한 개선을 달성함을 보여준다. FID는 최대 48.3% 감소하고 Rank-1 정확도는 최대 8.9% 향상되었다. 우리의 연구는 다양한 조명 조건에서 작동하는 얼굴 인식 시스템을 위한 견고한 해결책을 제공하며, 효과적인 다중모달 통합을 통해 교차 스펙트럼 얼굴 이미지 변환의 최신 기술(state-of-the-art)을 발전시킨다.
FOIT: Fast Online Instance Transfer for Improved EEG Emotion Recognition
모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다
RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크
RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction
확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.
원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델
Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection
토론
이 논문과 연결된 포럼 글이 아직 없습니다.