arXiv:2610.07966v1 cs.SD

VAE 기반 오디오 디코더의 특징 인코딩: 입력, 깊이 및 분포의 영향

Feature Encoding in VAE-based Audio Decoders: Effects of Input, Depth and Distribution

Louis McCallum, Mick Grierson

제출 2026-10-06

저자 비고

arXiv Comments

This manuscript has been accepted for publishing in IEEE Transactions on Audio, Speech and Language Processing (TASLP)

한국어 초록

Realtime Audio Variational autoEncoder(RAVE)와 같은 신경망 오디오 합성 모델은 인상적인 생성 품질을 달성하지만, 내부 표현이 음악적 특징(feature)을 어떻게 인코딩하는지는 여전히 명확히 이해되지 않고 있습니다. 본 연구에서는 서로 다른 음악 도메인에서 학습(training)된 세 가지 모델에 걸쳐 네 가지 자극 유형으로 테스트하여 RAVE 디코더 활성화에 대한 체계적인 층(layer)별 및 교차 층 클러스터 분석을 제시합니다. 그런 다음 범용 EnCodec 모델을 사용하여 아키텍처 일반화를 평가(evaluation)합니다. RAVE의 경우 합성 자극이 여러 모델과 오디오 특징에 걸쳐 잘 인코딩됨을 확인했습니다(피치 |\r{ho}|=0.45, 영가설 대비 5.1배, BPM |\r{ho}|=0.76, 영가설 대비 8.6배). 자연 오디오를 사용할 경우 이러한 결과는 감소하지만 여전히 실질적으로 뚜렷하게 나타납니다(특징 전반 평균 |\r{ho}|=0.25, 영가설 대비 2.8배). 자연 오디오는 비선형 프로브를 사용할 때 더 강한 인코딩을 보입니다(특징 전반 평균 R2=0.56, 영가설 대비 18배, 선형 프로브 R2 대비 비선형 이득 +0.152). 인코딩 강도는 디코더의 층 전반에 걸쳐 다양하며, 모든 오디오 특징에서 중간 층의 결합 인코딩 능력이 증가하는 것이 관찰됩니다(\b{eta}2 모두 음수, p < 0.05). 범용 EnCodec 디코더 역시 오디오 특징 전반에서 유사하게 강력한 합성 반응, 자연 오디오 결합 인코딩에 대한 유사한 비선형 이득, 그리고 유사한 깊이 프로파일을 보입니다. 우리는 최적의 교차 층 클러스터가 동일 섹션 내 최적의 전체 층과 비교할 때 결합 인코딩에는 영향이 없으면서 BPM 인코딩의 강도(r = 0.65, p = 0.006)와 유병률(r = 0.75, p = 0.001)을 향상시킨다는 점을 발견했습니다. 이러한 발견은 신경망 오디오 모델의 해석 가능성을 높이고 신경망 합성을 위한 목표 제어 전략에 유용한 정보를 제공합니다.

원문 초록

Neural audio synthesis models like the Realtime Audio Variational autoEncoder (RAVE) achieve impressive genera tion quality, yet how their internal representations encode musical features remains poorly understood. We present a systematic layer-wise and cross-layer cluster analysis of RAVE decoder activations across three models trained on different musical domains, tested with four stimulus types. We then evaluate architectural generalization with a general purpose EnCodec model. For RAVE, we find that synthetic stimuli are encoded well across models and audio features (pitch |\r{ho}|=0.45, 5.1x the null, BPM |\r{ho}| = 0.76, 8.6x the null). These results are reduced but still substantively apparent when using natural audio (mean across features |\r{ho}|=0.25, 2.8x the null). Natural audio sees a stronger encoding when nonlinear probes are used (mean across features R2=0.56, 18x the null, +0.152 nonlinear gain over the linear probe R2). Encoding strength varies throughout the layers of the decoder and an increased ability to joint-encode in the middle layers is seen across all audio features (\b{eta}2 all negative, p < 0.05). The general purpose EnCodec decoder also sees similar strong synthetic responses across audio features, similar nonlinear gains for natural audio joint encoding and similar depth profiles. We find the best cross-layer cluster improves the strength (r = 0.65, p = 0.006) and prevalence (r = 0.75, p = 0.001) of BPM encoding when compared against the best whole layers within the same section, with no effect for joint encoding. These findings advance the interpretability of neural audio models and inform targeted control strategies for neural synthesis.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.07966v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.