바흐 스타일 기호 음악의 생성 모델링: 자기회귀, 잠재 변수 및 적대적 접근법에 대한 비교 연구
Generative Modeling of Bach-Style Symbolic Music: A Comparative Study of Autoregressive, Latent-Variable, and Adversarial Approaches
한국어 초록
본 연구에서는 공통 MIDI 말뭉치와 세 가지 모델 계열, 즉 어텐션(attention)이 결합된 자기회귀 LSTM, 순환 VAE 및 벡터 양자화(quantization) VAE를 포함한 잠재 변수 모델, 그리고 적대적 생성 네트워크(GAN)를 사용하여 바흐 스타일의 기호 피아노 음악 생성 모델링을 연구합니다. 우리는 다성 음표 시퀀스를 모델링하고, 유용한 잠재 표현(latent representation)을 학습하며, 스타일적으로 일관된 악곡을 생성하는 이들의 능력을 비교합니다. 실험 결과, 어텐션이 결합된 자기회귀 LSTM이 가장 음악적으로 일관된 샘플을 생성하는 것으로 나타났습니다. 반면, 벡터 양자화는 후붕괴(posterior collapse)를 완화하여 기존 순환 VAE보다 더 구조화된 출력을 생성하는 데 기여했습니다. 적대적 접근법은 국소적인 피치(pitch) 패턴을 포착하지만, 여전히 학습이 어렵고 바흐의 스타일로의 일반화가 덜 신뢰할 수 있는 것으로 나타났습니다. 이러한 결과는 기호 음악 생성에 있어 자기회귀, 잠재 변수 및 적대적 접근법의 상대적인 강점과 실패 모드(failure modes)를 명확히 보여줍니다.
원문 초록
We study generative modeling of Bach-style symbolic piano music using a shared MIDI corpus and three model families: autoregressive LSTMs with attention, latent-variable models including recurrent VAEs and vector-quantized VAEs, and generative adversarial networks. We compare their ability to model polyphonic note sequences, learn useful latent representations, and generate stylistically coherent compositions. Our experiments show that the autoregressive LSTM with attention produces the most musically coherent samples, while vector quantization helps mitigate posterior collapse and yields more structured outputs than conventional recurrent VAEs. The adversarial approach captures local pitch patterns but remains difficult to train and generalizes less reliably to Bach's style. These results highlight the relative strengths and failure modes of autoregressive, latent-variable, and adversarial approaches for symbolic music generation.
요약
바흐 스타일의 기호 음악 생성을 위해 자기회귀 LSTM, 잠재 변수 모델, 적대적 생성 네트워크(GAN)를 비교한 결과, 어텐션이 포함된 자기회귀 LSTM이 가장 음악적으로 일관된 샘플을 생성했다. 벡터 양자화는 순환 VAE의 후붕괴를 완화하여 구조화된 출력을 생성하는 데 도움을 준 반면, GAN은 학습이 어렵고 바흐 스타일로의 일반화가 덜 안정적인 것으로 나타났다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.13626v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화
Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction
이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.
이진 양자화 신경망 학습은 입력 및 출력 차원으로 매개변수화할 때 W[1]-난해하다
Binary Quantized Neural Network Training Is W[1]-Hard Parameterized by Input and Output Dimensions
Deep Gaussian Processes on Directed Acyclic Graphs
GaugeQuant: LLM 대칭성으로부터 양자화 최적 기저의 온라인 학습
GaugeQuant: Online Learning of Quantization-Optimal Bases from LLM Symmetries
O\'ido: Real-Time Open-Vocabulary Speech Recognition on a $5 Microcontroller without a Neural Accelerator
토론
이 논문과 연결된 포럼 글이 아직 없습니다.