PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.12282v1cs.SD

PianoKontext: 무미건조한(deadpan) 컨텍스트로부터의 표현적 연주 렌더링

PianoKontext: Expressive Performance Rendering from Deadpan Context

표현적 연주 렌더링(EPR)은 음표 시퀀스에 제약을 두어 사실적인 연주를 생성하는 것을 목표로 합니다. 그러나 플로우 매칭(flow matching) 오디오 편집 모델은 동일한 길이의 동기화된 음악 샘플만 조작하므로, 표현적 타이밍(expressive timing)에 대한 이해가 제한됩니다. 본 논문에서는 사전 학습된(pre-trained) Music2Latent 모델의 잠재 공간(latent space)에서 가변 길이의 연주를 생성하는 클래식 피아노 음악용 플로우 매칭 렌더링 모델인 PianoKontext를 소개합니다. MIDI 악보를 무미건조한(deadpan) 오디오로 합성하고, 잠재 공간에서 동적 시간 워핑(DTW, Dynamic Time Warping)을 적용하여 학습(training)을 위한 쌍 데이터(paired data)를 구축합니다. 정렬된 임베딩(embeddings)은 DiT 블록에서 연결되어, 악보와 연주 간의 의존성을 간단하고 효과적으로 학습할 수 있게 합니다. 오디오 샘플은 저희 데모 페이지에서 확인할 수 있습니다: https://realfolkcode.github.io/pianokontext_demo/.