arXiv:2409.00919

MMT-BERT: Chord-aware Symbolic Music Generation Based on Multitrack Music Transformer and MusicBERT

Jinlong Zhu, Keigo Sakurai, Ren Togo, Takahiro Ogawa, Miki Haseyama

제출 2024-09-02

원문 초록

We propose a novel symbolic music representation and Generative Adversarial Network (GAN) framework specially designed for symbolic multitrack music generation. The main theme of symbolic music generation primarily encompasses the preprocessing of music data and the implementation of a deep learning framework. Current techniques dedicated to symbolic music generation generally encounter two significant challenges: training data's lack of information about chords and scales and the requirement of specially designed model architecture adapted to the unique format of symbolic music representation. In this paper, we solve the above problems by introducing new symbolic music representation with MusicLang chord analysis model. We propose our MMT-BERT architecture adapting to the representation. To build a robust multitrack music generator, we fine-tune a pre-trained MusicBERT model to serve as the discriminator, and incorporate relativistic standard loss. This approach, supported by the in-depth understanding of symbolic music encoded within MusicBERT, fortifies the consonance and humanity of music generated by our method. Experimental results demonstrate the effectiveness of our approach which strictly follows the state-of-the-art methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.13626v1cs.SD공통 태그 Generative Adversarial Network, Music Generation

바흐 스타일 기호 음악의 생성 모델링: 자기회귀, 잠재 변수 및 적대적 접근법에 대한 비교 연구

Generative Modeling of Bach-Style Symbolic Music: A Comparative Study of Autoregressive, Latent-Variable, and Adversarial Approaches

본 연구에서는 공통 MIDI 말뭉치와 세 가지 모델 계열, 즉 어텐션(attention)이 결합된 자기회귀 LSTM, 순환 VAE 및 벡터 양자화(quantization) VAE를 포함한 잠재 변수 모델, 그리고 적대적 생성 네트워크(GAN)를 사용하여 바흐 스타일의 기호 피아노 음악 생성 모델링을 연구합니다. 우리는 다성 음표 시퀀스를 모델링하고, 유용한 잠재 표현(latent representation)을 학습하며, 스타일적으로 일관된 악곡을 생성하는 이들의 능력을 비교합니다. 실험 결과, 어텐션이 결합된 자기회귀 LSTM이 가장 음악적으로 일관된 샘플을 생성하는 것으로 나타났습니다. 반면, 벡터 양자화는 후붕괴(posterior collapse)를 완화하여 기존 순환 VAE보다 더 구조화된 출력을 생성하는 데 기여했습니다. 적대적 접근법은 국소적인 피치(pitch) 패턴을 포착하지만, 여전히 학습이 어렵고 바흐의 스타일로의 일반화가 덜 신뢰할 수 있는 것으로 나타났습니다. 이러한 결과는 기호 음악 생성에 있어 자기회귀, 잠재 변수 및 적대적 접근법의 상대적인 강점과 실패 모드(failure modes)를 명확히 보여줍니다.

arXiv:2505.08854v2cs.CV공통 태그 Generative Adversarial Network공식 코드 · Papers with Code

자율주행을 위한 생성형 AI: 최전선과 기회

Generative AI for Autonomous Driving: Frontiers and Opportunities

생성형 인공지능(GenAI)은 콘텐츠 생성, 추론, 계획, 멀티모달 이해를 위한 비할 데 없는 역량을 통해 산업을 재편하는 변혁적인 기술 물결을 형성하고 있습니다. 이러한 혁신적인 힘은 공학 분야의 가장 큰 난제 중 하나인 신뢰할 수 있는 완전 자율주행의 달성, 특히 레벨 5 자율주행의 실현을 향한 가장 유망한 경로를 제공합니다. 본 서베이 논문은 자율주행 스택 전반에 걸친 생성형 AI의 부상하는 역할을 포괄적이고 비판적으로 종합하여 제시합니다. 먼저 VAE, GAN, 확산 모델(Diffusion Models), 대규모 언어 모델(LLM)을 아우르는 현대 생성 모델링의 원리와 트레이드오프를 정리합니다. 이어서 이미지, LiDAR, 궤적, 점유(occupancy), 비디오 생성뿐만 아니라 LLM 기반 추론 및 의사결정에서의 최전선 응용 사례를 조망합니다. 또한 합성 데이터 워크플로우, 엔드투엔드(end-to-end) 주행 전략, 고충실도 디지털 트윈 시스템, 지능형 교통 네트워크, 체화된 AI(embodied AI)로의 도메인 간 전이 등 실질적인 적용 분야를 분류합니다. 희귀 사례에 걸친 포괄적 일반화, 평가 및 안전성(safety) 검증, 예산 제약 기반 구현, 규제 준수, 윤리적 문제, 환경적 영향과 같은 주요 장애물과 가능성을 식별하는 동시에, 이론적 보증, 신뢰 메트릭, 교통 통합, 사회기술적 영향에 걸친 연구 계획을 제안합니다. 이러한 흐름을 통합함으로써, 본 서베이는 생성형 AI와 첨단 자율 이동성의 수렴을 탐색하는 연구자, 엔지니어, 정책 입안자들에게 미래지향적인 참고자료를 제공합니다. 인용된 연구들을 적극적으로 관리하는 저장소는 https://github.com/taco-group/GenAI4AD 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.