arXiv:2611.21809v1 cs.SD

생성적 심리측정을 통한 음악 생성 모델 평가의 평가

Evaluating the Evaluation of Music Generation Models with Generative Psychometrics

Jo\~ao Carlos Santana Silveira, Caio Von Rondow Morais, Frederico Pedrosa, Lucas N. Ferreira

제출 2026-11-18

한국어 초록

주관적 사용자 연구는 음악 생성 모델을 평가하는 주요 방법 중 하나이다. 그러나 주관적 평가 프로토콜은 매우 다양하며 재현할 수 있을 만큼 상세히 기술되는 경우가 드물어 연구 간 비교를 저해한다. 본 논문에서는 2020~2025년 ISMIR 음악 생성 논문의 주관적 평가 방법을 정리하고, 생성적 심리측정을 적용하여 그 문항들의 안정성을 평가한다. 우리는 논문의 방법론 서술에서 284개 문항을 추출하며, LLM과 수동 검증을 사용하여 이를 표준화한다. 이 문항들을 문맥적 임베딩으로 표현하고, Unique Variable Analysis를 적용하여 중복되고 국소적으로 의존적인 문항을 제거하며, Bootstrap Exploratory Graph Analysis로 잠재 차원을 추정한다. 결과는 네트워크가 리듬, 멜로디, 오디오, 작곡, 구조, 가사라는 여섯 가지 안정적인 품질 차원의 분류 체계로 수렴함을 보여 주며, 이는 음악 생성 모델을 평가하는 사용자 연구를 수행하기 위한 통합된 방법론을 시사한다.

원문 초록

Subjective user studies are one of the major methods for evaluating music generation models. However, subjective evaluation protocols vary widely and are rarely specified in enough detail to be reproduced, hindering comparison across studies. In this paper, we map subjective evaluation methods in ISMIR music generation papers from 2020-2025 and apply generative psychometrics to assess the stability of their items. We extract 284 items from the papers' methodological descriptions, using an LLM and manual validation to standardize them. We represent these items as contextual embeddings and apply Unique Variable Analysis to remove redundant, locally dependent items and Bootstrap Exploratory Graph Analysis to estimate their latent dimensions. Results show the network converges onto a taxonomy of six stable quality dimensions: Rhythm, Melody, Audio, Composition, Structure, and Lyrics, pointing to a unified methodology for conducting user studies to evaluate music generation models.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21809v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.