OmniScore-Bench: 악보 읽기에 대한 비전-언어 모델 평가
OmniScore-Bench: Evaluating Vision-Language Models on Musical Score Reading
한국어 초록
비전-언어 모델(VLM)은 악보에 관한 질문에 답할 수 있으나, 기보법을 인식하고 그 구조를 복원하며 음악적 의미를 해석하는 능력은 별도의 평가가 필요하다. 기존의 광학 음악 인식(OMR) 자원은 검출과 전사에 대한 측정을 제공하지만, 전사 점수만으로는 VLM 악보 판독기의 강점과 병목을 파악할 수 없다. 본 논문은 여섯 가지 측면과 24개 과제 하위 유형에 걸친 3,000개의 질문을 통해 VLM의 OMR 능력을 평가하는 OmniScore-Bench를 소개한다. 각 질문은 가시 범위, 참조 주석, 답변 스키마를 명시하여 기호 위치 파악부터 음악적 일관성, 근거가 연결된 질의응답에 이르기까지 자동 평가를 가능하게 한다. 12개 VLM을 평가한 결과, 연산별로 능력 프로필이 다르게 나타났으며 발췌, 단일 페이지, 다중 페이지 과제에서 전사 성능이 가장 우수한 모델도 서로 달랐다. 통제된 분석을 통해 악보 이미지, 보조 정보, 추가 페이지 문맥의 역할을 살펴본다. 시험한 부분집합에서 이미지를 제거하면 음높이와 반복 기호 해석에서 시각 의존성이 드러나며, 공개 문맥만으로 성능이 얼마나 유지되는지도 측정된다. 형식 분석과 내용 분석을 분리하여 답변 형식 위반과 음악적 오류를 구분한다. OmniScore-Bench는 VLM이 어떤 악보 읽기 연산을 안정적으로 수행하고 어떤 연산에서 개선이 필요한지 진단하는 데 기여한다.
원문 초록
Vision-language models (VLMs) can answer questions about musical scores, but their ability to recognise notation, recover its structure and interpret its musical meaning requires separate evaluation. Existing optical music recognition (OMR) resources establish detection and transcription measurements; a transcription score alone leaves the strengths and bottlenecks of a VLM score reader unresolved. We introduce OmniScore-Bench, an evaluation of OMR capabilities in VLMs through 3,000 questions spanning six aspects and 24 task subtypes. Each question specifies a visible scope, reference annotations and an answer schema, enabling automatic evaluation from symbol localisation to musical consistency and evidence-linked question answering. Our assessment of twelve VLMs reveals operation-specific capability profiles and different transcription leaders across excerpt, single-page and multipage tasks. Controlled analyses examine the roles of score images, auxiliary givens and additional page context. On the tested subset, image removal exposes visual dependence in pitch and repeat interpretation while measuring how much performance remains with public context alone. Separate format and content analyses distinguish answer-format violations from musical errors. OmniScore-Bench supports diagnosing which score-reading operations VLMs perform reliably and which require improvement.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.