arXiv:2606.31338v1 cs.SD

Beyond Binary Instrument QA: Probing Instrument Grounding in Music Audio-Language Models

Yujun Lee, Joonhyeok Shin, Hyoeun Kim, Kyuhong Shim

제출 2026-06-30

원문 초록

Recent music audio-language models achieve high accuracy on instrument question-answering benchmarks, but it remains unclear whether this reflects robust audio grounding or benchmark-specific shortcuts. In this paper, we introduce an OpenMIC-derived diagnostic benchmark sequence for instrument grounding in music audio-language models, extending binary instrument-presence QA to genre-prior-reduced examples, confusable instrument discrimination, longer audio context, and temporal localization. Across these settings, high binary QA accuracy often fails to predict model behavior: models can exhibit option-position bias, confusable-instrument errors, and temporal response bias. These results suggest that instrument grounding should be evaluated with multi-axis diagnostic benchmarks rather than a single aggregate accuracy.

요약

음악 오디오-언어 모델이 이진(binary) 악기 존재 여부 QA에서 높은 정확도를 달성하더라도 이것이 실제 오디오 그라운딩을 반영하는지 불분명하다는 문제를 지적하며, OpenMIC-2018 기반의 다축(multi-axis) 진단 벤치마크 시퀀스(장르 사전 축소, 혼동 악기 식별, 긴 컨텍스트 다중 레이블 인식, 시간적 로컬라이제이션)를 구축해 평가했다. 실험 결과, 이진 QA 정확도가 높은 모델들도 선택지 위치 편향(option-position bias), 악기 혼동 오류, 시간적 응답 편향 등 다양한 실패 패턴을 보였으며, 단일 집계 정확도 대신 다축 진단 벤치마크로 평가해야 함을 시사한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.31338v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00224v2cs.AI공통 태그 Question Answering, Benchmarking

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2610.01780v3cs.AI공통 태그 Question Answering, Benchmarking

RealCompanion: 장기적 실제 대화 추론을 통한 인간 이해 벤치마킹

RealCompanion: Benchmarking Human Understanding from Reasoning over Longitudinal Real-World Conversations

수개월 동안 대화를 나누는 AI 컴패니언은 상대를 이해할 수 있어야 합니다. 상대가 누구인지 알고, 그들이 한 말을 기억하며, 과거의 내용이 현재 중요한 순간을 인식할 수 있어야 합니다. 이를 평가하기 위해서는 실제 대화가 필요하지만, 실제 대화는 사적인 영역이므로 기존 벤치마크들은 가상의 인물과 가상의 질문을 사용해 왔습니다. 본 연구에서는 실제 사람들과 AI 컴패니언 간의 10가지 실제 관계를 바탕으로, 최대 120일에 걸친 27,218개의 메시지를 담은 RealCompanion을 공개합니다. 각 인물에 대해 전체 대화, 프로필, 페르소나, 채팅 테스트 항목, 질문 테스트 항목을 제공합니다. 모든 라벨은 이를 뒷받침하는 메시지를 가리키며, 모든 채팅 라벨에는 이를 도출한 추론 과정이 함께 제공됩니다. 실제 데이터는 세 가지 사실을 보여줍니다. 첫째, 사람들은 과거를 직접 언급하는 경우가 드뭅니다. 이전 발언에 의존하는 메시지는 전체의 3.4%에 불과하며, 의존하더라도 해당 이전 메시지는 대개 매우 먼 시점(중앙값 기준 2,157개 이전 메시지)에 위치합니다. 평균치는 이러한 사실을 가립니다. 가장 최근 메시지만을 살피면 전체적으로는 필요한 메시지를 95.9% 찾아내지만, 과거 멀리 떨어진 메시지의 경우에는 2.2%에 불과합니다. 둘째, AI 시스템은 과거가 중요한 시점을 구분하지 못합니다. 테스트된 탐지기들은 실제 메시지에서 무작위 확률 수준을 간신히 넘겼으며, 동일한 이전 메시지에 '이전 메시지' 대신 '기억'이라는 라벨이 붙으면 모델은 과거 정보가 전혀 필요하지 않은 상황에서도 과거를 10~14%포인트 더 자주 언급했습니다. 셋째, AI 시스템은 상대방이 드러낸 것 이상으로 과도하게 해석합니다. 세 가지 에이전트(agent) 시스템은 각 페르소나를 동등한 수준(F1 0.71)으로 재구성하지만, 상대방을 파악한 뒤 그 이상을 상상해 냅니다. 한 사람을 이해하는 것은 그들의 과거가 언제 중요한지, 그리고 그들이 공유한 내용의 경계가 어디까지인지를 아는 것에 달려 있으며, 이는 오직 실제 대화를 통해서만 평가할 수 있습니다.

arXiv:2610.10663v1cs.SD공통 태그 Benchmarking, audio-language model

BEANS-Next 및 ROOTS: 생체음향학을 위한 오디오-언어 기능의 확장

BEANS-Next and ROOTS: Broadening Audio-Language Capabilities for Bioacoustics

생체음향학(bioacoustics)과 행동학(ethology)은 광범위한 오디오 이해 과제를 포괄하며, 이들 중 다수는 대규모 오디오-언어 모델의 최근 발전으로부터 혜택을 받을 수 있습니다. 그러나 지금까지 이 분야의 발전은 종 및 울음소리 유형 분류와 같이 라벨 중심의 생물학적 범주 인식에 주로 초점을 맞춘 좁은 범위의 과제에서만 평가되어 왔습니다. 본 연구에서는 음향 인지, 생물학적 범주 인식, 장면 이해, 문맥 내 학습(ICL)에 걸친 생체음향학 과제 분류 체계에 기반한 벤치마크인 BEANS-Next를 소개합니다. BEANS-Next를 통해 기존 모델들이 기존 평가에서 강조된 과제군을 벗어나면 제한적인 성능을 보이며, 이로 인해 더 폭넓은 생체음향학 응용 분야에서의 유용성이 제약된다는 점을 보여줍니다. 이러한 더 넓은 과제 영역에서의 발전을 지원하기 위해, 확장 큐레이션된 실제 데이터와 이전에 충분히 활용되지 않았던 행동 및 음향 메타데이터를 기반으로 구축되고, 라벨링이 불충분한 경우 오디오 파생 정보 및 확장 가능한 합성 생성으로 보완된 대규모 학습(training) 자원인 ROOTS를 함께 소개합니다. 이 데이터셋(dataset)으로 학습하면 BEANS-Next의 모든 과제 그룹에 걸쳐 상당한 진전이 이루어져, 오디오-언어 모델이 생체음향학 및 행동학을 위한 범용 보조 도구로서의 잠재력에 한층 더 다가설 수 있음을 입증합니다. 해당 분야의 발전을 가속화하기 위해 벤치마크, 데이터셋, 데이터 파이프라인을 오픈 소스로 공개합니다.

arXiv:2610.03020v1cs.AI공통 태그 Question Answering, Benchmarking

DyadMem: 에이전트와 사용자의 상호작용 방식을 평가하는 장기 기억 벤치마크

DyadMem: A Long-Term Memory Benchmark of How Agents Work with Users

장기 에이전트(agent)는 사용자에 대한 사실뿐만 아니라 공유된 히스토리가 발전함에 따라 특정 에이전트가 해당 사용자와 어떻게 상호작용해야 하는지도 기억해야 합니다. 기존 벤치마크는 주로 사용자의 사실 및 선호도나 여러 사용자 간에 재사용 가능한 경험만을 감독하여, 이러한 관계 특정적 에이전트 메모리를 암묵적인 상태로 남겨두었습니다. 또한, 대부분의 이전 연구는 긴 상호작용 기록에 대한 최종 답변 질의응답(QA)만으로 모델을 측정하므로 평가가 여전히 불완전하고 신뢰하기 어렵습니다. 이를 위해 본 논문에서는 새롭게 정의한 사용자 조건부 관계형 에이전트 메모리(URAM)와 함께 DyadMem을 소개합니다. DyadMem은 동일한 다중 세션 궤적을 따라 사용자 측 메모리와 URAM을 공동으로 주석 처리하여 6가지 메모리 범주를 구성합니다. 요약하자면, 본 벤치마크는 3,065개의 에피소드, 50,961개의 세션, 61,210개의 QA 인스턴스를 포함하며, 광범위한 세션 수준의 수집(Capture) 및 업데이트(Update) 골드 주석, 쿼리 수준의 리콜(Recall) 지원, 그리고 골드 메모리(Gold-Memory)와 전체 파이프라인(Full-Pipeline)이라는 두 가지 QA 설정을 제공합니다. 16개의 공개 가중치(weight) 모델과 4개의 독점 모델 전반에서 골드 메모리 QA는 일관되게 강력한 성능을 보였으나, 전체 파이프라인 QA는 급격히 하락했습니다. 이러한 격차는 본 연구의 세분화된 평가 설계를 명확히 뒷받침합니다. 또한, 여러 정량적 결과는 프론티어 대규모 언어 모델(LLM)에서도 낮은 수집 재현율(recall), 불완전한 검색(Recall), 안전하지 않은 삭제 문제가 발생함을 추가로 보여줍니다. 나아가 엄격한 실험을 수행하여 URAM의 효과를 검증했으며 20개 모델 모두에서 긍정적인 효과를 관찰했습니다. 요약하자면, DyadMem은 해당 분야의 발전을 위해 광범위한 주석 작업을 거친 이중 도메인, 전체 파이프라인 메모리 벤치마크입니다.

arXiv:2610.03574v1cs.AI공통 태그 Question Answering, Benchmarking

HyperBrowseComp: 웹 브라우징 에이전트를 위한 다국어 및 멀티모달 스트레스 테스트

HyperBrowseComp: A Multilingual and Multimodal Stress Test for Web-Browsing Agents

본 논문에서는 모국어 화자 또는 높은 숙련도를 갖춘 화자가 작성하고 사람이 검증한 13개 언어에 걸친 423개의 수작업 질문으로 구성된 다국어 및 멀티모달 브라우징 벤치마크인 HyperBrowseComp를 소개합니다. 질문들은 극도로 어렵게 설계되었습니다. 각 질문은 모호한 증거 탐색, 다단계 단서 추적, 또는 비디오, 스캔 문서, 이미지, 지도와 같은 이종 출처 조사를 거쳐야만 발견할 수 있는 간결하고 공개적으로 검증 가능한 정답을 목표로 합니다. 파라메트릭 지식(parametric knowledge)만으로 답변될 가능도를 낮추기 위해, 인터넷 접속이 불가능한 모델로 평가하여 더 쉬운 질문들을 걸러냈습니다. 저자들은 공통 에이전트 프로토콜 하에서 제공자 네이티브 검색 및 공유된 외부 검색 하네스를 사용하여 여러 모델을 평가합니다. 모델의 성능과 노력을 맥락화하기 위해 질문 표본에 대한 인간 평가도 수행합니다. HyperBrowseComp는 개방형 웹에서 증거를 발견하고 연결하는 과정에서 발생하는 난이도를 바탕으로, 언어와 증거 양식 전반에 걸친 지속적인 정보 탐색을 위한 도전적인 테스트베드를 제공합니다.

arXiv:2610.03639v1cs.AI공통 태그 Question Answering, Benchmarking

대규모 언어 모델은 콜롬비아 법률을 알고 있는가? 콜롬비아 법률 체계를 위한 신뢰성 벤치마크

Do Large Language Models Know Colombian Law? A Reliability Benchmark for the Colombian Legal System

대규모 언어 모델(LLM)은 법률 실무, 교육, 연구를 지원하는 데 점점 더 많이 활용되고 있지만, 미국 이외의 국가 법률 체계에서 이들의 신뢰성은 대부분 문서화되지 않은 상태로 남아 있습니다. 본 연구에서는 콜롬비아 법률 체계에 대한 LLM 신뢰성을 평가하기 위한 전문가 검증 벤치마크를 소개합니다. 이 벤치마크는 다단계 전문가 검토를 거친 인간 참여형(human-in-the-loop) 파이프라인을 통해 구축되었으며, 10개 법률 분야와 3가지 질문 형식(폐쇄형 객관식, 반개방형, 개방형 IRAC)에 걸친 1,042개 문항으로 구성됩니다. 우리는 형식에 적합한 지표를 사용하여 15개의 최신 상용 및 공개 가중치(open-weight) 모델을 평가합니다. 폐쇄형 질문의 정확도는 0.905(Gemini 3.1 Pro)부터 0.577까지 큰 폭의 차이를 보였으나, 자유 서술형 법률 답변의 경우 모든 모델에서 사실적 정확성이 0.45(0-1 척도 기준)를 넘지 못했습니다. 우리는 답변 관련성과 정확성 사이의 괴리(Spearman rho = -0.46)를 발견했습니다. 즉, 모델들은 질문에 부합하게 그럴듯하게 응답하면서도 실제로는 틀리는 경우가 잦았으며, 이는 특히 비전문가 사용자에게 우려되는 패턴입니다. 폐쇄형 질문 정확도와 자유 서술형 정확도는 순위 상관관계가 매우 높아(rho = 0.94), 비용이 적게 드는 객관식 스크리닝으로 모델 순위를 예측할 수는 있지만 절대적인 신뢰성은 과대평가되는 것으로 나타났습니다. 루브릭 기반의 독립적인 LLM 판정관과 블라인드 인간 전문가 점수 산정 모두 자유 서술형 순위를 재현했습니다(rho >= 0.88). 판정관 분석 결과, 모델이 인용한 법규범 중 약 절반만이 정확했으며 나머지는 부정확하거나 존재하지 않는 것으로 추가 확인되었습니다. 신뢰성은 법률 분야에 따라 체계적으로 차이를 보였으며 질문 복잡도에 따라 역U자형(inverted-U) 추세를 따랐습니다. 본 연구 결과는 현재의 LLM이 콜롬비아 법률 업무에 활용되려면 전문가의 감독이 필요하며, 권위 있는 출처에 답변을 그라운딩(grounding)하는 것이 신뢰성을 높이기 위한 유망한 방안임을 보여줍니다. 재현 가능한 평가를 지원하기 위해 벤치마크 구축 파이프라인을 공개합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.