SONIC-O1: 오디오-비디오 이해에 대한 멀티모달 대규모 언어 모델 평가를 위한 실제 환경 벤치마크
SONIC-O1: A Real-World Benchmark for Evaluating Multimodal Large Language Models on Audio-Video Understanding
멀티모달 대규모 언어 모델(MLLM)은 최근 AI 연구의 주요 초점이다. 그러나 대부분의 기존 연구는 정적 이미지 이해에 집중되어 있으며, 순차적인 오디오-비디오 데이터를 처리하는 능력은 아직 충분히 연구되지 않았다. 이러한 격차는 실제 환경 설정에서 MLLM 성능을 체계적으로 평가하기 위한 고품질 벤치마크의 필요성을 강조한다. 우리는 13개 실제 대화 도메인에 걸쳐 4,958개의 주석 및 인구통계학적 메타데이터를 포함하는 60시간(231개 클립) 분량의 포괄적이고 전적으로 인간 검증을 거친 벤치마크인 SONIC-O1을 소개한다. SONIC-O1은 개방형 요약, 객관식 질문(MCQ) 답변, 그리고 근거(추론)를 동반한 시간적 위치 추정(temporal localization)이라는 세 가지 능력을 평가한다. 폐쇄형 및 오픈소스 모델 전반에 걸쳐 분석한 결과, MCQ 정확도는 모델 계열 간 가장 작은 격차를 보였으나, 시간적 위치 추정에서는 최고 성능의 폐쇄형 모델이 최고 성능의 오픈소스 모델을 22.6% 앞서는 것으로 나타났다. 또한 인구통계학적 그룹 간 시간적 위치 추정에서 최대 21.4%의 정확도 격차를 관찰했으며, 이는 모델 동작에서 격차가 지속되고 있음을 나타낸다. SONIC-O1은 시간적으로 그라운딩(grounding)되고 인구통계학적으로 강건한 멀티모달 이해를 위한 공개 평가 스위트를 제공한다. SONIC-O1은 연구 목적으로 공개되어 있다: 프로젝트 페이지 (https://vectorinstitute.github.io/sonic-o1/), 데이터셋 (https://huggingface.co/datasets/vector-institute/sonic-o1), GitHub (https://github.com/vectorinstitute/sonic-o1), 리더보드 (https://huggingface.co/spaces/vector-institute/sonic-o1-leaderboard).