AVMeme Exam: LLM의 맥락 및 문화적 지식과 사고력을 측정하는 멀티모달·다국어·다문화 벤치마크
AVMeme Exam: A Multimodal Multilingual Multicultural Benchmark for LLMs' Contextual and Cultural Knowledge and Thinking
인터넷 시청각(audio-visual) 클립은 시간에 따라 변화하는 소리와 움직임을 통해 의미를 전달하며, 이는 텍스트만으로 표현할 수 있는 범위를 넘어섭니다. AI 모델이 인간의 문화적 맥락에서 이러한 신호를 이해할 수 있는지 검증하기 위해, 음성, 노래, 음악, 효과음을 아우르는 1,000개 이상의 대표적인 인터넷 음향 및 비디오로 구성된 인간 큐레이션 벤치마크인 AVMeme Exam을 소개합니다. 각 밈(meme)은 표면적 내용부터 맥락과 감정, 사용법 및 세계 지식에 이르는 다양한 이해 수준을 평가하는 고유한 Q&A와 함께 원본 제작 연도, 전사본(transcript), 요약, 민감도 등의 메타데이터와 쌍을 이룹니다. 본 벤치마크를 활용하여 인간 참가자와 함께 최신 멀티모달 대규모 언어 모델(MLLM)을 체계적으로 평가했습니다. 평가 결과 일관된 한계점이 드러났습니다. 현재 모델들은 텍스트가 없는 음악 및 효과음에서 낮은 성능을 보이며, 표면적 내용에 비해 맥락과 문화 속에서 사고하는 데 어려움을 겪습니다. 이러한 결과는 인간 정렬(human-aligned) 멀티모달 지능의 주요 격차를 부각하며, 듣고 보는 것의 표면을 넘어 맥락적·문화적으로 인식할 수 있는 모델의 필요성을 시사합니다. 프로젝트 페이지: avmemeexam.github.io/public