인터넷 시청각(audio-visual) 클립은 시간에 따라 변화하는 소리와 움직임을 통해 의미를 전달하며, 이는 텍스트만으로 표현할 수 있는 범위를 넘어섭니다. AI 모델이 인간의 문화적 맥락에서 이러한 신호를 이해할 수 있는지 검증하기 위해, 음성, 노래, 음악, 효과음을 아우르는 1,000개 이상의 대표적인 인터넷 음향 및 비디오로 구성된 인간 큐레이션 벤치마크인 AVMeme Exam을 소개합니다. 각 밈(meme)은 표면적 내용부터 맥락과 감정, 사용법 및 세계 지식에 이르는 다양한 이해 수준을 평가하는 고유한 Q&A와 함께 원본 제작 연도, 전사본(transcript), 요약, 민감도 등의 메타데이터와 쌍을 이룹니다. 본 벤치마크를 활용하여 인간 참가자와 함께 최신 멀티모달 대규모 언어 모델(MLLM)을 체계적으로 평가했습니다. 평가 결과 일관된 한계점이 드러났습니다. 현재 모델들은 텍스트가 없는 음악 및 효과음에서 낮은 성능을 보이며, 표면적 내용에 비해 맥락과 문화 속에서 사고하는 데 어려움을 겪습니다. 이러한 결과는 인간 정렬(human-aligned) 멀티모달 지능의 주요 격차를 부각하며, 듣고 보는 것의 표면을 넘어 맥락적·문화적으로 인식할 수 있는 모델의 필요성을 시사합니다. 프로젝트 페이지: avmemeexam.github.io/public
대규모 언어 모델(LLM)은 여러 언어에서 문화 기반 질문에 답하는 데 점점 더 많이 사용되고 있지만, 현지 문화 지식에 더 잘 접근하기 위해서는 영어가 좋은지 현지 언어가 좋은지는 여전히 불분명합니다. 기존 평가는 두 가지 주요 한계에 직면해 있습니다. 많은 평가가 문화적 지식이 자연스럽게 나타나는 방식을 반영하지 못할 수 있는 병렬 템플릿 기반 질문에 의존하며, 원시 정확도는 일반적인 언어 능력과 언어 조건 지식 접근을 혼동합니다. 우리는 지역 벤치마크와 현지 소스에서 수집한 실제 문화 질문을 기반으로 구축된 통제된 프레임워크를 통해 이러한 문제를 해결합니다. 질문 유형(문화 중립적 vs 문화 특정적)과 질의 언어(영어 vs 현지 언어)를 교차 배치하고, 공유된 1PL 문항 반응 이론 모델로 능력을 추정하여 언어 능력과 현지화된 지식 접근을 분리합니다. 13개 지역과 약 80개 모델에 걸쳐, 우리는 문화 중립적 질문에서 일관된 영어 우위를 발견했으며, 이는 더 강력한 영어 능력을 나타냅니다. 그러나 이 능력 격차를 보정한 후, 현지 언어는 거의 모든 지역-모델 설정에서 긍정적인 지식 접근 이점을 보여줍니다. 이 이점은 원시 정확도에서는 종종 가려지지만, 최첨단 모델, 지역 정렬 모델 또는 언어 적응 모델에서는 더 명확하게 드러납니다. 우리의 결과는 낮은 현지 언어 성능이 반드시 낮은 문화적 지식을 의미하는 것은 아니라는 점을 시사합니다. 오히려 현지 문화 지식은 현지 언어를 통해 더 잘 접근할 수 있지만 제한된 언어 능력에 의해 가려져 있을 수 있습니다.