arXiv:2601.17645v2 cs.SD

AVMeme Exam: LLM의 맥락 및 문화적 지식과 사고력을 측정하는 멀티모달·다국어·다문화 벤치마크

AVMeme Exam: A Multimodal Multilingual Multicultural Benchmark for LLMs' Contextual and Cultural Knowledge and Thinking

Xilin Jiang, Qiaolin Wang, Junkai Wu, Xiaomin He, Zhongweiyang Xu, Yinghao Ma, Minshuo Piao, Kaiyi Yang, Xiuwen Zheng, Riki Shimizu, Yicong Chen, Arsalan Firoozi, Gavin Mischler, Sukru Samet Dindar, Richard Antonello 외 18명

제출 2026-01-25

저자 비고

arXiv Comments

Accepted by COLM 2026; avmemeexam.github.io/public

한국어 초록

인터넷 시청각(audio-visual) 클립은 시간에 따라 변화하는 소리와 움직임을 통해 의미를 전달하며, 이는 텍스트만으로 표현할 수 있는 범위를 넘어섭니다. AI 모델이 인간의 문화적 맥락에서 이러한 신호를 이해할 수 있는지 검증하기 위해, 음성, 노래, 음악, 효과음을 아우르는 1,000개 이상의 대표적인 인터넷 음향 및 비디오로 구성된 인간 큐레이션 벤치마크인 AVMeme Exam을 소개합니다. 각 밈(meme)은 표면적 내용부터 맥락과 감정, 사용법 및 세계 지식에 이르는 다양한 이해 수준을 평가하는 고유한 Q&A와 함께 원본 제작 연도, 전사본(transcript), 요약, 민감도 등의 메타데이터와 쌍을 이룹니다. 본 벤치마크를 활용하여 인간 참가자와 함께 최신 멀티모달 대규모 언어 모델(MLLM)을 체계적으로 평가했습니다. 평가 결과 일관된 한계점이 드러났습니다. 현재 모델들은 텍스트가 없는 음악 및 효과음에서 낮은 성능을 보이며, 표면적 내용에 비해 맥락과 문화 속에서 사고하는 데 어려움을 겪습니다. 이러한 결과는 인간 정렬(human-aligned) 멀티모달 지능의 주요 격차를 부각하며, 듣고 보는 것의 표면을 넘어 맥락적·문화적으로 인식할 수 있는 모델의 필요성을 시사합니다. 프로젝트 페이지: avmemeexam.github.io/public

원문 초록

Internet audio-visual clips convey meaning through time-varying sound and motion, which extend beyond what text alone can represent. To examine whether AI models can understand such signals in human cultural contexts, we introduce AVMeme Exam, a human-curated benchmark of over one thousand iconic Internet sounds and videos spanning speech, songs, music, and sound effects. Each meme is paired with a unique Q&A assessing levels of understanding from surface content to context and emotion to usage and world knowledge, along with metadata such as original year, transcript, summary, and sensitivity. We systematically evaluate state-of-the-art multimodal large language models (MLLMs) alongside human participants using this benchmark. Our results reveal a consistent limitation: current models perform poorly on textless music and sound effects, and struggle to think in context and in culture compared to surface content. These findings highlight a key gap in human-aligned multimodal intelligence and call for models that can perceive contextually and culturally beyond the surface of what they hear and see. Project page: avmemeexam.github.io/public

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2601.17645v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03099v1cs.CV공통 태그 Question Answering, Benchmarking, Video Understanding

단일 비디오를 넘어서: 전자상거래 교차 비디오 추론을 위한 벤치마킹 및 능동적 증거 탐색

Beyond Single Videos: Benchmarking and Active Evidence Seeking for E-Commerce Cross-Video Reasoning

전자상거래 비디오는 정보 밀도가 높으며, 제품을 평가하는 소비자와 마케팅 전략을 평가하는 판매자에 의해 빈번하게 비교됩니다. 그러나 기존의 멀티모달 모델은 주로 단일 비디오 이해에 초점을 맞추고 있어 비디오 전반에 걸친 정보를 비교하는 능력이 제한적입니다. 본 논문에서는 6가지 추론 차원에 걸쳐 2,483개의 비디오와 6,110개의 질문-답변 쌍을 포함하는 최초의 전자상거래 교차 비디오 추론(cross-video reasoning) 벤치마크인 AdsCVR을 소개합니다. 교차 비디오 추론을 수행하려면 모델이 수많은 중복 프레임 사이에서 세밀한 증거를 찾아내고 시각적 세부 사항, 음성, 화면 텍스트를 통합해야 합니다. 이에 따라 저자들은 정적 균일 샘플링을 능동적 증거 수집으로 대체하여 다중 턴 탐험(exploration) 과정에서 시각 및 음향 도구를 동적으로 선택하는 에이전트 프레임워크인 AdSeek을 제안합니다. 강화학습(reinforcement learning, RL)의 희소한 신용 할당(sparse credit assignment) 문제를 해결하기 위해, RL로 생성된 궤적에서 추론 오류와 누락된 멀티모달 증거를 식별하는 오프라인 궤적 교정 메커니즘을 개발했습니다. 교정된 궤적은 RL 과정에서 학습된 편향을 줄이는 지도 미세조정(supervised fine-tuning) 신호를 제공합니다. 이 메커니즘은 초기 RL이 추론 병목을 드러내고, 지도 미세조정이 이를 수정하며, 최종 RL 단계가 정책을 더욱 향상시키는 교정 기반 부트스트래핑 파이프라인을 지원합니다. AdSeek은 AdsCVR 테스트 분할에서 74.30%의 정확도를 달성하여 백본인 Qwen3-VL-8B-Instruct 대비 27.90%p 뛰어난 성능을 보였습니다. 또한 오픈 도메인 CrossVid 벤치마크에도 일반화되어 효과적인 능동적 증거 수집 능력을 입증했습니다.

arXiv:2610.00224v2cs.AI공통 태그 Question Answering, Benchmarking

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2610.02946v2cs.CV공통 태그 Benchmarking, Video Understanding

아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토

When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation

복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.

arXiv:2610.15722v1cs.CV공통 태그 Benchmarking, Video Understanding

PhySimCode: 물리 비디오-코드 생성을 위한 벤치마크 및 평가 방법

PhySimCode: A Benchmark and Evaluation Method for Physics Video to Code Generation

멀티모달 대규모 언어 모델(MLLM)은 비디오 이해와 코드 생성에 뛰어나지만, 비디오에 내재된 물리 법칙을 복원할 수 있는지는 명확하지 않다. 이는 비디오를 실행 가능한 시뮬레이션으로 변환하고 로보틱스에서 구조화된 물리적 감독(supervision)을 제공하는 데 필수적인 능력이다. 모션 비디오에 대한 캡션 생성이 모델이 그 지배 역학(governing dynamics)을 추론했거나, 정량적 매개변수를 추정했거나, 코드로부터 관찰된 장면을 재생성할 수 있음을 의미하지는 않는다. 기존 비디오-물리 벤치마크는 타당성(plausibility), 속성 추정, 미래 상태 예측을 평가하지만, 모델이 시각적 역학을 실행 가능한 시뮬레이션 코드로 변환할 수 있는지에 대해서는 제한적인 통찰만 제공한다. 우리는 물리 비디오-코드 생성을 위한 벤치마크인 PhySimCode를 소개한다: 원본 비디오만 주어졌을 때, 모델은 관련 물리를 추론하고, 매개변수 값을 복원하며, 입력 비디오를 재현하는 실행 가능한 Python 코드를 생성해야 한다. 이 데이터셋은 해석적(analytic) SciPy 시뮬레이션과 PyBullet으로 렌더링된 강체(rigid-body), 관절체(articulated), 유체(fluid), 접촉이 많은(contact-rich) 장면에 걸친 162개의 물리 현상을 다루는 160.6K개의 절차적으로 생성된 샘플을 포함한다. 각 샘플은 시뮬레이션 코드, 물리적 매개변수, 렌더링된 비디오, 그리고 관찰(observations), 법칙(laws), 상미분방정식(ODE), 수치 방법(numerical methods), 검증(validation) 검사를 다루는 구조화된 사고의 연쇄(chain-of-thought)를 함께 제공한다. 우리는 물리 법칙의 정확성, 시뮬레이션 동등성, 코드 실행 가능성, 매개변수 복원 측면에서 10개의 최신 비공개 및 공개 소스 MLLM을 평가한다. 모델들은 물리 법칙을 안정적으로 서술하지만(5점 만점에 4.27-4.93점), 비디오로부터 이를 추론하는 데에는 5점 만점에 1.51-2.47점만을 기록했으며, 최고 성능 시스템(Claude Sonnet 4.6)도 실제값(ground-truth) 매개변수의 ±20% 이내로 복원한 비율은 7.7%에 불과해, 비디오-시뮬레이션 간의 상당한 격차를 드러냈다. 2,430개 비디오로 구성된 평가 세트는 https://huggingface.co/datasets/SourajaKundu123/PhySimCode 에서, 평가 코드는 https://github.com/SourajaKundu/PhySimCode 에서 확인할 수 있다.

arXiv:2610.01780v3cs.AI공통 태그 Question Answering, Benchmarking

RealCompanion: 장기적 실제 대화 추론을 통한 인간 이해 벤치마킹

RealCompanion: Benchmarking Human Understanding from Reasoning over Longitudinal Real-World Conversations

수개월 동안 대화를 나누는 AI 컴패니언은 상대를 이해할 수 있어야 합니다. 상대가 누구인지 알고, 그들이 한 말을 기억하며, 과거의 내용이 현재 중요한 순간을 인식할 수 있어야 합니다. 이를 평가하기 위해서는 실제 대화가 필요하지만, 실제 대화는 사적인 영역이므로 기존 벤치마크들은 가상의 인물과 가상의 질문을 사용해 왔습니다. 본 연구에서는 실제 사람들과 AI 컴패니언 간의 10가지 실제 관계를 바탕으로, 최대 120일에 걸친 27,218개의 메시지를 담은 RealCompanion을 공개합니다. 각 인물에 대해 전체 대화, 프로필, 페르소나, 채팅 테스트 항목, 질문 테스트 항목을 제공합니다. 모든 라벨은 이를 뒷받침하는 메시지를 가리키며, 모든 채팅 라벨에는 이를 도출한 추론 과정이 함께 제공됩니다. 실제 데이터는 세 가지 사실을 보여줍니다. 첫째, 사람들은 과거를 직접 언급하는 경우가 드뭅니다. 이전 발언에 의존하는 메시지는 전체의 3.4%에 불과하며, 의존하더라도 해당 이전 메시지는 대개 매우 먼 시점(중앙값 기준 2,157개 이전 메시지)에 위치합니다. 평균치는 이러한 사실을 가립니다. 가장 최근 메시지만을 살피면 전체적으로는 필요한 메시지를 95.9% 찾아내지만, 과거 멀리 떨어진 메시지의 경우에는 2.2%에 불과합니다. 둘째, AI 시스템은 과거가 중요한 시점을 구분하지 못합니다. 테스트된 탐지기들은 실제 메시지에서 무작위 확률 수준을 간신히 넘겼으며, 동일한 이전 메시지에 '이전 메시지' 대신 '기억'이라는 라벨이 붙으면 모델은 과거 정보가 전혀 필요하지 않은 상황에서도 과거를 10~14%포인트 더 자주 언급했습니다. 셋째, AI 시스템은 상대방이 드러낸 것 이상으로 과도하게 해석합니다. 세 가지 에이전트(agent) 시스템은 각 페르소나를 동등한 수준(F1 0.71)으로 재구성하지만, 상대방을 파악한 뒤 그 이상을 상상해 냅니다. 한 사람을 이해하는 것은 그들의 과거가 언제 중요한지, 그리고 그들이 공유한 내용의 경계가 어디까지인지를 아는 것에 달려 있으며, 이는 오직 실제 대화를 통해서만 평가할 수 있습니다.

arXiv:2610.10624v1cs.SD공통 태그 Benchmarking, audio-visual understanding

SAVU-BENCH: 공간 시청각 이해를 위한 실제 환경 벤치마크

SAVU-BENCH: A Real-World Benchmark for Spatial Audio-Visual Understanding

공간 시청각 이해(Spatial audio-visual understanding)는 모델이 무엇이 존재하는지뿐만 아니라 이벤트가 어디에서 발생하고 양상(modality) 간에 어떻게 연관되는지 인식할 것을 요구합니다. 기존 벤치마크는 시뮬레이션된 장면에 의존하거나 고립된 공간 기술만을 평가하며, 실패 모드에 대한 제한적인 진단적 통찰만을 제공하는 경우가 많습니다. 본 논문에서는 3가지 능력 수준과 7가지 평가 과제에 걸쳐 공간 시청각 이해를 체계적으로 평가하는 실제 환경 벤치마크인 SAVU-Bench를 소개합니다. 나아가 추론 질문을 필수 선행 과제인 그라운딩(grounding) 및 정렬(alignment) 하위 과제로 분해하는 장면 연계 진단 세트인 SAVU-Diag를 제시합니다. SAVU-Bench에서 12개의 대표 모델을 평가한 결과, 시각적 공간 그라운딩은 비교적 성숙한 반면 오디오와 관련된 공간 지각은 여전히 주요 병목 현상으로 남아 있음을 확인했습니다. SAVU-Diag는 대부분의 추론 오류가 이러한 선행 과제의 실패와 함께 발생하지만, 선행 과제가 올바르게 해결되더라도 추론 격차가 여전히 지속됨을 추가로 보여줍니다. 이러한 발견에 착안하여, 공간적 단서를 더욱 명시적으로 만들어 주는 학습(training) 없는 증거 증강 기준선(baseline)인 SAVU-EA를 소개합니다. SAVU-EA는 공간 그라운딩과 결합 매칭을 크게 향상시키지만, 고차원적 공간 추론은 여전히 어려운 과제로 남아 있습니다. 본 연구의 결과는 강건한 공간 오디오 지각과 교차 양상 공간 관계의 더 깊은 통합이 시급함을 강조합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.