arXiv:2607.27637v1 cs.CV

MMOOC: 멀티모달 대규모 언어 모델의 문맥 이탈 평가를 위한 포괄적 벤치마크

MMOOC: A Comprehensive Benchmark for Out-of-Context Evaluation in Multimodal Large Language Models

Wenjie Zhu, Yabin Zhang, Wenjun Zeng, Lei Zhang

제출 2026-07-30

한국어 초록

멀티모달 대규모 언어 모델(MLLM)은 광범위한 비전-언어(vision-language) 태스크에서 뛰어난 성능을 달성했지만, 불완전하거나 변화된 문맥에서는 종종 실패합니다. 신뢰할 수 있는 MLLM은 주체 수준의 문맥 변화가 있는 진정한 문맥 이탈(out-of-context, OOC) 질문은 거절해야 하며, 비주체 문맥 변화가 있는 변화된 문맥 내(Shifted in-context, Shifted IC) 질문에는 여전히 답변할 수 있어야 합니다. 기존 벤치마크는 주로 OOC 또는 시각적으로 답변 불가능한 질문을 대상으로 하지만, 답변 가능한 Shifted IC 사례를 간과하고 제한적인 OOC 변화만을 다룹니다. 이러한 공백을 메우기 위해, 본 연구에서는 MLLM의 거절 및 강건한 답변 능력을 평가하기 위한 대규모 벤치마크인 MMOOC를 제시합니다. MMOOC는 MLLM 기반 필터링과 인간 검증을 통해 데이터 품질을 보장하며 세 가지 질문 형식, 여덟 가지 변화 유형 및 여섯 가지 시각적 시나리오에 걸쳐 답변 가능한 Shifted IC 사례와 답변 불가능한 OOC 사례를 포함하는 4만 1천 개 이상의 이미지-질문 쌍으로 구성됩니다. 모델 응답은 정확도(Accuracy)와 거절률(Refusal Rate)을 통해 평가하며, 모델 추론의 정확성을 평가하기 위해 LLM-as-a-judge 지표를 추가로 도입합니다. 다양한 MLLM을 대상으로 한 실험 결과, 현재 모델들은 변화된 문맥에서 답변 가능성과 거절 간의 균형을 유지하는 데 여전히 어려움을 겪고 있음을 보여줍니다. 나아가 주요 실패 패턴을 분석하고 사후 학습(post-training)을 통해 강건성을 향상시킬 수 있음을 입증합니다. MMOOC는 공개적으로 제공될 예정입니다.

원문 초록

Multimodal Large Language Models (MLLMs) have achieved strong performance on a wide range of vision-language tasks, but often fail under imperfect or shifted contexts. A reliable MLLM should refuse truly out-of-context (OOC) questions with subject-level context shifts while still answering shifted in-context (Shifted IC) questions with non-subject context shifts. Existing benchmarks mainly target OOC or visually unanswerable questions, but overlook answerable Shifted IC cases and cover limited OOC shifts. To fill this gap, we present MMOOC, a large-scale benchmark for evaluating refusal and robust answering abilities of MLLMs. MMOOC contains over 41K image-question pairs, including answerable Shifted IC cases and unanswerable OOC cases, spanning three question formats, eight shift types and six visual scenarios, with data quality ensured through MLLM-based filtering and human verification. We evaluate model responses using Accuracy and Refusal Rate, and further introduce an LLM-as-a-Judge metric to assess the correctness of model reasoning. Experiments on diverse MLLMs show that current models still struggle to balance answer-ability and refusal under shifted contexts. We further analyze key failure patterns and show that post-training can improve robustness. MMOOC will be made publicly available.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.27637v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.