arXiv:2611.21644v1 cs.CL

MInfoVisQA: 정보 밀집형 시각 질의응답을 위한 다국어 벤치마크

MInfoVisQA: A Multilingual Benchmark for Information-Rich Visual Question Answering

Changjiang Jiang, Jiang Zhou, Xinbin Yuan, Fan Zhang, Tao Feng, Zhuohan Xie

제출 2026-11-18

한국어 초록

멀티모달 대규모 언어 모델(MLLM)은 비전-언어 과제에서 뛰어난 성능을 보이지만, 표면 언어가 바뀔 때 정보 밀집형 시각 자료(InfoVis)에 대한 이해를 일관되게 유지하는지는 여전히 불분명하다. 이 능력을 정량화하기 위해 24개 언어에 걸친 128개의 시드 인스턴스에서 파생된 8,960개의 QA 구성으로 이루어진 병렬 벤치마크 MInfoVisQA를 소개한다. 수치·구조 데이터를 텍스트와 분리하고 번역된 레이블을 프로그램적으로 동기화하여, 시드가 일치하고 언어 간 병렬인 시각 자료와 QA 쌍을 구축한다. 25개의 MLLM을 두 가지 설정, 즉 언어 정렬 QA(LQA, 시각 자료와 텍스트의 언어가 일치)와 교차 언어 QA(XQA, QA 언어는 고정하고 시각 자료의 언어는 변화)에서 평가한다. 결과는 종합 정확도가 상당한 강건성 격차를 가린다는 점을 보여 준다. 평균 LQA 정확도가 비슷한(80.4\%) 두 모델이 언어 간에 각각 7.8 및 20.3 퍼센트 포인트의 성능 편차를 보였다. 또한 영어 QA를 고정한 상태에서 25개 모델 모두 비영어 시각 자료에서 더 낮은 점수를 기록하였으며, 이는 교차 언어 민감도 지표의 필요성을 부각한다.

원문 초록

Multimodal large language models (MLLMs) excel in vision-language tasks; yet, whether they maintain consistent understanding of information-rich visuals (InfoVis) when the surface language changes remains unclear. To quantify this capability, we introduce MInfoVisQA, a parallel benchmark with 8,960 QA configurations derived from 128 seed instances across 24 languages. We construct seed-matched, language-parallel visuals and QA pairs by disentangling numerical-structural data from text and programmatically synchronizing translated labels. We evaluate 25 MLLMs under two settings: Language-Aligned QA (LQA, matching visual-text languages) and Cross-Language QA (XQA, fixed QA language with varying visual languages). The results show that aggregate accuracy masks substantial robustness gaps: two models with comparable mean LQA accuracy (80.4\%) exhibit performance spreads of 7.8 and 20.3 percentage points across languages. Moreover, all 25 models score lower with non-English visuals under fixed English QA, underscoring the need for cross-language sensitivity metrics.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21644v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.