ImageEval 2026: 문화적으로 그라운딩된 아랍어 멀티모달 평가
ImageEval 2026: Culturally Grounded Arabic Multimodal Evaluation
한국어 초록
문화적으로 그라운딩된 아랍어 멀티모달 평가를 다루는 ImageEval 2026 공유 과제(shared task)의 개요를 소개한다. 이 과제는 두 가지 태스크로 구성된다. (i) AynVQA는 영어와 현대 표준 아랍어(MSA)를 대상으로 음성 시각 질의응답(spoken visual question answering)과 이미지 그라운딩 환각 탐지(image-grounded hallucination detection)를 다루며, (ii) CRAI-Bench는 텍스트-이미지 생성(text-to-image generation)의 문화적 정확성을 평가한다. 테스트 단계에는 총 14개 팀이 참가했으며, 이 중 12개 팀이 시스템 설명 논문을 제출했다. 참가 시스템은 제로샷 프롬프팅, 비전-언어 모델의 미세조정, 음성 인식 파이프라인, 앙상블, 점수 보정(score calibration) 등 다양한 접근법을 사용했다. 본 논문에서는 과제 설정, 데이터셋, 평가 절차, 참가 시스템을 설명하고 각 트랙별 주요 결과를 요약한다. 공유 과제의 모든 데이터셋과 평가 스크립트는 연구 커뮤니티에 공개된다. 이 공유 과제는 특히 아랍어 음성과 이미지-텍스트 추론에서 문화적으로 그라운딩된 멀티모달 평가가 지닌 어려움을 부각한다.
원문 초록
We present an overview of the ImageEval 2026 shared task on culturally grounded Arabic multimodal evaluation. It includes two tasks: (i) AynVQA, covering spoken visual question answering and image-grounded hallucination detection in English and Modern Standard Arabic (MSA), and (ii) CRAI-Bench, evaluating the cultural accuracy of text-to-image generation. A total of 14 teams participated in the test phase, with 12 teams submitting system description papers. Participating systems used a range of approaches, including zero-shot prompting, fine-tuning of vision-language models, speech-recognition pipelines, ensembling, and score calibration. We describe the task setup, datasets, evaluation procedure, and participating systems, and summarize the main results across the different tracks. All datasets and evaluation scripts from the shared task are released to the research community. The shared task highlights the challenges of culturally grounded multimodal evaluation, particularly for Arabic speech and image-text reasoning.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.30475v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.