arXiv:2608.07763v1 cs.CL

Jako Tako인가 유창한가? PoVisLE: 폴란드 비전-언어 평가

Jako Tako or Fluent? Presenting PoVisLE: A Polish Vision-Language Evaluation

Anna Kołos, Grzegorz Statkiewicz, Karolina Seweryn, Katarzyna Kowol, Karolina Piosek, Wojciech Kusa

제출 2026-08-07

한국어 초록

비전-언어 모델(VLM)은 이미지 캡셔닝(image captioning), 시각적 질의응답(visual question answering), 이미지-텍스트 생성(image-to-text generation)과 같은 과제에서 강한 성능을 달성했다. 그러나 이들은 주로 영어 중심 데이터로 학습되어, 문화적으로 그라운딩(grounding)된 시각 이해를 다루는 능력이 제한되며, 지역 특유의 의미, 상징적 내용, 맥락 의존적 시각 단서 해석에서 실패로 이어진다. 기존 문화적 역량 벤치마크는 종종 템플릿 기반이며 표면 수준 인식에 초점을 맞춰, 문화적 맥락이 주어진 환경에서 더 깊은 언어적·화용론적(pragmatic) 이해를 평가하기에 불충분하다. 우리는 PoVisLE를 제안한다. 이는 폴란드어를 위한 단일 문화(monocultural) 비전-언어 벤치마크로, 언어가 시각 맥락과의 상호작용 속에서 해석되는 그라운딩된 평가 패러다임(grounded evaluation paradigm) 하에서 문화적으로 그라운딩된 멀티모달 이해를 평가하도록 설계되었다. 데이터셋은 1,117개의 이미지와 2,366개의 수동 주석 VQA 쌍을 포함한다. 전반적으로, 본 데이터셋은 표면 수준 인식을 넘어선 문화적으로 그라운딩된 비전-언어 이해를 평가하기 위한 통제되고 도전적인 자원을 제공한다.

원문 초록

Vision-language models (VLMs) have achieved strong performance on tasks such as image captioning, visual question answering, and image-to-text generation. However, they are predominantly trained on English-centric data, which limits their ability to handle culturally grounded visual understanding and leads to failures in interpreting region-specific meanings, symbolic content, and context-dependent visual cues. Existing benchmarks for cultural competence are often template-driven and focused on surface-level recognition, making them insufficient for evaluating deeper linguistic and pragmatic understanding in culturally situated settings. We introduce PoVisLE, a monocultural vision-language benchmark for Polish designed to evaluate culturally grounded multimodal understanding under a grounded evaluation paradigm, where language is interpreted in interaction with visual context. The dataset contains 1,117 images and 2,366 manually annotated VQA pairs. Overall, our dataset provides a controlled and challenging resource for assessing culturally grounded vision-language understanding beyond surface-level recognition.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.07763v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.