Jako Tako인가 유창한가? PoVisLE: 폴란드 비전-언어 평가
Jako Tako or Fluent? Presenting PoVisLE: A Polish Vision-Language Evaluation
비전-언어 모델(VLM)은 이미지 캡셔닝(image captioning), 시각적 질의응답(visual question answering), 이미지-텍스트 생성(image-to-text generation)과 같은 과제에서 강한 성능을 달성했다. 그러나 이들은 주로 영어 중심 데이터로 학습되어, 문화적으로 그라운딩(grounding)된 시각 이해를 다루는 능력이 제한되며, 지역 특유의 의미, 상징적 내용, 맥락 의존적 시각 단서 해석에서 실패로 이어진다. 기존 문화적 역량 벤치마크는 종종 템플릿 기반이며 표면 수준 인식에 초점을 맞춰, 문화적 맥락이 주어진 환경에서 더 깊은 언어적·화용론적(pragmatic) 이해를 평가하기에 불충분하다. 우리는 PoVisLE를 제안한다. 이는 폴란드어를 위한 단일 문화(monocultural) 비전-언어 벤치마크로, 언어가 시각 맥락과의 상호작용 속에서 해석되는 그라운딩된 평가 패러다임(grounded evaluation paradigm) 하에서 문화적으로 그라운딩된 멀티모달 이해를 평가하도록 설계되었다. 데이터셋은 1,117개의 이미지와 2,366개의 수동 주석 VQA 쌍을 포함한다. 전반적으로, 본 데이터셋은 표면 수준 인식을 넘어선 문화적으로 그라운딩된 비전-언어 이해를 평가하기 위한 통제되고 도전적인 자원을 제공한다.