PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2508.13680v5cs.CL

VMMU: 베트남어 다중 과제 다중 모달 이해 및 추론 벤치마크

VMMU: A Vietnamese Multitask Multimodal Understanding and Reasoning Benchmark

본 논문은 VMMU(Vietnamese Multitask Multimodal Understanding and Reasoning Benchmark)를 소개한다. VMMU는 영어를 넘어 비전-언어 모델(VLM)이 시각 및 텍스트 정보를 해석하고 추론하는 방식을 평가하기 위해 설계된 베트남어 다중 과제 다중 모달 이해 및 추론 벤치마크이다. VMMU는 7개 과제에 걸쳐 2.5k개의 다중 모달 질문으로 구성되며, STEM 문제 해결, 데이터 해석, 규칙 기반 시각 추론, 추상적 시각 추론 등 다양한 문제 맥락을 포함한다. 모든 질문은 텍스트만의 단서나 OCR 기반 지름길에 의존하기보다 진정한 다중 모달 통합을 요구한다. VMMU에서 최신(state-of-the-art) 독점 및 오픈소스 VLM 다양한 집합을 평가하였다. 강력한 베트남어 OCR 성능에도 불구하고, 독점 모델은 평균 정확도 66%에 그쳤다. 추가 분석에 따르면 실패의 주된 원인은 OCR이 아니라 텍스트 및 시각적 증거에 대한 다중 모달 그라운딩과 추론이다. 코드와 데이터는 https://vmmu-bench.github.io/ 에서 제공된다.