arXiv:2608.26866v2 cs.CV

순서가 중요하다: 비전-언어 추론을 위한 중국어 다패널 밈 벤치마크

Order Matters: A Chinese Multi-Panel Meme Benchmark for Vision-Language Reasoning

Haihan Li, Haihao Li, Zhenfei Xu, Jize Qian, Yubo Xie

제출 2026-08-27

한국어 초록

많은 멀티모달 과제는 요소를 고립적으로 인식하는 것만이 아니라 시각 요소가 어떻게 순서 지어지고 구성되는지에 달려 있다. 인터넷 밈은 이 문제의 압축된 사례이다. 펀치라인은 종종 제한된 읽기 순서와 패널 간 시각-텍스트 단서에 의존한다. 대규모 비전-언어 모델(LVLM)은 단일 이미지 이해에서 강한 성능을 보이지만, 특히 중국 소셜 미디어 맥락에서 구조화된 밈 레이아웃에 대해 순서 인식(sequence-aware) 추론을 수행할 수 있는지는 여전히 불분명하다. 우리는 다섯 가지 구조 유형, 순서 의존성, 패널 순서 제약, 선택적 댓글 문맥을 포함하는 1,214개의 주석 샘플로 구성된 중국어 다패널 밈 벤치마크 CMPM을 제안한다. 2층 평가를 정식화한다. Task1은 구조 유형 분류와 순서에 민감한 패널 시퀀싱을(문맥 ablation 설정 포함) 탐색하고, Task2는 시각, 패널, 유머, 문맥, 충실성(faithfulness) 다섯 가지 1–3 리커트 차원에 대한 인간 평가로 중국어 밈 설명 생성을 평가한다. 통일된 프로토콜 하에서 다섯 개의 대표 LVLM을 벤치마킹한다. 결과는 정규 표시(canonical-display) 정확도만으로는 순서 이해의 증거가 되지 않음을 보여 준다. 주요 셔플(shuffled) 조건에서 정확도가 급격히 하락하여, 순서에 민감한 멀티모달 추론에서 지속적인 격차가 드러난다. Task2 선호도는 Gemini 3.1 Pro와 GPT-5.5를 오픈 모델보다 위에 두며, 댓글 문맥은 Core4에서 작고 혼재된 이득만 준다. 코드와 데이터는 게재 승인 후 공개될 예정이다.

원문 초록

Many multimodal tasks depend on how visual elements are ordered and composed, not only on recognizing them in isolation. Internet memes are a compact case of this problem: their punchline often depends on a constrained reading order and cross-panel visual--textual cues. While large vision-language models (LVLMs) show strong performance on single-image understanding, it remains unclear whether they can perform sequence-aware reasoning over structured meme layouts, especially in Chinese social media. We introduce CMPM, a Chinese Multi-Panel Meme benchmark with 1,214 annotated samples covering five structural types, ordering dependency, panel-order constraints, and optional comment context. We formulate a two-layer evaluation: Task1 probes structure typing and order-sensitive panel sequencing (with a context ablation setting), and Task2 evaluates Chinese meme explanation generation with human ratings on five 1-3 Likert dimensions (visual, panel, humor, context, and faithfulness). We benchmark five representative LVLMs under a unified protocol. Results indicate that canonical-display accuracy is not by itself evidence of order understanding: the primary shuffled condition produces a sharp accuracy drop, revealing a persistent gap in order-sensitive multimodal reasoning. Task2 preferences place Gemini 3.1 Pro and GPT-5.5 above the open models, while comment context yields only a small and mixed Core4 gain. Code and data will be released upon acceptance.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.26866v2제출 시각 미확인
  2. arXiv:2608.26866v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.