arXiv:2608.30270v1 cs.CL

분위기를 읽고, 이미지를 읽다: 멀티모달 시각적 문맥에서의 간접 화행 이해

Read the Room, Read the Image: Understanding Indirect Speech Acts in Multimodal Visual Contexts

Jaehee Kim, Ji Hoon Chung, Seoyoon Park, Unsol Kim, Kyungwon Park, Ji Hak Kim, Yi-Jun Chen, Hansaem Kim

제출 2026-08-31

한국어 초록

지시적 의도는 표면적 형태만으로는 추론할 수 없기 때문에, 간접 화행(ISA)은 문맥에 대한 화용론적 추론을 필요로 한다. 이전의 텍스트 기반 연구와 기존 멀티모달 벤치마크는 이러한 요구사항을 대체로 간과하고 명시적으로 인코딩된 문맥이나 지각적 인식에만 집중하여, 특히 한국어와 같은 고맥락 언어에서 문맥 의존적인 화용론적 이해를 충분히 탐구하지 못했다. 우리는 시각적 문맥과 대화에 대한 통합적 추론을 통해 간접 화행 이해 능력을 평가하기 위한 멀티모달 벤치마크인 READI를 소개한다. READI는 화용론 이론에 기반하여 단계별 간접성을 모델링하고, 이 과제를 시각 기반 화용론적 질의응답(V-PQA)으로 정형화하여 영어와 한국어에 걸친 교차 언어 평가를 지원한다. 실험 결과에 따르면 최첨단 멀티모달 모델조차 시각적으로 그라운딩된 간접 화행을 처리하는 데 어려움을 겪으며, 간접성이 증가할수록 성능이 저하되는 것으로 나타나 문맥적 화용론 추론을 명시적으로 겨냥한 벤치마크의 필요성을 강조한다.

원문 초록

Indirect speech acts (ISAs) require pragmatic reasoning over context, as directive intent can- not be inferred from surface form alone. Prior text-based studies and existing multimodal benchmarks largely overlook this requirement, focusing instead on explicitly encoded context or perceptual recognition, and thus underex- plore context-dependent pragmatic understand- ing, particularly in high-context languages such as Korean. We introduce READI, a multimodal benchmark for evaluating ISA understanding through integrated reasoning over visual con- text and dialogue. READI models graded in- directness grounded in pragmatic theory and formulates the task as vision-based pragmatic question answering (V-PQA), supporting cross- lingual evaluation in English and Korean. Ex- periments show that even state-of-the-art multi- modal models struggle with visually grounded indirect speech acts, with performance declin- ing as indirectness increases, underscoring the need for benchmarks that explicitly target con- textual pragmatic reasoning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.30270v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.