협력 원칙을 활용한 비전-언어 모델의 VQA 평가
Evaluating VQA in Vision Language Models using Cooperative Principles
한국어 초록
본 연구에서는 질문이 그라이스의 대화 격률(Grice's maxims)을 위반할 때 시각적 질의응답(VQA)에서 비전-언어 모델(VLM)의 성능을 평가합니다. 이를 위해 VLM을 사용하여 불필요하거나 모호하거나 거짓인 정보를 추가하는 질문 수정자(question modifier)를 생성하며, 이러한 위반 사항이 존재할 때 평가 대상 VLM(ChatGPT, Claude, Gemini, Llava)의 성능이 저하됨을 보입니다. 나아가 인간이 화용론적으로 추론하는 방식과 VLM의 추론 방식 간의 차이, 그리고 사람이 유발한 위반 사항을 해결할 때와 AI가 생성한 위반 사항을 해결할 때 VLM 추론의 차이를 실증적으로 보여줍니다. 마지막으로 실험의 과업 수행 시간(time-on-task)으로 측정한 인간의 인지적 노력은 VLM이 유발한 위반 사항을 해결할 때 더 낮지만, VLM 자체는 이러한 경우에 덜 정확하게 수행함을 보입니다.
원문 초록
We evaluate the performance of Vision Language Models in Visual Question Answering (VQA) when questions violate Grice's maxims. To do this, we use VLMs to generate question modifiers that add non-essential, ambiguous or false information and show that in the presence of such violations, the VLMs that we evaluate (ChatGPT, Claude, Gemini and Llava) show diminished performance. Further, we empirically show the difference between how humans reason pragmatically compared to VLMs, and the difference in VLM reasoning when it resolves violations that are human-induced compared to those that are AI-generated. Finally, we show that human cognitive effort (measured through time-on-task in an experiment) is lower for resolving VLM-induced violations, but VLMs themselves perform less accurately in such cases.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.