멀티모달 LLM은 읽기 전에 먼저 보는가? 맥락적 아첨(contextual sycophancy) 진단
Do Multimodal LLMs See Before They Read? Diagnosing Contextual Sycophancy
한국어 초록
외부 텍스트는 멀티모달 대규모 언어 모델에서 상충하는 이미지 증거를 덮어쓸 수 있으며, 우리는 이러한 실패를 멀티모달 맥락적 아첨(multimodal contextual sycophancy)이라 부른다. 우리는 998건 진단을 도입하여 시각 증거, 상식적 사전(commonsense priors), 외부 텍스트를 독립적으로 변화시키고, 맥락 비노출(context-blind) 시각 witness 주변에서 정보 경계(information boundary)를 이동시키며 이 실패가 언제 발생하는지 탐색한다. Gemini가 생성한 거짓 텍스트와 짝지은 비정상(abnormal) 이미지에서 GPT-5.1은 joint conditioning에서 7.9%, context-blind witness 보고를 직접 채점할 때 49.7%, witness에게 텍스트를 노출하는 matched two-call witness-arbiter 파이프라인에서 63.7%, witness로부터 텍스트를 숨기는 System-2 Visual Arbitration(S2VA)에서 84.2%를 기록한다. 여섯 개 모델 전반에서 S2VA는 직접 witness 보고 대비 19.7~44.1포인트 개선하며, 모든 쌍별 95% 신뢰구간은 0을 제외한다. 최적의 정보 경계는 균일하지 않다. 텍스트 맥락은 일부 모델에 스캐폴딩(scaffolding)을 제공하고, GPT-4o로 재생성한 부분집합은 joint conditioning, Witness-Only, S2VA의 상대적 순서를 바꾼다. 따라서 맥락적 아첨은 텍스트가 도입되는 시점뿐 아니라 모델과 맥락 출처에도 민감하다.
원문 초록
External text can override conflicting image evidence in multimodal large language models, a failure we call multimodal contextual sycophancy. We introduce a 998-case diagnostic that independently varies visual evidence, commonsense priors, and external text, and probe when this failure arises by moving the information boundary around a context-blind visual witness. On abnormal images paired with Gemini-generated false text, GPT-5.1 scores 7.9% under joint conditioning, 49.7% when the context-blind witness report is scored directly, 63.7% under a matched two-call witness-arbiter pipeline that exposes the witness to the text, and 84.2% under System-2 Visual Arbitration (S2VA), which withholds the text from the witness. Across six models, S2VA improves over the direct witness report by 19.7 to 44.1 points, with all paired 95% confidence intervals excluding zero. The best information boundary is not uniform: textual context scaffolds some models, and a GPT-4o-regenerated subset changes the relative ordering of joint conditioning, Witness-Only, and S2VA. Contextual sycophancy is therefore sensitive to when text is introduced, as well as to the model and context source.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.00067v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.