as.edu.tw

이 이메일 도메인이 관측된 논문 2건

arXiv:2609.00067v1cs.CL

멀티모달 LLM은 읽기 전에 먼저 보는가? 맥락적 아첨(contextual sycophancy) 진단

Do Multimodal LLMs See Before They Read? Diagnosing Contextual Sycophancy

외부 텍스트는 멀티모달 대규모 언어 모델에서 상충하는 이미지 증거를 덮어쓸 수 있으며, 우리는 이러한 실패를 멀티모달 맥락적 아첨(multimodal contextual sycophancy)이라 부른다. 우리는 998건 진단을 도입하여 시각 증거, 상식적 사전(commonsense priors), 외부 텍스트를 독립적으로 변화시키고, 맥락 비노출(context-blind) 시각 witness 주변에서 정보 경계(information boundary)를 이동시키며 이 실패가 언제 발생하는지 탐색한다. Gemini가 생성한 거짓 텍스트와 짝지은 비정상(abnormal) 이미지에서 GPT-5.1은 joint conditioning에서 7.9%, context-blind witness 보고를 직접 채점할 때 49.7%, witness에게 텍스트를 노출하는 matched two-call witness-arbiter 파이프라인에서 63.7%, witness로부터 텍스트를 숨기는 System-2 Visual Arbitration(S2VA)에서 84.2%를 기록한다. 여섯 개 모델 전반에서 S2VA는 직접 witness 보고 대비 19.7~44.1포인트 개선하며, 모든 쌍별 95% 신뢰구간은 0을 제외한다. 최적의 정보 경계는 균일하지 않다. 텍스트 맥락은 일부 모델에 스캐폴딩(scaffolding)을 제공하고, GPT-4o로 재생성한 부분집합은 joint conditioning, Witness-Only, S2VA의 상대적 순서를 바꾼다. 따라서 맥락적 아첨은 텍스트가 도입되는 시점뿐 아니라 모델과 맥락 출처에도 민감하다.