PyTorchKR Papers

업데이트된 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.28273v2cs.CL

비전 기본, 사전지식 덮어쓰기: 비전-언어 모델에서 지각-지식 충돌의 인과적 메커니즘

Vision-Default, Prior-Override: Causal Mechanisms of Perception-Knowledge Conflict in Vision-Language Models

비전-언어 모델(VLM)이 시각적 입력과 사전학습된 세계 지식이 충돌할 때 이를 어떻게 해결하는지 인과적 메커니즘을 규명하기 위해, activation patching과 ablation 연구를 결합한 결과 시각적 그라운딩이 기본 경로로 작동하는 반면, 사전 지식 기반 응답은 네트워크 후반부에 집중된 소수의 어텐션 헤드(2.5–4.8%)에 의존하는 비대칭 인과 구조가 Qwen-VL, LLaVA-NeXT, PaliGemma 등 세 가지 VLM 계열에서 일관되게 나타남을 밝혔다. 이 헤드들은 정보 흐름을 조절하는 라우팅 헤드와 답 토큰을 잔차 스트림에 직접 투사하는 쓰기 헤드로 구분되며, 이를 절제하면 사전지식 프롬프트 조건에서 68–96%의 예측이 시각적 그라운딩 답변으로 전환된다.