비전-언어 모델의 문맥 내 붕괴 현상과 이를 완화하는 방법
In-Context Collapse in Vision-Language Models and How to Mitigate it?
한국어 초록
다수샷 문맥 내 학습(ICL)은 비전-언어 모델(VLM)이 가중치 업데이트 없이 이미지-라벨 시연 예시를 통해 적응할 수 있도록 하며, 일반적으로 시연 예시가 더 많이 제공될수록 성능이 향상된다고 여겨집니다. 본 연구에서는 이와 반대되는 현상을 보입니다. 즉, 시연 예시가 누적됨에 따라 일부 VLM에서 급격하고 때로는 치명적인 정확도 하락이 합성 데이터 분류, 자연 이미지 분류, VQA 벤치마크 전반에서 발생하는 '문맥 내 붕괴(in-context collapse)'를 겪으며, 일부 모델에서는 출력이 정상적인 형태를 유지함에도 불구하고 정확도가 무작위 확률(chance) 이하로 떨어집니다. 오픈 VLM 패널(0.5B~11B) 및 프론티어 모델(Claude Sonnet 4.5) 전반에 걸쳐 이러한 붕괴는 점진적으로 나타납니다. 시연 예시 누적에 대한 견고성과 문맥 내에서 새로운 규칙을 학습하는 능력이라는 두 가지 역량이 서로 분리 가능함이 밝혀졌으며, 이들의 조합은 재현 가능한 세 가지 영역(regime)을 형성합니다. 매개변수 수를 맞춘 손상 및 복구(lesion-and-rescue) 실험을 통해 이러한 붕괴의 원인이 비전-언어 통합 경로에 있음을 인과적으로 특정했습니다. 커넥터와 초기/중간 층에 위치한 어댑터는 진정한 학습 능력을 회복시키는 반면(16샷에서 재매핑 정확도 0.39 -> 0.91), 동일한 용량을 갖는 후기 판독(late readout) 층의 어댑터는 그렇지 못했습니다. 본 연구는 1회성 통합 백신을 핵심으로 하는 CircA를 제안합니다. 하나의 합성 작업에서 한 번 학습된 이 백신은 이전에 보지 못한 작업군으로 붕괴 저항성을 전이시킵니다(CIFAR/Fashion에서 무작위 확률 -> 0.71/0.60). 문맥 내 통합에 최적인 층은 가중치 기반 강화(consolidation)에 최적인 층과 일치하지 않으며, 후기 판독 층은 더 적은 매개변수로 더 높은 정확도를 달성하고 망각을 줄입니다. 이러한 붕괴는 비전-언어 인터페이스에서의 통합 실패이며, 경량화되고 전이 가능한 개입을 통해 교정될 수 있습니다.
원문 초록
Many-shot in-context learning (ICL) lets vision-language models (VLMs) adapt from image--label demonstrations without weight updates, and is widely assumed to improve as more demonstrations are supplied. We show the opposite: as demonstrations accumulate, a subset of VLMs undergo an \emph{in-context collapse}, a sharp, sometimes catastrophic accuracy drop spanning synthetic classification, natural-image classification, and VQA benchmarks, in some models falling below chance while outputs remain well-formed. Across an open VLM panel ($0.5$B--$11$B) and a frontier model (Claude Sonnet 4.5), the collapse is graded. Two capabilities turn out to be dissociable: robustness to accumulating demonstrations and the ability to learn a novel rule in context, their combinations yield three reproducible regimes. A parameter-matched lesion-and-rescue causally localizes the collapse to the vision-language integration pathway: an adapter on the connector and early/mid layers restores genuine learning (remap accuracy $0.39!\rightarrow!0.91$ at 16 shots), while an equal-capacity adapter on the late readout does not. We propose \textsc{CircA}, whose core is a one-time integration vaccine: trained once on one synthetic task, it transfers collapse-resistance to unseen task families (chance$\rightarrow$$0.71$/$0.60$ on CIFAR/Fashion). The layers best for in-context integration are not the layers best for weight-based consolidation, the late readout achieves higher accuracy and less forgetting at fewer parameters. The collapse is an integration failure at the vision--language interface, correctable by a lightweight, transferable intervention.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.02830v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.