arXiv:2610.00024v1 cs.CV

인코딩되었으나 단절됨: 패칭 널 조건에서 비전-언어 모델 실패 분해하기

Encoded but Disconnected: Decomposing Vision-Language Model Failures under a Patching Null

Genpei Zhang

제출 2026-09-01

저자 비고

arXiv Comments

13 pages, 4 figures

한국어 초록

세 가지 비전-언어(vision-language) 모델 구조(LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B) 전반에 걸쳐, 중간층 해석 가능성에 대한 보편적인 부정적 결과를 보고합니다. 세 모델 모두에 공통적인 벤치마크인 POPE에서, 중간층은 오류의 68-91%에서 정답(ground-truth)을 인코딩하고 있으나, 이 신호는 최종 예측에 인과적으로 작용하지 않습니다. 즉, 잔차 스트림(residual-stream) 패칭은 세 가지 구조 모두에서 층(layer) 수준의 비자명한 전환(flip)을 0% 나타냈으며, 세 개 중 두 개 구조에서는 헤드(head) 수준에서도 동일했습니다(Qwen: 0/12,600회 패칭된 순전파). 유일한 예외인 InternVL3의 20번 층 2번 헤드는 어휘 외(non-vocab) 자기 어텐션(self-attending) 헤드로, 그 효과는 해당 특정 헤드에 국한됩니다(p < 1e-4). 이러한 널(null) 결과에도 불구하고, 오류는 조작적으로 인식 실패(Perception Failure), 인코딩되었으나 단절됨(Encoded-but-Disconnected), 사전확률 우선(Prior-Override)이라는 세 가지 실패 모드로 구분되며, 세 구조 모두에서 60% 이상의 정확도로 학습 가능합니다. 또한 구조의 사전확률 방향은 두 가지 개입 중 어느 것이 범주별 특화 반응을 이끌어내는지 예측합니다. 우리는 오라클 라벨 하에서의 이러한 완화 효과를 실제 배포 가능한 방법이 아니라, 해당 범주들이 기저 메커니즘 차원에서 실재함을 입증하는 증거로서 보고합니다.

원문 초록

Across three vision-language model architectures (LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B), we report a universal negative finding for mid-layer interpretability. On POPE -- the benchmark common to all three -- the mid layers encode the ground-truth answer in 68-91% of errors, yet this signal is not causally active for the final prediction: residual-stream patching yields 0% non-trivial flip at the layer level on all three architectures, and on two of three at the per-head level (Qwen: 0/12,600 patched forwards). The lone exception, InternVL3 layer-20 head-2, is a non-vocab, self-attending head whose effect is localized to that specific head (p < 1e-4). Despite the null, the errors separate operationally into three failure modes -- Perception Failure, Encoded-but-Disconnected, Prior-Override -- learnable above 60% on all three architectures, and the architecture's prior direction predicts which of two interventions elicits a category-specific response. We report these mitigation effects under oracle labels as evidence the categories are mechanistically real, not as a deployable method.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00024v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13895v1cs.CL공통 태그 mechanistic interpretability, activation patching

작업 문맥이 언어 모델 구성요소의 역할을 형성하는 방식

Task Context Shapes Component Roles in Language Models

대규모 언어 모델(LLM)은 여러 작업에 걸쳐 동일한 어텐션(attention) 헤드를 재사용하지만, 이러한 공유 헤드를 식별하는 것만으로는 각 작업에서 이들이 어떻게 다르게 동작하는지 설명하지 못합니다. 이에 대한 자연스러운 영감의 원천은 공유된 뇌 영역 간의 작업 의존적 상호작용이며, 이는 언어 모델 연산을 네트워크 관점에서 바라보도록 동기를 부여합니다. 본 연구에서는 어떤 방향성 연결이 존재하는지 명시하는 진술인 동일한 그래프 팩트(graph fact)를 사용하여 고정된 모델 구성요소들을 작업 전반에 걸쳐 비교합니다. 개입(intervention)이 어텐션 헤드와 후속 레이어의 활성화 상태(영향력, influence) 및 정답(중요도, importance)에 어떤 영향을 미치는지 측정합니다. 작업의 변화는 4개 패밀리와 15억~140억(1.5-14B) 파라미터에 걸친 5개의 공개 가중치(open-weight) 모델에서 영향력을 재분배합니다. Gemma-2-9B 및 Qwen3-14B에서는 활성화 편집(activation edit)을 통해 초기 내부 활성화 벡터를 변경함으로써, 서면 인스트럭션이 고정된 상태에서도 모델이 읽는 팩트를 전환합니다. 그 결과 동일한 헤드가 서로 다른 그래프 팩트에 반응하고 후속 구성요소에 다르게 영향을 미치게 됩니다. 각 프롬프트(prompt)에 대해 편집 전과 편집 후의 두 가지 선형 응답 맵(linear response map)을 구축합니다. 각 맵은 이전 헤드의 측정된 변화로부터 후속 헤드의 응답을 예측합니다. 별도의 팩트 개입에 대해, 해당 조건의 맵은 두 맵의 평균과 비교했을 때 평균 제곱 예측 오차를 Gemma에서 53.6%, Qwen에서 5.0% 감소시킵니다. 이러한 발견은 작업 문맥이 공유 구성요소가 반응하는 그래프 팩트와 이들의 출력이 후속 연산에 영향을 미치는 방식을 모두 변화시킨다는 점을 보여줍니다. 네트워크 관점의 설명은 모델이 공유 매개변수를 사용하여 서로 다른 연산을 수행하는 방식을 설명하는 데 도움이 될 수 있습니다. 또한 작업 의존적 영향력 측정은 다른 동작은 보존하면서 특정 동작만 변경하려는 개입을 유도하는 지침이 될 수 있습니다.

arXiv:2610.03445v1cs.CV공통 태그 Hallucination, vision-language model

오염되었으나 정확함: 비전-언어 모델이 내부적으로 스스로를 속이는 이유

Corrupted but Correct: Why Vision-Language Models Lie to Themselves Internally

표적 적대적 섭동(targeted adversarial perturbation)은 고정된 목표 캡션에 대한 비전-언어 모델(VLM)의 교사 강제(teacher-forced) 학습 손실을 거의 0에 가깝게 만들 수 있지만, 동일한 모델이 자유롭게 생성하도록 두면 목표의 흔적 없이 원래의 정확한 설명을 생성합니다. 우리는 이러한 해리를 학습/추론 격차(train/inference gap)라고 부르며, 200개의 홀드아웃 COCO 이미지에 대해 통제된 2단계 PGD 공격을 사용하여 Qwen2.5-VL-7B-Instruct에서 이에 대한 정밀한 기계론적 설명을 제시합니다. 첫째, CNN 강건성 문헌에서 가져와 올바르게 재구현한 텍스처 기반 공격 가능성 척도를 포함하여 이미지 수준의 픽셀 통계는 어떤 이미지가 오염될지 예측하는 능력이 사실상 전무함을 보여줍니다(최고 예측 변수 r=-0.050, p=0.484; 릿지 회귀 R^2=0.069). 둘째, 로짓 렌즈(logit lens)를 사용하여 이 격차가 단일 자기회귀 단계에 국한됨을 밝혀냈습니다. 이미 올바른 첫 번째 토큰이 생성된 상태를 조건으로 할 때 목표 토큰의 순위는 모든 이미지와 모든 조건에서 분산 없이 152,064개의 어휘 항목 중 정확히 3,488위로 고정됩니다. 셋째, 28개 LLM 디코더 레이어 전체에 걸쳐 목표 토큰 순위를 추적한 결과, 시각 인코더는 최종 결과와 무관하게 비교적 일정한 마진으로 모든 이미지의 표현을 오염시키지만, 언어 모델 디코더가 이를 차별적으로 중재함을 밝혔습니다. 즉, 취약한 이미지에 대해서는 오염된 신호를 증폭하고, 저항력이 있는 이미지에 대해서는 깨끗한 이미지의 기준선 이하로 신호를 적극 억제합니다(p<0.001, 순위-양분 상관계수 r=0.579). 병합기 은닉 상태(merger hidden state)에 대한 선형 프로브(linear probe)는 AUC=0.858로 이 두 가지 결과를 구분하지만, 우리는 이 추정치에 순환성 우려가 있음을 지적합니다. 이러한 결과들을 종합해 볼 때, 자기회귀 VLM의 적대적 강건성은 실질적으로 시각 인코더가 아닌 언어 디코더의 사전 확률(prior)에 따른 특성임을 시사하며, 이는 배포된 VLM 시스템에 대한 충실도 평가 및 방어 기법이 어디를 목표로 삼아야 하는지에 직접적인 시사점을 제공합니다.

arXiv:2609.38979v2cs.CV공통 태그 Hallucination, vision-language model

위양성 발견 제어 기반 시각 데이터 분할을 통한 대규모 비전-언어 모델의 객체 환각 완화

Mitigating Object Hallucination in Large Vision-Language Models via False Discovery Controlled Visual Data Splitting

대규모 비전-언어 모델(LVLM)이 시각적 입력에 의해 뒷받침되지 않는 객체를 생성하는 다중 객체 환각(hallucination)은 디코딩 과정의 시각적 불확실성으로 인해 발생하는 지속적인 난제입니다. 기존 방식들은 대조 신호를 활용하여 환각을 줄이지만, 경험적 휴리스틱에 의존하며 이미지 수준에서 위양성(false positive)을 원칙적으로 제어하지 못한다는 한계가 있습니다. 이를 해결하기 위해, 불확실성을 인식하는 시각 데이터 분할 전략으로 시각적 불확실성을 모델링하고 미러 통계량(mirror statistics)을 활용하여 디코딩 중 시각적 대조를 정량화하는 무학습(training-free) 프레임워크인 CORAL(False Discovery Rate-COntRol of HALlucination)을 제안합니다. CORAL은 대칭적으로 섭동된 쌍을 이루는 시각적 입력으로부터 미러 통계량을 계산함으로써 거짓된 객체 예측을 추정하고, 이미지당 예상되는 위양성 발견 비율을 제어하는 데이터 기반 임계값을 설정합니다. 이를 통해 실제 시각 정보에 그라운딩(grounding)된 객체에 대한 높은 검출력을 유지하면서 환각을 억제합니다. 본 프레임워크는 유연하여 여러 LVLM을 지원하며, 재학습이나 지도 없이도 환각을 완화합니다. 여러 벤치마크와 다양한 평가 지표를 활용한 광범위한 실험을 통해 CORAL이 최첨단 방법들을 일관되게 능가하며, 보다 신뢰할 수 있고 강건한 환각 제어를 제공함을 입증합니다. 코드는 https://changliu1993-cl.github.io/CORAL/ 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.