모델은 인용한 것을 사용하는가? 소형 비디오-언어 모델에서 근거 기반 추론 사슬의 반사실적 검증
Does the Model Use What It Cites? Counterfactual Tests of Grounded Reasoning Chains in Small Video-Language Models
한국어 초록
근거 기반 추론 사슬은 모든 단계마다 프레임 구간과 박스를 인용하므로 독자는 모델이 어디를 보았는지 확인할 수 있다. 그러나 답이 인용된 영역에 의존하는지는 별개의 문제이다. 우리는 개입을 통해 이를 시험한다. 모델이 자신의 사슬에서 인용한 영역을 검게 가리고, 정답이 뒤바뀌는 비율을 같은 프레임의 다른 위치에 있는 같은 크기의 박스를 가렸을 때와 비교한다. 이 짝지은 차이인 인용 격차(cite gap)는 주석이 필요 없다. 우리는 이를 정확한 CLEVRER 사슬과 의사 라벨링된 NExT-QA 사슬로 학습한 2-3B 비디오-언어 모델에 적용한다. 같은 가중치에서 인용 격차는 CLEVRER에서 0.089, NExT-QA에서 0.003이다. 모델 전체를 합산하면, 인용된 박스를 가렸을 때 뒤바뀌는 정답 수는 대조군보다 CLEVRER에서 2.2배, NExT-QA에서 1.1배 많으며, 이는 비디오에 전혀 의존하는 답들 중에서도 마찬가지이고, 박스는 두 데이터셋 모두에서 근거 확인을 통과한다. 인용된 박스 대신 인용된 개체를 모든 프레임에서 가리면 대조군보다 1.9배 많은 답이 뒤바뀐다. NExT-QA 사슬은 대부분의 프레임에서 계속 보이는 개체의 두 프레임을 인용하도록 지도되었으므로 이 결과는 지도 방식이 예측하는 바이며, 요점은 근거 기반 사슬에 대한 통상적인 검사로는 이를 볼 수 없다는 것이다. 인용은 답이 그에 의존하지 않으면서도 검증 가능하고 관련성이 있을 수 있으며, 근거 기반 추론의 검증은 사슬이 가리키는 위치뿐 아니라 사슬이 명시하는 대상을 제거해야 한다.
원문 초록
A grounded reasoning chain cites a frame span and a box for every step, so a reader can check where the model looked. Whether the answer depends on the cited region is a different question. We test it by intervention: the regions a model cited in its own chain are blacked out, and the share of correct answers that flip is compared with blacking out boxes of the same size elsewhere on the same frames. The paired difference, the cite gap, needs no annotation. We apply it to 2-3B video-language models trained on exact CLEVRER chains and on pseudo-labelled NExT-QA chains. With the same weights, the cite gap is 0.089 on CLEVRER and 0.003 on NExT-QA. Pooled over models, masking the cited boxes flips 2.2 times as many correct answers as the control on CLEVRER and 1.1 times as many on NExT-QA, also among the answers that depend on the video at all, while the boxes pass a grounding check on both. Masking the cited entity on every frame, instead of the cited box, flips 1.9 times as many answers as its control. The NExT-QA chains were supervised to cite two frames of entities that stay visible on most frames, so this outcome is what the supervision predicts; the point is that the usual check on grounded chains cannot see it. A citation can be verifiable and relevant without the answer depending on it, and a test of grounded reasoning should remove what a chain names, not only where it points.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.21940v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.