What's Missing in Vision-Language Models? Probing Their Struggles with Causal Order Reasoning
원문 초록
Despite the impressive performance of vision-language models (VLMs) on downstream tasks, their ability to understand and reason about causal relationships in visual inputs remains unclear. Robust causal reasoning is fundamental to solving complex high-level reasoning tasks, yet existing benchmarks often include a mixture of reasoning questions, and VLMs can frequently exploit object recognition and activity identification as shortcuts to arrive at the correct answers, making it challenging to truly assess their causal reasoning abilities. To bridge this gap, we introduce VQA-Causal and VCR-Causal, two new benchmarks specifically designed to isolate and rigorously evaluate VLMs' causal reasoning abilities. Our findings reveal that while VLMs excel in object and activity recognition, they perform poorly on causal reasoning tasks, often only marginally surpassing random guessing. Further analysis suggests that this limitation stems from a severe lack of causal expressions in widely used training datasets, where causal relationships are rarely explicitly conveyed. We additionally explore fine-tuning strategies with hard negative cases, showing that targeted fine-tuning can improve model's causal reasoning while maintaining generalization and downstream performance. Our study highlights a key gap in current VLMs and lays the groundwork for future work on causal understanding.
요약
VQA-Causal과 VCR-Causal 벤치마크를 통해 비전-언어 모델(VLM)이 객체·활동 인식에는 강하지만 인과 순서 추론에서는 12개 모델 중 10개가 52% 이하로 무작위(50%)에 가깝게 부진하고 인간(98%)과 큰 격차를 보인다는 점을 밝힌다. LAION-400M·MSCOCO 등 훈련 데이터에 명시적 인과 표현이 0.1% 미만으로 희박한 것이 원인으로 분석되며, 인과 순서만 다른 hard negative로 파인튜닝한 CausalCLIP은 도메인 내·외 벤치마크에서 개선을 보이면서 하류 과제 성능은 유지했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2506.00869v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CRAFT: 의료 비전-언어 모델의 인과적 책임 및 실패 추적
CRAFT: Causal Responsibility and Failure Tracing in Medical Vision Language Models
OccludeBench: VLM은 누락된 대상을 찾아낼 수 있는가?
OccludeBench: Can VLMs Find What's Missing?
비전-언어 모델(VLM)은 이미지에서 누락된 대상을 얼마나 잘 추론할 수 있을까? 본 연구에서는 남아 있는 시각적 증거로부터 완전히 가려진(occluded) 객체를 복원하기 위해 수작업으로 큐레이션된 벤치마크인 OccludeBench를 통해 이 질문을 살펴본다. OccludeBench는 그림자나 반사와 같은 특정한 물리적 단서로부터 숨겨진 객체를 복원해야 하는 직접적(direct) 사례와, 더 넓은 장면 문맥으로부터 추론할 수 있는 추론적(inferential) 사례를 구분한다. 5개 VLM을 대상으로 평가한 결과, 정확도는 직접적 사례에서 평균 42.7%, 추론적 사례에서 62.7%를 기록하여 20.0%p의 격차를 보였다. 반면 인간은 직접적 이미지와 추론적 이미지에서 각각 63.4%와 68.5%의 더 높은 정확도를 달성하며 유의미한 격차를 보이지 않았다. 이러한 실패 원인을 규명하기 위해, 시각적 추론 과정이 어디에서 무너지는지 분리해 내는 4단계 진단 기법인 OccludeTrace를 도입한다. 병목 현상은 모델이 전체 이미지 내의 투영(projection)으로부터 관련 객체를 복원해야 할 때 발생하는데, 실패한 예시 중에서는 50%만 성공한 반면 정답을 맞힌 예시 중에서는 91%에서 성공했다. 확장된 추론, 도구 사용, 퓨샷(few-shot) 프롬프팅은 일관되지 않은 개선을 보였으며 이러한 격차를 안정적으로 없애지 못했다. 반면, 모델이 숨겨진 후보 객체를 먼저 생성한 후 가시적인 물리적 단서와 대조하여 해당 가설을 평가하도록 유도하는 인페인트 후 대조(inpaint-then-confront) 개입은 이미지 생성 능력을 갖춘 두 모델 모두에서 해당 격차를 통계적으로 유의미하지 않은 수준으로 줄였다. 종합적으로, 본 결과는 VLM이 이미지에서 누락된 시각적 콘텐츠를 어떻게 추론하는지 분리해 파악할 수 있는 다루기 쉽고 제어된 진단 체계를 확립한다.
VLM이 알고 있는 것을 파괴할 때: 공간 표상은 어휘 사전확률보다 낮아진다
When VLMs Destroy What They Know: Spatial Representations Fall Below Lexical Priors
비전-언어 모델(VLM)이 이미지를 분석하고 추론하는 능력이 점점 발전하고 있지만, 내부 표상이 이러한 추론에 필요한 구조화된 관계를 충실하게 인코딩하는지는 여전히 불분명합니다. 본 연구에서는 통제된 단일 개념 개입 상황에서 표상이 개념을 일관되게 인코딩하는지 테스트하는 지표인 EICS(Evaluation-Invariant Concept Stability)와 Visual Genome 씬 그래프에서 파생된 인과적으로 통제된 공간 섭동 벤치마크인 CASP-VL(Causally controlled Spatial Perturbations for Vision-Language models)을 소개합니다. 여러 VLM 아키텍처 전반에서 공간 관계는 어휘 정보보다 훨씬 덜 충실하게 표상되며, 동일한 모델이 구성성 벤치마크에서 우연 수준을 훨씬 웃도는 점수를 기록할 때도 마찬가지임을 발견했습니다. 추가 분석에 따르면 관계는 서술어 자체의 토큰(token)에서는 식별 가능하지만, [EOS] 토큰을 통하든 평균 풀링(pooling)을 통하든 문장이 전체 표상으로 집계될 때 손실되는 것으로 나타났습니다. 이러한 발견은 출력 기반 평가에서는 보이지 않는 체계적인 실패를 드러냅니다. 즉, VLM은 다운스트림에서 사용되는 표상에 자체 입력에 존재하는 관계 정보를 보존하지 못합니다.
CCRV-Bench: 비전-언어 모델의 인과적 추론에 대한 제약 기반 평가
CCRV-Bench: Constraint-Based Evaluation of Causal Reasoning in Vision-Language Models
비전-언어 모델(VLM)은 시각 작업에서 뛰어난 성능을 입증해 왔으나, 시각적 인과 추론 능력에 대해서는 여전히 신뢰할 수 있는 평가가 부족합니다. 기존 평가는 모델이 시각적 증거에 기반해 인과 추론을 수행하는지, 아니면 지름길 학습(shortcut learning)을 위한 통계적 상관관계에 의존하는지 구분하기 어려워 실제 능력을 과대평가할 가능성이 있습니다. 본 논문에서는 단일 이미지 물리적 시나리오를 위한 제약 기반 시각 인과 추론 벤치마크인 CCRV-Bench를 제안합니다. 인과 관계 발견, 상태 예측, 인과적 진단, 개입-결과 예측의 네 가지 인과 작업 차원을 평가하는 직교 프레임워크를 구축합니다. 또한 작업에 필요한 물리적 상식을 보존하면서 지름길 단서를 줄이기 위해 개체 기호화, 공간적 그라운딩(spatial grounding), 사실적 적대적 제약 및 미니멀리스트 출력 제약을 도입합니다. 14개 멀티모달 모델에 대한 실험 결과, 제약 민감도는 작업 및 모델에 따라 다른 것으로 나타났습니다. 4가지 인과 작업 중 개입-결과 예측이 가장 큰 평균 유효 성능 저하를 보였고, 공간적 그라운딩이 평균적으로 가장 치명적인 제약이었으며, 사실적 적대적 제약은 평가된 모든 모델의 DCR을 향상시켰습니다. 이러한 결과는 제약이 없는 상태의 성능이 제약 조건 하에서의 강건성을 결정하지 않으며, 단일 종합 점수가 인과 식별, 공간적 그라운딩, 제약 준수 표현에서의 뚜렷한 실패를 가릴 수 있음을 보여줍니다. CCRV-Bench는 통제된 제약 조건에서 이미지 기반 인과 추론을 진단하기 위한 표준화된 프레임워크를 제공합니다. 코드는 https://github.com/0815linyuan/CCRVBench 에서 확인할 수 있습니다.
STARS: 인간-로봇 상호작용에서 시공간 동역학부터 사회적 표현까지
STARS: From Spatiotemporal Dynamics to Social Representations in Human-Robot Interaction
동적이고 인간 중심적인 환경에서의 로봇 내비게이션은 강건한 장면 이해에 기반한(grounded) 사회적 규범을 준수하는(socially-compliant) 결정을 필요로 합니다. 최근 비전-언어 모델(VLM)은 객체 인식, 상식 추론, 문맥 이해와 같이 사회적 로봇 내비게이션의 미묘한 요구사항에 부합하는 유망한 능력을 보여주고 있습니다. 그러나 VLM이 안전하고 사회적으로 순응하는 로봇 내비게이션에 필수적인 복잡한 사회적 내비게이션 장면을 정확히 이해할 수 있는지(예: 에이전트 간의 시공간적 관계 및 인간의 의도 추론)는 여전히 불분명합니다. 일부 최근 연구에서 사회적 로봇 내비게이션에 VLM을 활용하는 방안을 모색했으나, 이러한 필수 조건을 충족하는 능력을 체계적으로 평가한 연구는 전무합니다. 본 논문에서는 실제 사회적 로봇 내비게이션 시나리오에서 장면 이해를 위한 VLM을 평가하도록 설계된 시각적 질의응답(VQA) 데이터셋이자 벤치마크인 SocialNav-SUB(Social Navigation Scene Understanding Benchmark)를 소개합니다. SocialNav-SUB는 사회적 로봇 내비게이션에서 공간적, 시공간적, 사회적 추론을 요구하는 VQA 태스크 전반에 걸쳐 인간 및 규칙 기반 베이스라인과 VLM을 비교 평가하기 위한 통합 프레임워크를 제공합니다. 최첨단 VLM을 활용한 실험을 통해, 최고 성능을 보이는 VLM이 인간의 답변과 일치할 고무적인 확률을 달성하지만, 여전히 더 단순한 규칙 기반 접근법과 인간 합의 베이스라인보다 성능이 떨어짐을 확인하였으며, 이는 현재 VLM의 사회적 장면 이해에 중대한 격차가 있음을 시사합니다. 우리의 벤치마크는 사회적 로봇 내비게이션을 위한 파운데이션 모델에 대한 추가 연구의 발판을 마련하며, 실제 사회적 로봇 내비게이션 요구사항을 충족하도록 VLM을 맞춤 조정하는 방법을 탐구할 수 있는 프레임워크를 제공합니다. 본 논문의 개요와 코드 및 데이터는 https://larg.github.io/stars 에서 확인할 수 있습니다.
추론 모델은 식별 가능성 판단에서 정확하지만 건전하지 못하다
Reasoning Models Are Accurate but Unsound on Identification
관측 데이터로부터 인과 효과(causal effect)를 복원할 수 있는지 질문을 받았을 때, 추론 모델은 두 가지 방식으로 실패할 수 있습니다. 즉, 식별 가능한(identifiable) 쿼리를 거부하거나 식별 불가능한 쿼리에 답변하는 것입니다. 어떤 관측 데이터로도 주장된 공식을 검증할 수 없기 때문에 후자가 더 중대한 결과를 초래합니다. 이러한 실패를 측정하려면 기존 평가에는 부재했던 증명 가능하게 식별 불가능한 쿼리가 필요하며, 문자열 매칭으로는 불가능한 임의의 동등한 형태의 올바른 공식을 수용하는 채점 방식이 필요합니다. 우리는 두 가지 한계를 모두 해결하는 정형 식별 파이프라인인 CERTID를 구축합니다. CERTID는 건전하고 완전한 인과 식별 알고리즘인 ID를 사용하여 주어진 그래프와 쿼리로부터 효과가 식별 가능한지 인증하고, 개입 분포(interventional distribution)가 정확히 알려진 구조적 인과 모델(SCM)을 대상으로 반환된 공식을 검증합니다. 나아가 CERTID는 구조적 누출(structural leakage)을 완화하고, 식별 불가능한 쿼리를 보정하며, 채점 보장을 확립하기 위한 이론적 결과를 개발합니다. 우리는 4개에서 50개의 정점에 이르는 1,200개의 인증된 인스턴스에서 세 가지 프론티어 추론 모델(Gemini Flash, Gemini Pro, GPT5.5)을 평가합니다. 정확도(accuracy)는 건전성(soundness)을 대변하기에 미흡한 지표임이 입증되었습니다. 동일한 인스턴스에서 식별 불가능한 쿼리에 대한 허위 주장 비율(false-claim rate)은 모델에 따라 17배 차이가 납니다. 또한 우리는 모델들이 가장 성능이 뛰어난 모델의 학습 스냅샷 이후에 생성된 그래프에서도 97-100%의 정확도로 식별 가능성을 판단한다는 점을 발견했습니다. 인스턴스, 인증 절차, 검증기 및 인스턴스별 기록은 https://anonymous.4open.science/r/certid-D718 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.