arXiv:2611.20349v2 cs.CV

말이 더 큰 영향을 미치는가? LLM 기반 불완전 멀티모달 학습에서의 언어 지름길 탐구

Words Speak Louder? Exploring the Language Shortcut of LLM-Driven Incomplete Multimodal Learning

Qiangchang Wang, Chong Xiao, Xiaokun Bai, Rundong He, Zhuang Qi, Xusheng Liang, Zhibin Wu, Wenhao Li

제출 2026-11-16

한국어 초록

말의 내용을 알고 나서도 표정이나 목소리가 판단에 영향을 줄까? 불완전 멀티모달 학습에서는 대규모 언어 모델(LLM)을 여러 모달리티의 융합에 사용하는 일이 늘고 있다. 모달리티의 특징은 토큰 블록으로 입력하고, 누락된 모달리티는 자리 표시자로 대체한다. 본 연구는 LLM 기반 융합에서 모델이 판독할 수 있는 비언어적 근거조차 언어 정보에 밀릴 수 있음을 보여 준다. 모든 입력을 제공했을 때의 예측과, 같은 모델에 모달리티 하나만 보여 주거나 아무 내용도 제공하지 않은 반사실적 관점의 예측을 비교해 언어 지름길을 식별한다. 이를 위해 구축한 MR-Bench에는 두 가지 구성이 있다. MR-Bench-A는 감성 분석 벤치마크 네 개의 모든 테스트 표본을 유형별로 분류한다. MR-Bench-H는 일곱 출처에서 수집해 사람이 검증한 클립 900개로, 언어 지름길(LS) 클립 620개와 비언어 지름길(NS) 클립 280개를 포함한다. 모든 모델을 전체 클립에서 평가한다. 제로샷 멀티모달 대규모 언어 모델이 LS 클립에서 정답을 맞힌 비율은 최대 32.7%였다. 음소거한 동영상에 전사문을 추가하면 비전-언어 정확도가 46.1~53.1%포인트 떨어졌다. 한편 텍스트 전용 모델의 답을 반대로 바꾸기만 해도 94.4%를 맞혔다. 따라서 LS 정확도만으로는 비언어적 근거를 활용했는지 알 수 없다. 융합 LLM 내부를 살펴보면 디코더 후반으로 갈수록 융합 상태가 텍스트만 제공한 관점의 상태에 가까워진다. 반사실적 관점 신뢰도 학습(CoVeR)은 각 관점이 단일 모달리티로 판단하도록 학습하고, 관점별 판단이 일치하지 않는 사례에서는 융합 예측에 대한 감독을 적용하지 않는다. 정확도 모드에서 추론 비용을 늘리지 않고 5개 벤치마크에서 최고 성능을 달성한다. MR-Bench-H에서는 LS 정확도 61.7%, NS 정확도 93.6%를 기록했다. 강건성 모드는 LS 정확도를 63.0%로 높이고 NS 정확도를 84.8%로 낮췄다. 텍스트 없이 정답을 맞힌 LS 클립에 텍스트를 추가했을 때, 오답으로 바뀐 비율은 CoVeR에서 30.1%, LLM-Fusion에서 32.2%였다. 프로젝트 페이지는 https://peacelwh.github.io/CoVeR/ 에서 확인할 수 있다.

원문 초록

Is a face or a voice still heard once the words are known? Incomplete multimodal learning increasingly uses large language models (LLMs) as fusion engines: modality features enter as token blocks and missing modalities become placeholders. We find that LLM-driven fusion can override non-verbal evidence it can read. Contrasting its full-input prediction with counterfactual views, the same model shown one modality or no content, we identify language shortcuts. We build MR-Bench: MR-Bench-A types every test sample of four sentiment benchmarks; MR-Bench-H contains 900 human-validated clips (620 language-shortcut, LS; 280 non-verbal-shortcut, NS) from seven sources, and every model is scored on all of them. Zero-shot MLLMs solve at most 32.7% of the LS clips; adding the transcript to the muted video lowers vision-language accuracy by 46.1-53.1 points. Yet inverting a text-only model's answers solves 94.4%, so LS accuracy alone cannot establish use of non-verbal evidence. Inside the fusion LLM, fused states align increasingly with the text view late in the decoder. Counterfactual-View Reliability learning (CoVeR) trains views as unimodal judges and withholds fused supervision where they disagree. It achieves state-of-the-art results on five benchmarks without extra inference cost in accuracy mode. On MR-Bench-H, it reaches 61.7% LS and 93.6% NS accuracy; robust mode raises LS accuracy to 63.0% while lowering NS accuracy to 84.8%. Among LS clips solved without text, adding text causes errors on 30.1% with CoVeR versus 32.2% with LLM-Fusion. Project page: https://peacelwh.github.io/CoVeR/.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.20349v2제출 시각 미확인
  2. arXiv:2611.20349v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.