옴니모달 대규모 언어 모델(LLM)이 실제로 보거나 듣는 내용과 모순되는 텍스트 전제를 가진 질문을 수용할 때, 이러한 실패의 원인은 지각에 있는 것일까요, 아니면 행동에 있는 것일까요? 최근의 옴니모달 모델은 비디오, 오디오, 텍스트를 함께 처리하는 지각 기반 에이전트로 자리매김하고 있지만, 모델 자체의 감각 입력과 상충하는 텍스트 주장을 포착하는 기본적인 형태의 그라운딩(grounding)은 아직 검증되지 않은 상태로 남아 있습니다. 본 연구에서는 타깃 모달리티(시각, 청각)와 전제 조건(표준, 오도)을 교차하는 2x2 설계의 장편 영화 500개 클립으로 구성된 큐레이션 벤치마크인 IMAVB를 소개하며, 이를 통해 일반적인 멀티모달 이해와 갈등 감지를 분리하여 측정할 수 있도록 합니다. 8개의 오픈소스 옴니모달 LLM과 Gemini 3.1 Pro를 대상으로 분석한 결과, 동일한 모델들이 출력에서 거짓 주장을 거의 거부하지 못하는 상황에서도 은닉 상태(hidden states)는 전제-지각 불일치를 안정적으로 인코딩하는 '표현-행동 간극(Representation-Action Gap)'을 확인했습니다. 행동 측면에서 모델들은 두 가지 실패 모드를 보입니다. 즉, 거짓 전제가 참인 것처럼 오도하는 질문에 답하는 과소 거부(under-rejection)와, 거부를 더 자주 수행하지만 표준 질문까지 거부하여 일반적인 이해 정확도를 떨어뜨리는 과대 거부(over-rejection)입니다. 이러한 간극은 모달리티에 비대칭적이며(오디오 그라운딩이 시각에 비해 성능이 저조함) 7가지 변형 전반에서 프롬프트에 저항성을 보였습니다. 초기 진단적 개입으로서, 프로브 유도 로짓 조정(PGLA)은 인코딩된 불일치 신호를 디코딩에 다시 주입하여 거부 행동을 일관되게 개선합니다. 종합적으로 이러한 결과는 옴니모달 그라운딩의 병목 현상이 지각이 아닌 번역(행동으로의 전환) 과정에 있음을 시사합니다.
흉부 방사선 사진에 대한 질문에 답하는 비전-언어(vision-language) 모델은 방사선 판독 보고서에서 추출한 레이블에 대한 정확도로 평가됩니다. 높은 벤치마크 정확도는 종종 모델이 이미지를 사용한다는 증거로 해석됩니다. 하지만 질문에 언급된 소견만을 바탕으로 답하는 모델도 방사선 사진을 사용하는 모델만큼 높은 점수를 받을 수 있습니다. 본 연구에서는 질문을 고정한 채 동일하거나 반대 레이블을 가진 다른 환자의 방사선 사진으로 교체하거나, 영상의학과 전문의가 표시한 영역 또는 다른 위치의 동일한 크기 영역을 가리거나, 방사선 사진을 제거하거나 노이즈 또는 일반 사진으로 대체하는 방식으로 8개의 오픈 가중치(open-weight) 시스템을 검증합니다. MIMIC-CXR의 2,548개 예/아니오 질문에 대해, 한 멀티모달 모델은 이미지와 무관하게 '예'라고 답했고, 또 다른 멀티모달 모델은 레이블을 따르지 않은 채 답변을 바꾸었으며, 4개 시스템은 이미지를 사용하지만 반대 레이블의 방사선 사진으로 교체했을 때도 정답의 약 절반을 유지했습니다. 질문 텍스트만 입력받는 의료 모델은 전체 취합된 질문에서 55.3%를 기록하여 두 개의 멀티모달 시스템보다 높은 점수를 얻었습니다. 이 모델은 모든 소견이 존재하는 경우 91.8%를 기록했으며, 모든 질문에 '예'로 답할 경우 해당 조건에서 100%를 기록합니다. 이미지가 반드시 필요한 조건에서 최고 성능의 멀티모달 시스템은 균형 정확도(balanced accuracy)에서 이 모델을 10.4% 앞섭니다. 이러한 범주는 CheXpert에서도 변함없이 유지됩니다. 정답이 표시된 영역에 의존하는 경우에도 신뢰도(confidence)는 더 높아지지 않았습니다. 세 명의 영상의학과 전문의가 참여한 판독자 연구에서 200건의 균형 데이터셋을 판독한 두 명의 전문의는 각각 86.0%와 82.0%를 기록한 반면, 시스템들은 50.0%에서 73.0%를 기록했습니다. 정확도가 이미지의 활용 여부를 입증하지는 못하지만, 이미지에 대한 개입(intervention)을 통해 이를 검증할 수 있습니다.
이 논문은 멀티모달 대규모 언어 모델(MLLM)의 영역 이해(region understanding)와 지역화(localization)를 공동으로 최적화하는 통합 강화학습 프레임워크인 Cycle Group Relative Policy Optimization(CycleGRPO), 즉 '액터를 자체 비평가로(Actor as Its Own Critic)'를 소개한다. 기존의 분리된 파이프라인과 달리, 본 연구는 두 태스크 간의 내재적 이중성을 활용하여 "영역 → 텍스트 → 영역'"이라는 자기 평가 강화학습 패러다임을 구성한다. 구체적으로, 단일 MLLM이 먼저 액터로서 영역 캡션을 생성한 후, 즉시 비평가로 전환하여 생성된 텍스트를 공간 도메인으로 다시 그라운딩한다. 따라서 CycleGRPO는 마스크나 바운딩 박스와 같은 영역 입력만을 필요로 하며, 텍스트 정답 레이블이 전혀 필요하지 않다. 품질 인식 토큰 수준의 주기 일관성 보상(cycle-consistency reward)을 통해 물리적 지역화 정확도를 기반으로 텍스트 캡션의 의미적 변별력을 평가한다. 실험적으로, SAMTok을 기반으로 구축된 CycleGRPO 프레임워크는 두 가지 능력을 동시에 성공적으로 부트스트랩한다. 태스크별 미세조정 없이도, 영역 캡셔닝(region captioning), 영역 VQA(region VQA), 그라운디드 대화(grounded dialogue), 참조 분할(referring segmentation)을 포함한 광범위한 벤치마크에서 일관된 성능 향상을 달성한다. 전반적으로, CycleGRPO는 MLLM의 픽셀 수준 능력을 향상시키는 간단하고 확장 가능한 방법을 제공한다. 코드와 모델은 https://github.com/devinxzhang/CycleGRPO에서 공개되어 있다.
MTLA(Multi-Token Localized Attention)는 멀티모달 대규모 언어 모델(MLLM)의 지역화 예측에서 빈번하게 발생하는 환각(hallucination) 문제를 해결하기 위해, 예측 토큰들이 자신이 지목한 영역 내 입력에 얼마나 강하게 어텐션하는지를 측정하는 학습 불필요 사후 신뢰도 점수를 제안한다. 이미지·비디오·오디오 세 가지 모달리티에서 기존 최고 기준선 대비 환각 AUROC를 최대 +38까지 향상시켰으며, 재순위화(re-ranking) 신뢰도 점수로 활용 시 8B 제너럴리스트 모델의 제로샷 COCO 검출 AP를 20.4에서 37.0으로 거의 두 배 끌어올렸다.
Recent multimodal large language models (MLLMs) have shown strong potential for autonomous driving scene understanding, yet existing methods still face a fundamental trade-off between temporal reasoning and spatial precision. Models that rely on single-frame or low-resolution inputs often miss small, distant, or partially occluded hazards, while language-centric driving models frequently provide limited grounded evidence for their explanations. To address this gap, we propose UniDrive, a unified visual-language and grounding framework for interpretable risk understanding in autonomous driving. UniDrive combines a temporal reasoning branch that models scene dynamics from multi-frame visual input with a high-resolution perception branch that preserves fine-grained spatial details from the latest frame. The two branches are integrated through a gated cross-attention fusion module, enabling dynamic context to be aligned with precise spatial evidence. Based on the fused representation, UniDrive jointly generates natural-language risk descriptions and grounded bounding-box outputs for risk objects. Experiments on the DRAMA-Reasoning benchmark show that UniDrive outperforms representative image-based and video-based baselines in both captioning and risk-object grounding. In particular, UniDrive achieves the best overall performance on the validation split and demonstrates clear advantages in small-object localization, zero-shot generalization to NuScenes and BDD100K, and human-rated interpretability and trustworthiness. These results suggest that explicitly combining temporal semantics and high-resolution perception provides a stronger foundation for interpretable and safety-oriented autonomous driving systems. The code is available at https://github.com/pixeli99/unidrive-dev.