Multi-modal Large Language Models (MLLMs) have made substantial advances on benchmarks, yet their real-world effectiveness remains uncertain. This gap stems from the fundamental misalignment between benchmarks in controlled, static settings and the dynamic, interactive, and contextualized nature of real-world applications. To bridge this gap, we propose CEDI (Contextualized Evaluation of MLLMs through Dynamic, multi-round Interactions), a framework that recasts evaluation as a three-party interaction between an evaluatee model, an automated examiner, and a grader. The examiner conducts multi-turn, semi-structured conversations guided by a graph-based representation of the task. By navigating state-space transitions, CEDI deploys diverse strategies, from clarification requests to adversarial probes, to elicit performance evidence. We apply CEDI to visual hallucinations. Empirical results across multiple models, diverse settings, datasets, and domains show that contextualized, interactive evaluations reveal not only significantly more hallucinations than conventional static evaluation but also ones that more closely resemble those arising in practical use cases. We further show that hallucinations often accumulate over long contexts, through self-reinforcing dialogue history, and models are particularly vulnerable to questions requiring premise rejection or refusal. Together, these findings highlight CEDI as a step toward realistic, systematic, and ecologically valid assessments of MLLMs' capabilities. Code is available at github.com/williamium3000/cedi.
비전-언어 모델(VLM)은 여러 깊이에서 토큰별 시각 연산이 불필요한 경우에도 모든 시각 토큰이 모든 디코더 층의 어텐션 및 MLP 프로젝션을 거쳐 처리되기 때문에 상당한 추론 비용을 발생시킵니다. 본 논문에서는 기계론적 해석가능성(Mechanistic Interpretability)에서 영감을 받아, 활성화 패칭(activation patching)을 진단 도구에서 추론 시점의 연산 우회 방식으로 전환하는 학습 불필요(training-free) 프레임워크인 Patch-to-Prune(P2P)을 제안합니다. P2P는 검증 기반 전방향 및 역방향 층 스윕을 수행하여, 사용자가 지정한 정확도 허용 범위 내에서 시각 토큰 프로젝션 출력을 고정된 중립 대리 활성화 벡터로 대체할 수 있는 디코더 영역을 식별합니다. 기존의 토큰 가지치기 방법과 달리, P2P는 시퀀스 길이, 토큰 순서, 위치 정보, 어텐션 마스크 및 잔차 경로를 보존하므로 토큰을 제거하거나 사전학습된 모델 가중치를 수정하지 않고도 연산을 가지치기합니다. 우리는 상호 배타적인 캘리브레이션, 검증 및 테스트 분할을 사용하여 7개의 멀티모달 벤치마크에 걸쳐 Qwen2.5-VL 및 LLaVA 계열의 4개 VLM에서 P2P를 평가합니다. 3% 허용 오차에서 P2P는 고밀도(dense) 정확도의 약 94%를 유지하면서 FLOP을 55% 줄입니다. 이러한 효율성 향상 외에도, 층별 분석을 통해 VLM의 시각적 처리가 디코더 깊이에 걸쳐 불균일하게 분포되어 있음을 시사합니다. 초기 및 후기 층은 토큰별 시각 연산을 거의 필요로 하지 않는 반면, 중간 층은 대부분의 과제 관련 시각적 통합을 수행하여 이후의 추론이 공유된 잔차 및 텍스트 표현에 이미 임베딩된 시각 정보에 크게 의존할 수 있도록 합니다. 이는 P2P를 효율적인 추론 프레임워크인 동시에 VLM의 시각 정보 처리를 들여다보는 인과적 렌즈로 만들어 줍니다.
비전-언어 모델(VLM)은 텍스트를 긴 토큰 시퀀스로 토큰화할 필요 없이, 렌더링된 이미지로 처리할 수 있는 흥미로운 가능성을 제공한다. VLM 이미지 인코더는 고정 크기 이미지를 고정된 수의 시각 토큰으로 매핑하므로, 렌더링 해상도를 바꾸면 세밀한 압축 조절 수단이 된다. 그러나 압축이 커질수록 정확도는 빠르게 저하된다. 문자가 비전 인코더의 유효 해상도 아래로 줄어들어 구분이 불가능해지기 때문이다. 이를 해결하기 위해 우리는 LensVLM을 제안한다. 이는 VLM이 압축된 이미지를 스캔한 뒤, 학습된 도구를 통해 관련된 이미지만 선택적으로 비압축 형태로 확장할 수 있게 하는 추론 프레임워크이자 사후 학습 레시피이다. Qwen3.5-9B-Base를 기반으로 한 LensVLM은 4.3$\times$ 유효 압축에서 전체 텍스트 상한에 필적하는 정확도를 유지하며, 일곱 개의 텍스트 QA 벤치마크에서 최대 10.1$\times$ 유효 압축까지 검색 기반·텍스트 및 시각 압축 베이스라인을 능가한다. LensVLM은 또한 멀티모달 문서 및 코드 이해 작업으로 일반화되며, 압축이 증가할수록 베이스라인 대비 정확도 이득이 커진다. 우리의 분석은 이 접근을 뒷받침한다. 학습은 시각 압축을 렌더링 선택에 강건하게 만들고, 압축이 커질수록 모델은 신뢰할 수 없는 시각적 읽기보다 확장된 내용에 점점 더 의존한다. 분석은 또한 실용적인 도구 선택 지침을 제공한다. 렌더링된 텍스트에는 텍스트 확장이 바람직하고, 레이아웃 단서가 과제 관련 정보를 담는 네이티브 문서에는 고해상도 이미지 확장이 적합하다.
문맥 내 모방 학습은 로봇이 시연으로부터 기술을 습득하게 하지만, 원샷(one-shot) 궤적 생성은 환경 변화 하에서 여전히 취약하다. 우리는 로봇 모방을 테스트 시간 연산량에 따라 스케일링할 수 있는 반복적 정제 문제로 재구성하는 프레임워크 SAIL을 제안한다. SAIL은 몬테카를로 트리 탐색(Monte Carlo Tree Search)을 활용하며, 각 노드는 완전한 궤적이고 간선은 궤적 정제에 대응한다. 이 과정은 세 가지 핵심 구성 요소로 이끌린다: 문맥적으로 관련 있는 검색을 위한 성공 궤적의 자동 아카이브, 궤적 평가를 위한 비전-언어 모델 기반 채점 메커니즘, 반복적 정제를 위해 궤적에 정렬된 점수를 제공하는 단계 수준 피드백. 시뮬레이션과 실제 환경 검증에서 여섯 가지 다양한 조작 작업에 걸친 실험은 테스트 시간 연산량을 늘리면 성공률이 일관되게 향상되며, 복잡한 작업에서 최대 95%에 달함을 분명히 보여준다. 우리 결과는 궤적 수준의 테스트 시간 스케일링이 더 일반화 가능한 로봇 에이전트를 향한 견고한 경로임을 시사한다.
대규모 비전-언어 모델(LVLM)은 이미지 및 영상 이해 작업 전반에서 인상적인 성능을 보이지만, 계산 비용은 시각 토큰 수에 따라 급격히 증가한다. 기존 토큰 가지치기 방법은 경험적 접근을 통해 이 문제를 완화하지만, 어텐션의 내부 메커니즘은 간과한다. 본 논문에서는 어텐션의 이중 형태(dual form) 관점에 기반한 새로운 학습 없는(training-free) 토큰 가지치기 프레임워크를 제안한다. 우리는 어텐션을 암시적 선형 계층으로 재공식화하는데, 이 계층의 가중치 행렬은 각각 단일 토큰의 key-value 쌍에 의해 생성되는 rank-1 외적의 합이다. 따라서 토큰 가지치기는 원래의 이중 가중치 행렬을 가장 잘 근사하는 이러한 rank-1 갱신의 최적 부분집합을 선택하는 문제로 환원된다. 이 관점을 LVLM의 표준 소프트맥스 어텐션으로 확장하여, 토큰의 정보량과 정보 중복을 모두 정량화하는 새로운 지표를 유도한다. 제안한 지표로 부분집합을 효율적으로 선택하기 위해 Progressive Chunked Maximal Marginal Relevance를 도입한다. 광범위한 실험 결과, 본 방법은 성능과 효율성 사이에서 더 나은 절충을 달성하며, 기존 가지치기 접근법에 대한 또 다른 관점을 제공함을 보여준다.
비전-언어 모델(VLM)의 데이터 큐레이션(data curation)은 점점 활발해지고 있지만, 사전학습 혼합(mixture) 구성에 대한 공개된 관행은 여전히 대체로 휴리스틱(heuristic)에 의존한다. 실무자들은 품질 필터를 통과한 데이터셋을 쌓아 올리고, 도메인 간 비율은 직관에 따라 설정하며, 새로운 데이터를 편입할 원칙적이고 귀속 가능(attributable)한 기준을 갖추지 못한 채 최첨단 레시피는 공개되지 않은 상태로 남아 있다. 우리는 데이터 구성을 체계적인 혼합 최적화(mixture-optimization) 문제로 공식화하고, 혼합을 두 개의 직교(orthogonal) 하위 문제—역량(capability) 간 클래스 간(inter-class) 비율과 카테고리 내 클래스 내(intra-class) 비율—로 분리함으로써 이를 재현 가능한 엔지니어링 절차로 전환한다. 클래스 간 할당에는 단일 변수 반복 탐색을 사용하고, 클래스 내 구성에는 다차원의 데이터셋 수준 평가로 품질(Quality)과 난이도(Difficulty)를 점수화한 뒤, 다양성(diversity) 목표를 갖춘 제약 볼록 최적화(constrained convex optimization)로 선택 문제를 공식화한다. DecoupleMix 프레임워크는 두 가지 핵심 기능을 제공한다: 다음에 수집할 데이터를 안내하고, 데이터셋 검증을 통제 가능하고 귀속 가능한 실험으로 만든다. 실험 결과, 우리 접근법은 휴리스틱 기준선(baseline)을 일관되게 능가한다. 더 나아가, 소규모 프록시(proxy)에서 발견한 최적 비율은 재조정(retuning) 없이 더 큰 규모로 원활히 이전(transfer)된다. 800억(80B) 개의 추가 멀티모달 지속 사전학습(continue-pretraining) 토큰을 사용하여, 우리 VLM은 훨씬 더 큰 멀티모달 예산으로 학습된 강력한 오픈소스 모델과 경쟁력 있는 성능을 보인다.
텍스트-이미지 생성 모델은 자연어 설명으로부터 고품질 이미지를 합성할 수 있지만, 성능은 여전히 프롬프트 구성에 매우 민감하다. 기존 프롬프트 최적화(optimization) 방법은 주로 텍스트 측 재작성, 프롬프트 확장, 또는 외부 보상(reward) 신호에 의존하며, 이미지 그라운딩(grounding) 진단은 제한적이고 재사용 가능한 최적화 정책 학습을 약하게 지원한다. 본 논문에서는 이미지 그라운딩 자기 보상 메커니즘을 통한 프롬프트 정제 프레임워크인 PRISM을 제안한다. PRISM은 구조화된 시각 진단으로 생성된 이미지를 해석하고 의미적 일관성, 미적 품질, 인간 선호 정렬(alignment)을 기준으로 점수를 매김으로써 프롬프트-이미지-피드백 루프를 닫는다. 먼저 다중 과제 지도 미세조정(supervised fine-tuning)을 통해 통합 VLM을 초기화한 다음, 하이브리드 이상점(ideal-point) 및 Chebyshev 보상을 사용한 자기 보상 최적화를 통해 프롬프트 정책을 개선한다. 광범위한 실험 결과, PRISM은 전반적인 이미지 품질과 세밀한 의미 정렬을 향상시키며, 목표 지향적 프롬프트 정제를 위한 해석 가능한 피드백을 제공한다는 것을 보여준다. 코드는 https://anonymous.4open.science/r/PRISM-FF81 에서 이용할 수 있다.
다중모달 대규모 언어 모델(MLLM)은 인상적인 성능을 달성했지만, 안전성 정렬(alignment)은 여전히 탈옥(jailbreak) 공격에 취약하다. 기존 콘텐츠 기반 탈옥은 종종 일관성이 부족하고 빠르게 진화하는 MLLM에 대해 만족스럽지 못한 성능을 보이며, 콘텐츠 기반이 아닌 취약점을 활용하지 못한다. 이전 연구와 달리, 우리는 MLLM이 이해 능력과 안전 능력 사이에 스타일적 불일치(Stylistic Inconsistency)를 보인다는 것을 실증적으로 발견했다. MLLM은 시각적 스타일과 무관하게 콘텐츠를 견고하게 이해할 수 있지만, 방어 메커니즘은 특정 스타일적 트리거에 의해 쉽게 우회될 수 있다. 이 발견을 바탕으로 우리는 적대적 스타일 최적화(Adversarial Style Optimization, ASO)를 제안한다. ASO는 기존 시각적 탈옥을 증폭하는 플러그 앤 플레이(plug-and-play) 향상 모듈로, Group Relative Policy Optimization(GRPO) 에이전트가 구조적 계층형 보상 함수(Structurally-Tiered Reward Function)의 안내를 받아 이미지 편집 모델을 파인튜닝(fine-tuning)하여, 주어진 적대적 이미지에 최적화된 스타일 수정을 중첩한다. 이 보상 함수는 명시적 거부를 탐지하는 로짓 기반 신호와 강력한 판단 모델의 고충실도 의미 평가를 결합한다. 광범위한 실험 결과 ASO가 SOTA 공격의 공격 성공률(ASR)을 크게 향상시킴을 보여 주며, 스타일적 편향이 MLLM 레드팀 테스팅(red-teaming)을 위한 확장 가능한 벡터임을 입증한다. 코드는 https://github.com/bingjunluo/ASO 에서 이용 가능하다.
뛰어난 성능에도 불구하고, 비전-언어 모델(VLMs)은 다수의 비주얼 토큰으로 인해 상당한 계산 오버헤드를 발생시킵니다. 다양성 최대화가 토큰 축소의 지배적인 전략이 되었지만, 기존 방법들은 크기 정보를 버리는 코사인 기반 정규화 유사도에 의존하여 원래의 특징 표현을 충실히 근사하지 못하고, 특히 구성적 다중 기술 추론 작업에서 최적에 미치지 못하는 성능을 초래합니다. 본 논문에서는 토큰 가지치기를 열 부분집합 선택 문제로 재정의하고 재구성 오차를 명시적으로 최소화하는 부분공간 재구성 방법인 SPARE를 소개합니다. SPARE는 큰 투영 잔차를 가진 토큰을 반복적으로 선택하여, 각도 기반 다양성을 넘어선 재구성 기반 가지치기를 수행합니다. 더 나아가, 우리는 직관에 반하는 반관련성 현상을 밝혀냈습니다: 이미지-텍스트 관련성 점수가 더 낮은 토큰이 문맥 정보를 더 잘 보존할 수 있다는 것입니다. 이 발견을 바탕으로, 우리는 문맥 인식 토큰 선택을 촉진하기 위해 반관련성을 SPARE에 추가적인 선택 기준으로 통합합니다. 다양한 VLM과 벤치마크에 걸친 광범위한 실험을 통해 SPARE가 구성적 작업에서 큰 향상을 보이며 최첨단 성능을 일관되게 달성함을 입증합니다. LLaVA에 적용했을 때, SPARE는 완전히 학습 없이 비주얼 토큰의 최대 94%를 제거하면서도 기준선 성능의 95%를 유지합니다.
우리는 장시간 비디오 질의응답(LVQA)을 수동적인 단일 패스 인식 작업에서 다중 턴 검색 프로세스로 전환하는 에이전트 프레임워크 VSeek을 소개한다. VSeek은 자연어 기반 검색을 활용하여 장시간 비디오 내 관련 컨텍스트를 식별하고, 강화학습(RL)을 통한 사후 학습으로 LVQA를 위해 목표 검색 쿼리를 공동으로 생성하고 검색된 클립을 추론한다. RL 사후 학습은 수학 및 코드와 같은 기호적 영역의 추론을 혁신했지만, 장시간 비디오 이해에의 적용은 검증된 보상의 부재로 인해 제약을 받아왔다. 검색된 컨텍스트의 관련성을 보장하기 위해, 우리는 개방형 자연어와 이산적 시각 검증을 연결하는 새로운 신경-기호 접근법을 제안한다. 구체적으로, 복잡한 사용자 쿼리를 형식적 시간 논리 명세로 컴파일하여 자연어 질문을 주요 객체 및 활동과 그 시간적 순서 등 필수 원자적 시각 기본 요소들의 명확한 체크리스트로 체계적으로 분해한다. 이렇게 체계적으로 도출된 그라운딩 이벤트는 RL 사후 학습을 위한 핵심 피드백 신호를 제공하며, 결과 정확도에만 의존하지 않고 특정 시각 요소의 성공적인 검색에 기반한 밀도 있고 검증 가능한 보상을 가능하게 한다. 이러한 검증 가능한 증거 탐색 행동을 명시적으로 최적화함으로써, VSeek은 기반 모델 대비 장시간 비디오 이해 벤치마크에서 Pass@1 점수를 최대 8%, Pass@4 점수를 15% 향상시킨다. 코드는 https://utaustin-swarmlab.github.io/VSeek 에서 오픈소스로 공개한다.
경량 VLM의 이미지 쌍 선호 피드백으로 포텐셜 기반 보상 형성(PBRS)용 포텐셜 함수를 학습하는 VLM-PBRS를 제안해, 전문가가 설계한 보상 형성 없이도 최적 정책을 보존한다. Meta-World와 Franka Kitchen에서 샘플 효율이 개선되고 보상 해킹에 견고하며, VLM 선호도 레이블 정확도와 학습 가속 효과가 연관됨을 보였다.
최근의 발전에도 불구하고, 비전-언어 모델(VLM)은 여전히 세계의 동역학을 파악하는 데 어려움을 겪고 있다. 4D 장면에 대한 추론 능력은 그 자체로도 도전적이지만, 두 가지 요인으로 인해 더욱 복잡해진다. 첫째, VLM은 움직임을 2D 이미지에 투영된 형태로만 간접적으로 관찰한다. 둘째, 기존 데이터셋은 객체 움직임과 카메라 움직임을 분리하지 못한다. 이러한 문제를 해결하기 위해, 우리는 움직임 관련 장면 이해에 초점을 맞춘 QA 생성 파이프라인을 제시한다. 우리는 카메라 움직임과 객체 움직임의 혼재 문제를 해결하기 위해, 전통적인 방식의 추적과 함께 직관적인 움직임 서술을 제공하는 새로운 고정 기준계 방식인 True-Motion Tracking을 도입하여 추적을 수행한다. 이 파이프라인으로부터 40만 샘플 규모의 대규모 학습 데이터셋인 4DP-QA(4D Perception QA)와 2,200개 샘플 규모의 벤치마크인 4DP-QA-Bench를 생성한다. 우리의 데이터셋으로 기존 모델을 학습시키면 외부 벤치마크에서 성능 향상이 나타나, 제안 방법의 효과를 검증한다.