디퓨전 MLLM의 두 가지 시계: 추론 근거가 전개되기 전에 답변이 안정화되는 시점
Two Clocks in Diffusion MLLMs: When Answers Stabilize Before Rationales Unfold
한국어 초록
마스크드 디퓨전(masked diffusion) MLLM에서 답변 후보는 그 추론 근거(rationale)가 여전히 전개되는 동안에도 안정화될 수 있습니다. 본 연구에서는 기록된 후보의 사후적(retrospective) 안정화와 토큰 확정(token commitment)을 구분하고, 근거 생성과 관련하여 이 두 가지 시계를 조사합니다. 세 가지 시각적 질의응답 벤치마크 전반에서 결과를 분석한 결과, 단일 블록 및 EOS 억제 설정의 LaViDa 실행 시 안정화 시점에서 근거 측 캔버스의 89.4~98.1%가 작성되지 않은 채로 남아 있음을 발견했습니다. V*Bench에서는 블록 길이를 128에서 8로 줄임에 따라 답변 커버리지 및 관찰 가능 윈도우와 함께 이 비율이 89.4%에서 1.7%로 변화합니다. EOS 활성화 프롬프팅 환경에서 직접적인 지시사항은 M3CoT 및 ScienceQA에서 Nemotron의 전체 정확도를 각각 15.0 및 19.5%포인트 향상시키지만, LaViDa/V*Bench 정확도는 11.0%포인트 감소시킵니다. 대칭적 분해 분석을 통해 각 변화에서 더 큰 절대적 구성 요소가 조건부 정확도보다는 커버리지와 관련됨을 보였습니다. 캔버스를 일치시킨 이미지 어블레이션(ablation)은 답변 안정화와 함께 시각적 민감도를 측정하여 두 시간적 판독값을 분리합니다. 종합적으로, 이러한 측정들은 답변 안정화, 근거 전개, 시각적 민감도를 명확히 구분하며, 프롬프팅 차이에서 더 큰 비중을 차지하는 요소가 커버리지임을 규명합니다.
원문 초록
An answer candidate in a masked diffusion MLLM can stabilize while its rationale is still unfolding. We distinguish retrospective stabilization of the logged candidate from token commitment, and examine these two clocks relative to rationale generation. Analyzing our results across three visual question-answering benchmarks, we find that 89.4-98.1% of the rationale-side canvas remains unwritten at stabilization in single-block, EOS-suppressed LaViDa runs. On V*Bench, reducing block length from 128 to 8 changes this fraction from 89.4% to 1.7%, together with answer coverage and the eligible observation window. Under EOS-enabled prompting, direct instructions improve Nemotron's overall accuracy by 15.0 and 19.5 percentage points on M3CoT and ScienceQA, but reduce LaViDa/V*Bench accuracy by 11.0 points. A symmetric decomposition associates the larger absolute component of each change with coverage rather than conditional accuracy. Matched-canvas image ablations measure visual sensitivity alongside answer stabilization, separating the two temporal readouts. Together, these measurements distinguish answer stabilization, rationale unfolding, and visual sensitivity, and identify coverage as the larger component of the prompting differences.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
적응적 보기, 유연한 사고: 멀티모달 추론에서 어떻게, 얼마나 길게 생각할지 학습하기
Adaptive Look, Flexible Thought: Learning How and How Long to Think in Multimodal Reasoning
긴 사고의 연쇄(Chain-of-Thought, CoT) 추론과 외부 도구의 도입은 일반 작업과 추론 작업에서 멀티모달 대규모 언어 모델(MLLM)의 성능을 크게 향상시켰다. 그러나 기존의 빠르고-느린(fast-slow) 추론 패러다임은 주로 텍스트 추론의 길이를 조절하는 데 그치며, 외부 도구나 비주얼 토큰에 의해 도입되는 시각적 연산은 흔히 보조적인 구성 요소로 취급된다. 이러한 분리는 MLLM이 시각적 지각(visual perception)과 텍스트 추론을 함께 최적화하는 것을 가로막는다. 이 문제를 해결하기 위해, 우리는 연산의 형태와 깊이를 함께 최적화하는 통합 추론 프레임워크인 L2T(adaptive Look, flexible Thought)를 제안한다. L2T는 먼저 도구가 생성한 시각적 상태를 비주얼 토큰으로 이산화(discretize)하여, 시각적 지각과 텍스트 추론을 공유된 자기회귀(autoregressive) 공간으로 통합한다. 이러한 통합된 표현을 기반으로, L2T는 적절한 추론 모드를 선택하기 위한 모달리티 인지 라우팅 보상(modality-aware routing reward)과 과제의 복잡도에 따라 추론 깊이를 조정하는 난이도 인지 빠르고-느린 전략(difficulty-aware fast-slow strategy)을 도입한다. 일반적인 지각 작업과 추론이 집중적으로 필요한 작업에 대한 실험은 L2T의 효과를 입증한다. 명시적으로 도구를 호출하는 접근법과 비교할 때, L2T는 경쟁력 있는 성능을 유지하면서도 1.7~3.6배 높은 처리량(throughput)을 달성한다.
스텝 제로에서 끝을 예견하기: MLP 희소성 인식 절단을 통한 확산 MLLM 가속
Seeing the End at Step Zero: Accelerating Diffusion MLLMs via MLP Sparsity-Aware Truncation
확산 다중 모달 대규모 언어 모델(DMLLM)은 다중 모달 추론에 매우 효과적이지만, 고정 길이 생성 제약으로 인해 추론 효율이 크게 저해된다. 실제 출력 길이를 알 수 없기 때문에 출력 시퀀스는 사전 정의된 최대 길이까지 패딩되어, 불필요한 [EOS] 토큰에 대한 상당한 중복 연산이 발생한다. 본 연구에서는 DMLLM이 첫 번째 디노이징 단계에서 MLP 활성화 희소성의 뚜렷한 변화를 통해 유효한 의미적 경계를 암묵적으로 드러낸다는 사실을 발견한다. 이 관찰을 활용하여, 본 논문은 신호 대 잡음비(SNR) 기반 기준으로 이 경계를 탐지하고 이후 모든 연산에 대해 불필요한 접미사를 일회성으로 절단하는 학습 없는 프레임워크인 Seer를 제안한다. 배치 서빙 중 이러한 이론적 이득을 유지하기 위해, Seer는 동적 시퀀스 길이를 원활하게 수용하면서 처리량을 극대화하는 하이브리드 실행 전략을 포함한다. 실험 결과 Seer가 패딩 낭비를 효과적으로 제거하여 처리량을 최대 $\sim$31$\times$까지 가속함을 보여준다. 9개 벤치마크에서 Seer는 전반적인 성능을 견고하게 유지하고, 노이즈 누출을 완화함으로써 복잡한 시각 작업에서 정확도까지 향상시킨다(예: DocVQA 점수가 63.52에서 63.66으로 증가). 이는 DMLLM 가속을 위한 매우 효율적인 플러그 앤 플레이 솔루션을 제공한다.
생각이 오히려 해가 될 때: 시각-언어 모델의 추론 체인에 나타나는 인식론적 신호
When Thinking Hurts: Epistemic Signals in the Reasoning Chains of Visual Language Models
시각-언어 모델(VLM)에 대한 불확실성 정량화는 통상적으로 답변 토큰 분포를 대상으로 한다. 우리는 사고 모드(thinking-mode) VLM에서 답변 엔트로피 동작에 대한 최초의 세 가지 계열 실증적 특성화를 제시한다. 네 개의 모델을 동일한 POPE 적대적 샘플에서 실행한 결과, 질적으로 구별되는 세 가지 패턴을 발견했다: Qwen3-VL-8B-Thinking은 완전한 붕괴(ans H AUROC = 0.492)를 보이고, GLM-4.1V-9B-Thinking은 붕괴가 없으며(0.716), InternVL3-8B는 선택적 사고(전체 샘플의 50%에서만 체인 생성, ans H = 전체 0.675 / 사고 전용 0.602)를 보인다. 세 개의 사고 모드 모델 전체에 걸쳐, 체인이 생성된 부분 집합에서 사고 체인 엔트로피가 답변 엔트로피를 능가하며(각각 0.647, 0.759, 0.608 대 0.492, 0.716, 0.602), 이는 체인이 존재할 때마다 체인 신호가 더 신뢰할 수 있는 예측 변수임을 시사한다. 이 결과는 Qwen과 GLM에서 강하게 나타나지만, InternVL3의 경우 미미하고 통계적으로 신뢰하기 어려운 이점만을 보인다(n_FP = 17). VQAv2 300샘플 파일럿 실험에서 체인 엔트로피(0.680)가 VQAv2 질문에서 답변 엔트로피(0.595)를 능가함을 확인하며, 자유형 답변에서 그 격차가 가장 크다(0.733 대 0.467). 더 어려운 추론 과제(HallusionBench)에서 두 Qwen 모델 모두 중간 수준의 신호를 보이며(약 0.64), 이는 어려운 질문에 대한 불완전한 사전 확약과 일치한다. 또한 우리는 전체 질의의 12~22%에 영향을 미치는 구조적 기권(abstention) 현상을 문서화하는데, 이는 부재 객체 질의 방향으로의 비대칭성을 보이며, 추가적인 추론 비용 없이 62.7% 커버리지에서 정확도를 71.0%에서 93.8%로 향상시키는 실용적인 기권 게이트를 제안한다.
ChartSync: 시각-논리적 연쇄 차트 편집을 위한 벤치마크
ChartSync: A Benchmark for Visuo-Logical Cascading Chart Editing
생성형 이미지 편집 모델은 데이터 수정이 기하학적 동기화를 필요로 하는 구조화된 통계 차트를 처리하는 데 어려움을 겪는다. 우리는 이 과제를 시각-논리적 연쇄 편집(Visuo-Logical Cascading Editing, VLCE)으로 공식화한다. 그러나 기존 방법들은 국소적인 텍스트 대체에 국한되며 의존성을 인식하는 연쇄 업데이트에 어려움을 보인다. 이 능력을 체계적으로 평가하기 위해, 우리는 ChartSync를 소개한다. ChartSync는 정답에 대한 결정론적 시각-논리적 결합을 보장하는 프로그래밍 방식의 렌더링 파이프라인을 통해 구성된 전문가 검증 벤치마크이다. ChartSync는 9개 차트 범주와 4가지 과제 유형에 걸친 870개의 트리플렛으로 구성되며, 연쇄적인 텍스트-기하학 동기화를 특정적으로 테스트하는 235개의 기하학적으로 결합된 VLCE 인스턴스를 포함한다. 우리는 이 인스턴스들을 객관적 시각 지표와 비전-언어 모델 판사 패러다임을 결합한 이중 계층 프레임워크를 통해 평가함으로써, 저수준 충실도와 멀티모달 이해 및 추론을 함께 측정한다. 14개의 이미지 편집 모델과 하나의 코드 매개 파이프라인을 평가한 결과, 미묘한 능력 격차가 드러났다. 대부분의 오픈소스 모델은 기하학적 동기화에서 심각한 성능 저하를 보이는 반면, 두 개의 최전선 독점 모델만이 VLCE 능력의 창발적 징후를 나타냈으며, 이들의 잔여 오류는 주로 의미론적 고립과 배경 손상을 수반한다. 우리의 상세한 오류 분석은 이러한 실패 패러다임을 분해하여 미래 멀티모달 아키텍처를 안내할 핵심 메타 능력을 식별한다. ChartSync 데이터셋과 코드는 https://github.com/kaka-yjk/ChartSyncCodebase에서 공개적으로 배포된다.
대규모 비전-언어 모델에서의 인지 전문가 혼합
Mixture of Cognitive Experts in Large Vision-Language Models
Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다
Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation
본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
NeurIPS 2026 Workshop on BeNTo (Beyond Next-Token Prediction - Diffusion & Flow Models for Next-Generation Decoding)