질문 속의 코끼리: 통합 모델은 답변 뒤의 개념을 그려낸다
The Elephant in the Question: Unified Models Picture the Concepts Behind Their Answers
한국어 초록
중간 표현을 시각화하면 모델 출력의 기저에 있는 추론 단계를 점검하는 데 도움이 될 수 있다. 통합 멀티모달 모델은 이해와 생성을 하나의 아키텍처에서 결합하여 이러한 기회를 제공한다. 이들의 이미지 생성기는 텍스트를 처리하는 동안 형성된 표현에 접근할 수 있다. 우리는 이러한 연결을 이용해 디코더를 학습하지 않고도 선택한 토큰의 은닉 상태를 시각화하는 V-lens를 소개한다. 확산 기반 통합 모델 네 개와 순수 자기회귀 통합 모델 두 개에 걸쳐, 생성된 이미지는 개념이 명시적으로 언급되지 않더라도 질문과 답변을 연결하는 핵심 중간 개념을 드러낸다. 통제된 실험은 이러한 내용이 문맥, 토큰 위치, 깊이에 따라 어떻게 변하는지 보여준다. 이어서 V-lens를 통해 선택된 은닉 상태를 그림으로 지도하는 렌즈 튜닝을 소개한다. BAGEL, SenseNova-U1, HunyuanImage-3.0 전반에서 대명사 지시 대상의 올바른 시각화 비율이 2-11%에서 86-94%로 상승한다. 놀랍게도 이러한 시각적 지도는 답변 토큰을 직접 지도하지 않고도 텍스트 답변 또한 개선한다. 코드는 https://github.com/multimodal-ai-lab/V-lens 에서 이용할 수 있다.
원문 초록
Visualizing intermediate representations could help us inspect the reasoning steps underlying a model output. Unified multimodal models offer this opportunity by combining understanding and generation in one architecture. Their image generators can access representations formed while processing text. We introduce the V-lens, which uses this connection to visualize a chosen token's hidden state without training a decoder. Across four diffusion-based and two purely autoregressive unified models, the resulting images reveal key intermediate concepts that connect a question to its answer even when the concepts are never named explicitly. Controlled tests show how this content changes with context, token position, and depth. We then introduce lens tuning, which supervises selected hidden states with pictures through the V-lens. Across BAGEL, SenseNova-U1, and HunyuanImage-3.0, the rate of correct visualizations of pronoun referents rises from 2-11% to 86-94%. Surprisingly, such visual supervision also improves text answers without supervising the answer tokens directly. Code is available at https://github.com/multimodal-ai-lab/V-lens.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24793v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.