arXiv:2611.17334v1 cs.CV

멀티모달 비전 인코딩의 분해

Unbundling Multimodal Vision Encoding

Ellis Brown, Chris Hoang, Shengyi Qian, Shang-Wen Li, Mike Lewis, Marjan Ghazvininejad, Luke Zettlemoyer, Lucas Beyer, Mengye Ren, Jakob Verbeek, Saining Xie, Hu Xu

제출 2026-11-12

저자 비고

arXiv Comments

Project page: https://unbundling.github.io

한국어 초록

멀티모달 언어 모델이 시각 입력을 어떻게 인코딩해야 하는지는 여전히 논쟁 중이다. 대부분의 모델은 사전 학습된 비전 인코더를 사용하지만, 최근 일부 방식은 인코더를 언어 모델과 함께 처음부터 학습하거나 인코더를 완전히 제거한다. 비전 인코더는 세 가지 설계 선택, 즉 상위 단계 사전 학습에서 얻는 시각적 사전 지식, 전용 비전 용량, 그리고 그 용량의 융합 이전 배치(즉, 멀티모달 백본 이전에 배치)를 하나로 묶고 있다. 공개된 모델들은 데이터, 아키텍처, 연산량도 서로 다르므로, 이들을 비교해서는 각 선택의 효과를 분리할 수 없다. 우리는 모든 모델을 공통 데이터로 처음부터 사전 학습하고 동일한 전체 학습 연산량 조건에서 시각 질의응답 및 언어 벤치마크로 비교하는 통제된 프레임워크를 통해 이러한 선택들을 분리한다. 그 결과 시각적 사전 지식은 필수적이지 않음을 확인했다. 처음부터 함께 학습한 인코더는 별도의 학습 단계 없이도 사전 학습된 인코더와 대등한 성능을 보인다. 대신 중요한 것은 전용 비전 용량이다. 인코더가 없는 모델은 백본을 인코더의 파라미터 수만큼 확대하더라도 시각 이해에서 뒤처진다. 그러나 그 용량이 멀티모달 융합보다 앞에 위치할 필요는 없다. 백본 초기 레이어에 융합 단계에서 추가한 비전 전용 모듈은 융합 이전 인코더와 비슷한 성능을 보이며 첫 토큰까지의 시간을 줄일 수 있다. 이러한 결과는 백본 크기가 달라져도, 인코더 사전 학습 비용을 무시하는 경우에도, 사전 학습된 언어 모델에서 시작하는 경우에도 유지된다. 종합하면, 우리의 연구 결과는 백본과 함께 학습되고 백본 초기에 배치된 전용 비전 용량을 지지한다.

원문 초록

How multimodal language models should encode visual input remains up for debate. Most models use a pretrained vision encoder, while some recent recipes train the encoder from scratch with the language model or remove it entirely. Vision encoders bundle together three design choices: a visual prior from upstream pretraining, dedicated vision capacity, and pre-fusion placement of that capacity (i.e., before the multimodal backbone). Because published models also differ in data, architecture, and compute, comparing them cannot isolate the effect of each choice. We disentangle these choices via a controlled framework where we pretrain all models from scratch on common data and compare them on visual question answering and language benchmarks at matched lifetime compute. We find that the visual prior is not necessary; an encoder trained jointly from scratch is on par with a pretrained one, without a separate training stage. What matters instead is dedicated vision capacity: an encoder-free model trails on visual understanding even when its backbone is enlarged by the encoder's parameter count. Yet that capacity need not precede multimodal fusion, as vision-only modules added in-fusion to early backbone layers perform comparably to a pre-fusion encoder and can lower time to first token. These results also hold across backbone sizes, when encoder pretraining is treated as free, and when starting from a pretrained language model. Overall, our findings favor dedicated vision capacity trained jointly with the backbone and placed early within it.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.17334v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.