arXiv:2609.27948v1 cs.CV

VIVAS: 비전-언어 통합 자기회귀 감독을 통해 VLM 사전학습에서 시각적 지각 활성화하기

VIVAS: Vitalizing Visual Perception in VLM Pre-training via Vision-language Unified Autoregressive Supervision

Zhehan Kan, Yubo Zhu, Xinghua Jiang, Zhixiang Wei, Shifeng Liu, Wei Tong, Sheng Zhong, Qingmin Liao, Wenming Yang, Xin Li, Yinsong Liu, Deqiang Jiang, Xing Sun

제출 2026-09-24

한국어 초록

비전-언어 모델(VLM)은 강력한 성능을 보여주지만, 미세한 시각적 지각(fine-grained visual perception)이 부족하여 멀티모달 이해가 근본적으로 제한된다는 치명적인 한계를 여전히 겪고 있습니다. 본 논문에서는 이러한 병목 현상이 사전학습(pre-training) 중 텍스트 지향적 최적화 편향에서 기인한다고 보며, 이는 모델이 미세한 시각적 세부 정보를 간과하도록 유도하여 멀티모달 이해 능력을 저해합니다. 연구 결과, 이러한 병목을 극복하기 위해서는 두 가지 핵심 요소가 필요한 것으로 나타났습니다: (1) 안정적인 학습(training) 역학을 보장하는 통합 토큰(token) 공간 패러다임, (2) 핵심적인 시각적 표현을 포착하기 위해 구조적 세분성과 의미론적 정보가 모두 풍부하게 포함된 모달리티 정렬 고밀도 시각 감독 신호입니다. 이러한 통찰을 바탕으로, 통합 토큰 공간 패러다임을 기반으로 구축된 프레임워크인 VIVAS를 제안합니다. VIVAS는 시각 어휘를 통합하여 텍스트 어휘를 통합 비전-언어 어휘로 확장하는 고밀도 구조-의미론적 비전 토크나이저를 도입합니다. 사전학습 과정에서 VIVAS는 시각적 세부 정보와 언어적 콘텐츠 모두에 대해 비전-언어 통합 자기회귀 감독을 수행함으로써, 시각적 지각을 강화하여 멀티모달 이해도를 향상시킵니다. 12.4T 토큰으로 엔드투엔드 학습된 VIVAS는 7개 작업과 39개 멀티모달 벤치마크 전반에 걸쳐 최고 수준의 성능을 달성합니다.

원문 초록

While Vision-Language Models (VLMs) demonstrate strong capabilities, they continue to suffer from a critical limitation: insufficient fine-grained visual perception, which fundamentally limits their multimodal understanding. We attribute this bottleneck to text-dominant optimization biases during pre-training, which encourage the model to overlook fine-grained visual details, thereby limiting the capability of multimodal understanding. We investigate that overcoming this bottleneck requires two key elements: (1) a unified token space paradigm that ensures stable training dynamics, and (2) a modality-aligned dense visual supervision signal enriched with both structural granularity and semantic information to capture critical visual representations. Based on these insights, we propose VIVAS, a framework built upon the unified token space paradigm, which introduces a dense-structural-semantic vision tokenizer, which expands the textual vocabulary into a unified vision-language vocabulary by incorporating a visual vocabulary. During pretraining, VIVAS performs vision-language unified autoregressive supervision over both visual details and linguistic content, thereby enhancing visual perception to improve multimodal understanding. Trained end-to-end on 12.4T tokens, VIVAS achieves state-of-the-art performance across 7 tasks and 39 multimodal benchmarks.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27948v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01917v1cs.CV공통 태그 Representation Learning, Visual Question Answering, vision-language model

MoLE: 상호보완적 시각 추론을 위한 잠재 전문가 혼합

MoLE: Mixture of Latent Experts for Complementary Visual Reasoning

잠재 시각 추론(latent visual reasoning)은 명시적인 텍스트 추론 경로(trace)나 반복적인 이미지 연산 없이도 시각적 증거를 처리할 수 있는 연속적인 중간 상태를 비전-언어 모델(vision-language model)에 제공합니다. 그러나 기존 방식들은 공유된 가치 프로젝션(value projection)을 통해 여러 잠재 토큰이 동일한 시각적 증거에 접근하도록 허용하는 경우가 많아, 상호보완적인 시각 정보를 추출할 수 있는 메커니즘을 제공하지 못합니다. 따라서 단순히 잠재 토큰의 예산(budget)을 늘리는 것만으로는 중복된 잠재 표현이 생성될 수 있습니다. 본 연구에서는 효과적인 잠재 추론을 위해 서로 다른 잠재 토큰들이 상호보완적인 시각 정보를 추출하도록 유도하여 전문화된 시각 전문가 역할을 수행하게 해야 한다고 주장합니다. 이러한 통찰을 바탕으로, 각 잠재 시각 전문가가 관찰하는 시각적 증거와 이를 변환하는 방식을 모두 제어하는 잠재 전문가 혼합(Mixture of Latent Experts) 프레임워크인 MoLE를 제안합니다. MoLE는 증거 추출 과정에서 잠재 시각 전문가들을 격리하고, 전용 잠재 요약 전문가를 활용해 잠재 시각 전문가들의 상호보완적인 표현을 집계합니다. 2단계 학습 파이프라인은 먼저 시각적 증거가 이 잠재 경로를 통과하도록 강제한 후 직접적인 시각적 접근을 복원하므로, 사전에 정의된 전문가 역할이나 중간 시각적 목표가 필요하지 않습니다. 5개의 시각 추론 벤치마크 전반에서 MoLE는 평균 점수 78.6점을 달성하여, 동일한 데이터로 매칭된 지도 미세조정(supervised fine-tuning)보다 4.9점, 동일한 잠재 예산에서 평가된 가장 강력한 잠재 시각 추론 기준선(baseline)보다 3.6점 높은 성능을 보였습니다. 표현 분석 결과 잠재 상태 간 유사도가 낮아지고 더 다양한 시각적 어텐션이 나타났으며, 잠재 경로를 마스킹했을 때는 평균 성능이 9.2점 감소했습니다. 이러한 결과는 단순히 잠재 토큰 수를 늘리는 것보다 잠재 연산을 전문화하는 것이 더 효과적임을 입증합니다.

arXiv:2610.00848v1cs.CV공통 태그 Representation Learning, vision-language model

VLM 저수준 비전 표현에서의 기하학적 유사성

Geometric Similarity in VLM Low-Level Vision Representations

비전-언어 모델(Vision-Language Model, VLM)은 범용 비전 백본(backbone)의 강력한 후보로 부상했으며, 대표적인 아키텍처로는 자기회귀(autoregressive, AR) 모델과 디퓨전 트랜스포머(diffusion transformer, DiT)가 있다. 그러나 이들을 올인원(all-in-one) 저수준 이미지 복원(low-level image restoration)에 효율적으로 적용하는 것은 여전히 과제로 남아 있다. 특히, VLM이 은닉층(hidden-layer) 표현을 어떻게 조직하는지, 그리고 이처럼 구조적으로 서로 다른 패러다임들이 픽셀 수준 지각(pixel-level perception)에 대해 공통된 기하학적 조직을 공유하는지에 대한 이해가 이 분야에 부족하다. 이러한 공유된 조직은 높은 전이 가능성(transferability)을 지닌 통합 복원 VLM 및 어댑터(adapter)를 구축하기 위한 전제 조건이다. 본 논문에서는 5개 범주에 걸친 24개의 저수준 과제(task)에 대해 표현 유사성(representational similarity)을 체계적으로 조사한다. 우리는 전역 유사성(global similarity), 지역 기하(local geometry), 희소 특징(feature) 분해, 위상학적 검증(topological verification)의 관점에서 과제 조건화(task-conditioned)된 표현을 분석하는 통합 4단계 프레임워크인 GeoSim을 제안한다. 본 formulation은 동일 과제/모델(model) 및 교차 과제/모델 설정 모두에서 AR 모델의 은닉 상태(hidden state)와 DiT의 특징(feature) 맵 분석에 적용된다. 연구 결과는 저수준 시각 표현의 조직화 원리를 밝히는 동시에, 교차 과제 및 교차 모델 일치성(agreement)의 한계를 드러낸다. 궁극적으로 GeoSim은 저수준 비전에서의 잠재적 전이 가능성을 탐구하고, 과제별 또는 모델별 시나리오에서 모델의 한계를 진단하기 위한 해석 가능성(interpretability) 관점을 제공한다.

arXiv:2610.02091v1cs.CV공통 태그 Representation Learning, vision-language model

GeoLatent: 3D 추론을 위한 라우팅된 최적화 기반 기하학 유도 잠재 구조화

GeoLatent: Geometry-Guided Latent Structuring with Routed Optimization for 3D Reasoning

비전-언어 모델(vision-language model)의 발전에도 불구하고, 2D 이미지로부터 3D 공간 추론을 수행하는 것은 여전히 어려운 과제로 남아 있습니다. 텍스트 기반 방법들은 중간 기하학적 정보를 이산 토큰(token)으로 기술하므로 연속적인 공간 관계에 대한 충실도가 제한됩니다. 연속 잠재 변수(continuous latent)는 더 풍부한 표현을 제공하지만, 단일 유형의 잠재 변수만으로는 다양한 공간 태스크에 필요한 단서들을 명시적으로 분리하지 못합니다. 분해된 공간 잠재 변수는 기하학적 지도 하에 위치, 방향, 전역 기하학을 별도로 표현함으로써 이 문제를 다룹니다. 그러나 기하학적 표현이 여전히 하나의 지배적인 방향으로 붕괴(collapse)될 수 있으며, 제약 없는 어텐션(attention)으로 인해 답변 학습 과정에서 잠재 변수가 충분히 활용되지 못할 수 있습니다. 본 논문에서는 기하학 상태를 구조화하는 동시에 잠재 변수 매개 답변 학습을 촉진하기 위해 공통-잔차 기하학 정렬(CR-GEO)과 라우팅된 최적화(routed optimization)를 결합한 GeoLatent를 제안합니다. CR-GEO는 공유되는 교사 기하학과 잔차 교사 기하학을 분리합니다. 라우팅된 최적화는 기하학과 언어를 공동으로 학습시키고, 시각적 답변 학습 경로를 잠재 변수를 거치도록 일시적으로 유도하며, 기하학 지도와 함께 완전한 어텐션을 복원합니다. 통제된 비교 실험에서 CR-GEO는 기하학 유효 순위(effective rank)를 1.00에서 3.87로 향상시켰으며, 병목 구간에서 잠재 변수 판독을 차단했을 때 128개의 고정된 질문에서 방향 정확도가 89.1%에서 25.8%로 떨어졌습니다. 복원 후에도 차별화된 기하학적 표현과 잠재 변수 매개 시각적 경로는 직접적인 이미지 접근과 함께 유지됩니다. GeoLatent는 SPAR-Bench에서 73.0%, SPBench에서 72.1%를 달성하여 두 벤치마크 모두에서 기존에 보고된 방법들을 능가합니다.

arXiv:2609.27395v1cs.CL공통 태그 Visual Question Answering, vision-language model

PRISM-VLM: 소형 비전-언어 모델을 위한 다축 변별 벤치마크

PRISM-VLM: A Multi-Axis Discriminative Benchmark for Compact Vision-Language Models

소형 비전-언어 모델(VLM)은 이제 멀티모달 애플리케이션의 점점 더 큰 비중을 뒷받침하고 있다. 그러나 이들을 비교하는 데 사용되는 벤치마크는 프런티어 모델 중심의 설계를 그대로 따르고 있다. 즉, 각 모델을 단일 정확도 수치로 환원함으로써, 포화된 평가 세트에서는 모델 간 격차가 좁아지고 더 어려운 평가 세트에서는 모델들이 낮은 점수대에 몰리게 된다. 본 논문에서는 반복적으로 나타나는 실패 양상(과제 품질, 행동적 견고성, 능력 병목)을 아우르는 일곱 개의 축에 따라 모든 항목을 채점하고 이를 하나의 PScore로 결합하는 다축 변별 벤치마크 PRISM-VLM을 소개한다. 항목은 15개의 공개 벤치마크에서 재활용하였다. 지난 2년간 발표된 소형 VLM들을 대상으로 한 실험에서, PScore는 항목 단위 쌍체 부트스트랩(item-level paired bootstrap) 하에서 기존의 단일 축 벤치마크보다 모델 쌍을 더 신뢰성 있게 구분하며, 이러한 벤치마크가 평균화 과정에서 가려 버리는 행동적 차이를 드러낸다. PScore가 통계적으로 구분되지 않는 모델들조차 축별 프로파일에서는 크게 갈리며, 특히 단일 프롬프트 정확도와 거의 직교하는 아첨(sycophancy) 축에서 두드러진다. 전체 파이프라인, 프롬프트, 항목별 주석을 공개할 예정이다.

arXiv:2609.27511v1cs.CV공통 태그 Visual Question Answering, vision-language model

NV-Reason-CT: 3D Visual Language Model for CT Analysis

NV-Reason-CT: CT 분석을 위한 3D 비전-언어 모델 {"title_ko": "NV-Reason-CT: CT 분석을 위한 3D 비전-언어 모델", "abstract_ko": "본 논문은 흉부 및 복부 CT를 위한 생성형 비전-언어 모델인 NV-Reason-CT를 제안한다. 이 모델은 네이티브 3D 시각 인코딩과 방사선 전문의가 안내한 추론(reasoning)을 결합한다. 네이티브 3D 비전 트랜스포머와 언어 모델을 결합하며, 추가적인 공간 토큰 병합 없이 모든 시각 토큰과 그 명시적 3D 좌표를 언어 디코딩에 전달한다. 이를 통해 비전 인코더 내부와 텍스트와의 공동 처리 과정에서 언어 모델의 위치 인코딩(positional encoding)을 거치며 체적(volumetric) 공간 정보를 유지한다. 70,111개의 고유 CT 영상 입력에서 수집한 약 55만 건의 멀티모달 지시(instruction) 예시로 구성된 큐레이션 코퍼스에서 학습하며, 표준화된 리포트, 이상 소견 중심 및 해부학 특화 질문, 다중 턴 상호작용, 녹음·전사된 전문가 CT 판독에서 도출한 방사선 전문의 작성 추론을 결합한다. 전문가 주석은 직접 지도(supervision)를 제공하고 리포트에 근거한 추가 합성 추론을 안내한다. End-to-end 지도 미세조정(SFT) 이후 흉부·복부 이상 소견 집합에 대한 검증 가능한 보상(verifiable rewards)을 사용한 Group Relative Policy Optimization(GRPO)을 수행한다. 모델은 이상 소견 분류, 리포트 생성, 검토 가능한 관찰·감별 진단·불확실성을 포함한 대화형 추론을 지원한다. 평가는 공개 CT 벤치마크와 홀드아웃 NIH 코호트에 걸쳐 이루어진다. CT-RATE에서 NV-Reason-CT는 과제별 분류 헤드 없이 macro-F1 0.614, macro-AUROC 0.871을 달성하며, 생성 리포트는 리포트 기반 macro-F1 0.592를 기록한다. 방사선 전문의를 대상으로 한 예비 연구에서 AI 보조 검토는 긍정적인 신뢰도 평가를 받았고, 평균 보고된 판독·리포팅 시간 50% 감소와 연관되었다. 체적 의료 영상을 위한 설명 가능 AI(explainable AI)의 재현 가능한 연구를 지원하기 위해 모델과 학습 코드를 공개한다."}

arXiv:2609.27915v1cs.CV공통 태그 Representation Learning, Visual Question Answering

UVU: 비전-언어 통합 자기회귀 패러다igm을 통한 멀티모달 이해 향상

UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm

멀티모달 대규모 언어 모델(MLLM)이 눈에 띄게 발전했음에도, 세밀한 시각 이해는 주로 희소한 텍스트 감독에 의존하기 때문에 제한된다. 시각 감독을 도입하려는 기존 시도는 대개 사후 학습 단계에서 이루어지며, 그때는 시각 표현이 이미 대부분 고정되어 있어 해당 신호가 지각 특징을 형성하는 주된 힘보다는 보조적 제약으로 작용하는 경우가 많다. 본 논문에서는 사전학습 단계에 시각 감독을 직접 통합하여 모델의 지각 백본을 근본적으로 재구성하는 것을 목표로 한다. 픽셀 수준의 이미지 패치와 텍스트 토큰이 본질적인 입력 대칭성을 갖는 공유된 원시 고차원 공간에 자연스럽게 공존한다는 점을 관찰한다. 이 통찰을 바탕으로 벡터 양자화를 배제하는 새로운 비전-언어 통합 자기회귀 프레임워크인 UVU를 제안한다. UVU는 시각 입력의 무손실 표현을 위해 연속 시각 인코딩을 독특하게 사용하고, 픽셀 수준의 시각 코드북을 구성하기 위한 대규모 반복적 계층적 클러스터링 알고리즘을 제안하여 통합 감독을 위한 어휘를 확장하고 텍스트 토큰과 함께 픽셀 수준 이미지 토큰의 자기회귀 생성을 가능하게 한다. UVU는 픽셀 수준 시각 지각과 의미 수준 시각 이해를 효과적으로 시너지시키며, 시각 재구성 능력을 내재화하고 사전학습 단계에서 이해를 향상시키는 시각 감독의 촉진적 역할을 이끌어낸다. 여러 과제에 걸친 광범위한 실험은 MLLM이 UVU의 감독 학습 패러다igm 하에서 더 우수한 멀티모달 이해 성능을 달성할 수 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.