arXiv:2609.27915v1 cs.CV

UVU: 비전-언어 통합 자기회귀 패러다igm을 통한 멀티모달 이해 향상

UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm

Zhehan Kan, Xinghua Jiang, Yubo Zhu, Yanlin Liu, Xiaochen Yang, Zhixiang Wei, Shifeng Liu, Qingmin Liao, Wenming Yang, Xin Li, Yinsong Liu, Deqiang Jiang, Xing Sun

제출 2026-09-24

한국어 초록

멀티모달 대규모 언어 모델(MLLM)이 눈에 띄게 발전했음에도, 세밀한 시각 이해는 주로 희소한 텍스트 감독에 의존하기 때문에 제한된다. 시각 감독을 도입하려는 기존 시도는 대개 사후 학습 단계에서 이루어지며, 그때는 시각 표현이 이미 대부분 고정되어 있어 해당 신호가 지각 특징을 형성하는 주된 힘보다는 보조적 제약으로 작용하는 경우가 많다. 본 논문에서는 사전학습 단계에 시각 감독을 직접 통합하여 모델의 지각 백본을 근본적으로 재구성하는 것을 목표로 한다. 픽셀 수준의 이미지 패치와 텍스트 토큰이 본질적인 입력 대칭성을 갖는 공유된 원시 고차원 공간에 자연스럽게 공존한다는 점을 관찰한다. 이 통찰을 바탕으로 벡터 양자화를 배제하는 새로운 비전-언어 통합 자기회귀 프레임워크인 UVU를 제안한다. UVU는 시각 입력의 무손실 표현을 위해 연속 시각 인코딩을 독특하게 사용하고, 픽셀 수준의 시각 코드북을 구성하기 위한 대규모 반복적 계층적 클러스터링 알고리즘을 제안하여 통합 감독을 위한 어휘를 확장하고 텍스트 토큰과 함께 픽셀 수준 이미지 토큰의 자기회귀 생성을 가능하게 한다. UVU는 픽셀 수준 시각 지각과 의미 수준 시각 이해를 효과적으로 시너지시키며, 시각 재구성 능력을 내재화하고 사전학습 단계에서 이해를 향상시키는 시각 감독의 촉진적 역할을 이끌어낸다. 여러 과제에 걸친 광범위한 실험은 MLLM이 UVU의 감독 학습 패러다igm 하에서 더 우수한 멀티모달 이해 성능을 달성할 수 있음을 보여준다.

원문 초록

Despite remarkable advancements in multimodal large language models (MLLMs), their fine-grained visual understanding is constrained by a primary reliance on sparse textual supervision. Existing efforts to introduce visual supervision typically do so during post-training, when visual representations have already been largely fixed, causing such signals to act mainly as auxiliary constraints rather than as a primary force for shaping perceptual features. In this paper, we aim to fundamentally reshape the model's perceptual backbone by incorporating vision supervision directly into the pre-training stage. We observe that pixel-level image patches and textual tokens naturally coexist in a shared, raw high-dimensional space characterized by an inherent input symmetry. Leveraging this insight, we propose UVU, a novel vision-language unified autoregressive framework that eschews vector quantization. It uniquely employs continuous visual encoding for lossless representation of visual inputs and proposes a large-scale iterative hierarchical clustering algorithm to construct a pixel-level visual codebook, thereby extending the vocabulary for unified supervision and enabling autoregressive generation of pixel-level image tokens alongside textual tokens. UVU effectively synergizes pixel-level visual perception with semantic-level visual understanding, internalizing visual reconstruction capabilities and unlocking the facilitative role of visual supervision in enhancing understanding in the pre-training stage. Extensive experiments across multiple tasks demonstrate that MLLMs are capable of achieving superior multimodal understanding performance under the supervised learning paradigm of UVU.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27915v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15836v1cs.CL공통 태그 Language Modeling, Representation Learning

잠재 분류체계: 언어 모델 사전학습에서 속성 유도는 어떻게 발달하는가

Latent Taxonomies: How Property Induction Develops in Language Model Pre-training

로빈(robin)이 종자골(sesamoid bone)을 가진다는 말을 들으면, 사람들은 이 속성을 참새에게 확장할 가능성이 고래에게 확장할 가능성보다 훨씬 높다. 이러한 행동은 범주 기반 속성 유도(category-based property induction)라고 불리며 인간에게서는 잘 입증되어 있지만, 다음 토큰 예측만으로 학습된 언어 모델에서 이러한 능력이 발달하는지, 그리고 어떻게 발달하는지는 명확하지 않다. 이를 밝히기 위해 우리는 공유하는 속성에 따라 그룹화된 합성 개체(synthetic entity)들의 계층적 분류체계(taxonomy)를 구성한다. 그런 다음 이 잠재 분류체계로부터 얻은 사실들을 Pythia와 OLMo 2 모델(70M에서 7B 파라미터)의 지속적 사전학습(continued pre-training)에 주입하고, 유도적 행동의 발달 과정을 추적한다. 우리는 분류체계에 부합하는 유도가 다음 토큰 예측만으로도 나타난다는 것을 발견했다: 한 개체에 대해 학습된 속성은 동일한 분류 범주 내에서 범주 간보다 더 강하게 전이된다. 내부적으로는 더 깊은 범주를 공유하는 개체들이 활성화 공간(activation space)에서 더 유사해지며, 군집화(clustering)를 수행하면 개체 표현(entity representation)으로부터 전체 분류 트리를 복원할 수 있다. 스케일이 도움이 될 것이라는 일반적인 예상과 달리, 데이터 예산이 고정된 경우 모델 크기가 커질수록 유도 능력이 약화되는 것으로 나타났으며, 이는 더 큰 모델이 개별 사실들을 공유 구조로 압축하기보다는 그대로 암기한다는 것을 시사한다. 또한 유도 능력은 분류체계 주입 이전의 사전학습이 많을수록 강화되고, 새로운 문맥 내(in-context) 속성으로도 전이되며, 프롬프트가 암시하는 잠재 분류체계에 의해 무효화될 수 있다. 종합적으로 이러한 결과는 모델의 유도적 일반화가 학습 데이터의 잠재적 구조를 반영한다는 것을 보여주며, 이는 데이터 큐레이션(data curation)과 학습된 사실이 얼마나 널리 전파될지 예측하는 데에 함의를 지닌다.

arXiv:2610.13344v1cs.CV공통 태그 Representation Learning, Image Generation

롱 스킵 연결 없이 DiT 모델이 표현 학습자로서 성능이 저하되는 이유

Why DiT Models Underperform as Representation Learners without Long Skip Connections

디퓨전 특징(diffusion feature), 즉 디퓨전 모델 백본에서 추출된 중간 활성화는 생성과 시각적 이해(판별)를 통합하기 위한 유망한 접근법으로 부상했습니다. 디퓨전 백본이 디퓨전 트랜스포머(DiT)로 발전했음에도 불구하고, 기존 문헌에서는 DiT 모델이 더 강력한 생성 능력에도 불구하고 더 약한 특징을 산출하는 경향이 있음이 발견되었습니다. 이는 우수한 생성-이해 통합에 위협이 됩니다. 본 연구에서는 제어된 처음부터의 학습(from-scratch training)을 통해 롱 스킵 연결(LSC)이 특징 품질에 영향을 미침을 보여줍니다. 즉, LSC를 갖춘 DiT는 더 우수한 특징을 생성할 수 있습니다. 나아가 상세한 진단을 통해 이러한 효과를 유발하는 메커니즘을 밝혀냅니다. 구체적으로, 디퓨전 백본의 입력에는 잠재 이미지(latent image)와 디퓨전 노이즈가 모두 포함되며, 여기서 디퓨전 노이즈는 노이즈 형태로 나타나지만 실제로는 디퓨전 궤적의 정보를 반영합니다. 노이즈 변수($v$ 또는 $ε$)의 최종 예측을 수행하기 위해 디퓨전 백본에는 두 신호가 모두 필요합니다. 그러나 메인 백본을 통해 두 신호를 모두 전달하는 것은 사실상 이미지 신호를 노이즈로 "오염"시켜 특징 품질 저하로 이어집니다. 이에 비해 LSC는 디퓨전 노이즈를 필요한 곳으로 직접 지름길로 연결(shortcut)하여 메인 백본에 훨씬 약한 노이즈 신호만 남기므로 특징 품질을 향상시킬 수 있습니다. 더 넓은 영향력을 언급하자면, 이는 LSC가 단순한 트릭이 아니라 디퓨전 목표와 밀접하게 관련되어 있음을 밝혀냅니다. 코드는 https://github.com/Darkbblue/dit-lsc 에서 확인할 수 있습니다.

arXiv:2610.13370v1cs.CL공통 태그 Language Modeling, Large Language Model

전문가 선택 편향을 통한 데이터 불균형 극복

Overcoming Data Imbalances with Expert Selection Biases

전문가 혼합(MoE) 모델은 프론티어 대규모 언어 모델(LLM)의 표준 아키텍처로 자리 잡았습니다. 각 트랜스포머(transformer) 블록에 존재하는 다수의 병렬 전문가는 이론적으로 사전학습(pre-training) 과정에서 도메인, 언어 또는 모달리티와 같은 카테고리에 맞춰 전문가의 전문화를 가능하게 합니다. 그러나 카테고리 간 데이터가 불균형할 경우, 소수 카테고리는 전문가 풀의 작은 일부분에 집중되거나 비효율적으로 분산되어 실질적으로 활용 가능한 용량이 제한될 수 있습니다. 본 연구에서는 카테고리 조건부 전문가 선택 편향(expert-selection bias)을 통해 서로 다른 카테고리의 토큰을 특화된 전문가 풀로 우선 라우팅할 수 있음을 입증합니다. 입력 카테고리에 기반한 편향을 적용함으로써, 유연한 카테고리 맞춤형 전문화를 유도하는 간단한 방법을 제시합니다. 이러한 개입은 필요에 따라 카테고리 간 공유를 유지하면서도 카테고리가 구별된 전문가 하위 집합으로 향하도록 유도합니다. 더 중요하게는, 데이터 부족으로 인해 불리할 수 있는 카테고리에 전문가 용량을 초과 할당(over-allocation)할 수 있도록 지원합니다. 최대 10.6B 파라미터 크기의 모델에서 다양한 모달리티, 저자원 언어, 코드 전반에 걸친 성능 향상을 확인했습니다. 가장 작은 모델 규모와 가장 큰 모델 규모에서 이러한 성능 향상은 기준선(baseline) 대비 각각 18.5% 및 2.7%의 추가 학습 토큰을 할당한 것과 맞먹는 수준입니다. 전반적으로 본 연구 결과는 전문가 편향이 표준 MoE 추론을 유지하면서도 저자원 카테고리를 위한 공간을 확보하고 카테고리 수준의 전문가 할당을 위한 경량화된 제어 수단으로 활용될 수 있음을 보여줍니다.

arXiv:2610.13558v1cs.CV공통 태그 Representation Learning, Image Generation

우리가 감정 편집에 대해 이야기할 때 말하는 것

What We Talk About When We Talk About Emotion Editing

감정 기반 이미지 편집(Emotional image editing)은 장면의 핵심 콘텐츠를 보존하면서 장면이 전달하는 감정을 변경하는 것을 목표로 합니다. 동일한 장면이라도 서로 다른 감정적 해석을 뒷받침할 수 있으므로, 감정적 목표를 달성하려면 원본 맥락에 기반한 시각적 변화가 필요합니다. 감정 반응을 사건 평가(event appraisal)와 연결하는 구성 요소 과정 모델(Component Process Model)에서 영감을 받아, 본 연구에서는 이러한 편집 결정을 위한 참조로서 신경 표상(neural representation)을 조사합니다. fMRI 인코딩 모델인 TRIBE v2를 사용하여 8개 감정 범주에 걸친 400개의 소스-타깃 쌍을 분석합니다. EmoEdit, EmoEditor, AffectDelta의 은닉 상태(hidden state)는 정서 관련 영역보다 시각 영역에서 예측된 타깃 이미지 반응과 더 강하게 일치합니다. 이러한 불균형에 착안하여, 콘텐츠 참조로서의 소스 시각 반응과 편집 방향으로서의 예측된 정서 반응 변화를 결합한 ROI-ReFT를 제안합니다. 상호작용하는 두 브랜치는 생성 과정 전반에 걸쳐 고정된(frozen) 편집기를 안내하기 위해 두 조건을 모두 사용합니다. 생성된 이미지의 예측된 반응은 정서적 변화를 감독하고 시각적 드리프트(visual drift)를 제한합니다. 사후 선정된 400개의 편집 요청 서브셋에서, ROI-ReFT는 91.75%의 타깃 감정 정확도와 83.25%의 결합 성공률(joint success)을 달성하여 동일한 결과물이 타깃 감정과 일치하는 동시에 소스-출력 DINO-I 최소 0.80에 도달했습니다. 코드와 데이터셋은 공개될 예정입니다.

arXiv:2610.13605v1cs.CL공통 태그 Language Modeling, Large Language Model

zip2zip++: 최소한의 품질 손실로 추론 시점 토큰 압축을 향하여

zip2zip++: Towards Inference-Time Token Compression with Minimal Quality Loss

Lempel-Ziv-Welch(LZW) 압축을 통해 즉석에서 구축되는 동적 어휘(dynamic vocabulary)는 언어 모델이 동일한 텍스트를 더 적은 토큰으로 표현할 수 있게 해주지만, 기존 연구에 따르면 이러한 효율성은 추론 능력과 퍼플렉시티(perplexity)의 저하를 대가로 한다. 우리는 이러한 품질 격차가 압축에 따른 근본적인 대가가 아니며, 기반이 되는 사전학습된 언어 모델을 수정하지 않고도 압축 층과 LZW 코덱에 대한 표적화된 개선을 통해 상당 부분 해소될 수 있음을 보인다. 우리의 분석은 네 가지 핵심 문제를 밝혀낸다: (1) LZW의 압축 알고리즘은 입력 임베딩과 출력 임베딩 사이에 암묵적인 충돌을 발생시키며, 이는 단일한 공유 임베딩으로는 해결할 수 없는 긴장 관계이다; (2) RoPE를 LZW로 압축된 시퀀스에 단순하게 적용하면 병합된 토큰이 여러 토큰에 걸쳐 있을 수 있다는 사실을 무시하게 된다; (3) 특정 토큰(특히 숫자)의 병합은 다운스트림 정확도를 불균형적으로 저해한다; 그리고 (4) 동적 어휘는 표준 평가를 혼란스럽게 만드는 본질적인 분절 모호성을 야기한다. 우리는 입력/출력을 분리한 동적 임베딩 층, 크기를 인식하는 RoPE 위치 인코딩, 그리고 선택적 병합과 다중 관점 분절(multi-view segmentation)을 지원하는 수정된 LZW 코덱을 통해 이러한 문제들을 해결한다. 네 가지 모델에 걸쳐, 우리의 방법은 평가한 모든 코퍼스에서 퍼플렉시티를 개선할 뿐만 아니라 수학적 추론 정확도도 향상시키며, 일반 텍스트에서 유사한 압축률로 zip2zip과 비압축 기준선 사이의 품질 격차를 대략 절반으로 줄인다. 이는 언어 모델을 위한 무손실 적응형 어휘 압축을 향한 중요한 진전을 의미한다.

arXiv:2610.13835v1cs.LG공통 태그 Language Modeling, Large Language Model

전문가가 더 빠르게 학습한다: 사전학습에서의 지식 구조화가 지식 업데이트 효율성을 결정한다

Specialists Learn Faster: Knowledge Organization in Pre-training Shapes Knowledge Update Efficiency

이상적인 (언어) 모델은 지식을 지속적으로 업데이트해야 한다. 기존 연구는 주로 학습 이후에 이러한 업데이트를 효율적으로 만드는 데 초점을 맞춰왔다. 본 연구에서는 사전학습 동안 시간에 따라 변화하는 지식의 구조화(organization)가 이후 업데이트의 효율성에 어떤 영향을 미치는지 조사한다. 시간순으로 정렬된 지식으로 학습된 모델은 가장 최근에 접한 지식에 특화되는데, 이러한 모델을 전문가(specialist) 모델이라 부른다. 반면, 동일한 지식을 무작위로 섞은 순서로 학습한 모델은 포함된 모든 시간대에 걸쳐 고르게 우수한 성능을 보이는데, 이러한 모델을 범용(generalist) 모델이라 부른다. 놀랍게도, 전문가 모델은 새로운 지식을 획득하는 데 범용 모델보다 훨씬 적은 업데이트 스텝을 필요로 한다. 이러한 이점을 설명하기 위해, 우리는 업데이트 비용을 모델의 최적화 동역학(optimization dynamics)과 연관시키는 법칙을 제1원리로부터 유도하였으며, 이는 실험 결과를 정확하게 예측한다. 이러한 발견을 바탕으로, 안정적인 과거 지식을 보존하면서도 현재 지식에 대한 효율적인 업데이트를 가능하게 하는 사전학습 데이터 구조화 전략을 설계한다. 또한 시간적 지식 구조화의 이점이 실제 사전학습된 모델과 기존의 지식 업데이트 도구에도 확장되며, 다른 지식 순서화 방식에도 일반화됨을 보인다. 프로젝트 페이지: https://horizon-lab.org/specialist/

토론

이 논문과 연결된 포럼 글이 아직 없습니다.