arXiv:2611.16517v1 cs.CV

UniSpark: 멀티모달 이해와 생성을 위한 하이브리드 어텐션 탐구

UniSpark: Exploring Hybrid Attention for Multimodal Understanding and Generation

Jiancheng Pan, Yuzheng Liu, Hengyuan Cao, Qiyuan Zhang, Yangyan Li, Biao Gong, Zheng Zhang, Ka Long Cheng, Xinyang Wang, Yujun Shen

제출 2026-11-12

저자 비고

arXiv Comments

Technical Report, 31 pages

한국어 초록

본 논문은 시각 이해와 생성을 위한 하이브리드 어텐션을 연구하는 통합 멀티모달 모델 UniSpark-9B를 제안한다. UniSpark는 각 브랜치에 약 9B 파라미터를 갖는 Mixture-of-Transformer-Experts 백본을 기반으로 하며, 명시적인 토큰 간 상호작용을 위한 전체 어텐션과 간결한 문맥 전파를 위한 GatedDeltaNet 선형 어텐션을 결합한다. 자기회귀 텍스트 예측과 시각 플로 매칭은 시각 질의응답, 텍스트-이미지 생성, 지시 기반 편집, 텍스트-이미지 교차 예측을 함께 지원한다. 교차 생성에서는 노이즈가 포함된 시각 목표를 이후 예측으로부터 분리하고, 깨끗한 시각 표현은 이후 출력을 위한 문맥으로 제공한다. 블록 단위 프로토콜은 전체 어텐션 계층에서는 어텐션 마스크를, 선형 어텐션 계층에서는 순환 상태 유지 규칙을 통해 이러한 구분을 강제한다. 선별된 학습 데이터에는 159.7M개의 생성 샘플, 213.4M개의 이해 샘플, 624.8K개의 교차 시퀀스가 포함된다. 4단계 커리큘럼은 멀티모달 이해와 시각 생성을 함께 학습하며, 답변 정확도와 지시 이행을 개선하는 동시에 이미지 합성을 2K 해상도까지 확장한다. UniSpark는 MME-S에서 2470.3점, GenEval에서 0.83점을 기록한다. 정성적 사례는 교차 이미지 생성, 비디오 합성, 비디오 편집에서의 능력을 추가로 보여준다. 이러한 결과는 하이브리드 어텐션이 통합 멀티모달 이해와 생성을 위한 효과적인 백본이 됨을 입증한다.

원문 초록

We present UniSpark-9B, a unified multimodal model that investigates hybrid attention for visual understanding and generation. Built on a Mixture-of-Transformer-Experts backbone with approximately 9B parameters in each branch, UniSpark combines full attention for explicit token interactions with GatedDeltaNet linear attention for compact context propagation. Autoregressive text prediction and visual flow matching jointly support visual question answering, text-to-image generation, instruction-guided editing, and interleaved text-image prediction. In interleaved generation, noisy visual targets are isolated from subsequent predictions, while clean visual representations provide context for later outputs. A blockwise protocol enforces this distinction through attention masks in full-attention layers and recurrent-state retention rules in linear-attention layers. The selected training sources contain 159.7M generation samples, 213.4M understanding samples, and 624.8K interleaved sequences. A four-stage curriculum jointly trains multimodal understanding and visual generation, refining answer accuracy and instruction following while extending image synthesis to 2K. UniSpark scores 2470.3 on MME-S and 0.83 on GenEval. Qualitative examples further illustrate its capabilities in interleaved image generation, video synthesis, and video editing. Together, these results demonstrate that hybrid attention provides an effective backbone for unified multimodal understanding and generation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.16517v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.