ViLFlow: 연속 잠재 흐름을 이용한 병렬 비전-언어 생성
ViLFlow: Parallel Vision-Language Generation with Continuous Latent Flows
한국어 초록
비전-언어 생성은 주로 자기회귀 모델과 이산 확산 모델에 의존해 왔다. 자기회귀 모델은 토큰을 순차적으로 생성하는 반면, 이산 확산 모델은 일반적으로 각 잡음 제거 단계에서 토큰을 독립적으로 예측한다. 우리는 출력 임베딩의 결합 모델링과 병렬 토큰 디코딩을 결합한 연속 흐름 비전-언어 모델 ViLFlow(Vision-Language Flow)를 제안한다. ViLFlow는 학습된 이미지 가이던스와 예측 인식 토큰 디코딩을 통해 사전학습된 연속 언어 생성을 시각 질의응답과 이미지 캡셔닝에 적응시킨다. 시각적으로 적응된 교사 모델은 추가적인 잡음 제거 지도로서 이미지 기반 예측을 제공한다. 잡음 제거기는 이러한 예측을 직접 재현하도록 학습하며, 생성 단계마다 하나의 이미지 조건부 예측만을 유지한다. 우리는 연속 출력을 단어로 변환하는 성능을 높이기 위해 잡음 제거기의 예측과 짝지어진 참조 텍스트로 토큰 디코더를 학습한다. 디코더는 독립적으로 적응시킬 수 있어, 잡음 제거기의 추가 학습 없이도 응답과 캡셔닝을 개선한다. 캡셔닝의 경우 디코더는 잡음 제거 후반에 텍스트 피드백도 제공하여, 디코딩된 단어가 이후의 정제에 반영되도록 한다. ViLFlow는 GQA 학습 없이도 VQAv2에서 최대 8.46%p, GQA에서 4.50%p까지 자기회귀 및 마스크 확산 기준 모델을 능가한다. COCO Karpathy 테스트에서는 마스크 확산 대비 CIDEr를 16.25, 샘플링 기반 자기회귀 대비 17.81 향상시킨다.
원문 초록
Vision-language generation has predominantly relied on autoregressive and discrete diffusion models. Autoregressive models generate tokens sequentially, while discrete diffusion models typically predict tokens independently within each denoising step. We propose ViLFlow (Vision-Language Flow), a continuous-flow vision-language model that combines joint modeling of output embeddings with parallel token decoding. ViLFlow adapts pretrained continuous language generation to visual question answering and image captioning through learned image guidance and prediction-aware token decoding. A visually adapted teacher provides image-guided predictions as additional denoising supervision. The denoiser learns to reproduce these predictions directly, retaining one image-conditioned prediction per generation step. We train the token decoder on denoiser predictions and paired reference text to improve the conversion of continuous outputs into words. The decoder can be adapted independently, improving answering and captioning without further denoiser training. For captioning, it also supplies text feedback during late denoising, allowing decoded words to inform subsequent refinement. ViLFlow outperforms autoregressive and masked-diffusion baselines by up to 8.46 percentage points on VQAv2 and 4.50 points on GQA without GQA training. On COCO Karpathy test, it improves CIDEr by 16.25 over masked diffusion and 17.81 over sampled autoregression.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24240v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.