Visual Conceptual Blending with Large-scale Language and Vision Models
원문 초록
We ask the question: to what extent can recent large-scale language and image generation models blend visual concepts? Given an arbitrary object, we identify a relevant object and generate a single-sentence description of the blend of the two using a language model. We then generate a visual depiction of the blend using a text-based image generation model. Quantitative and qualitative evaluations demonstrate the superiority of language models over classical methods for conceptual blending, and of recent large-scale image generation models over prior models for the visual depiction.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Boosting Zero-Shot Human-Object Interaction Detection with Vision-Language Transfer
DIBERT: Dependency Injected Bidirectional Encoder Representations from Transformers
A Bit of Progress in Language Modeling
UVU: 비전-언어 통합 자기회귀 패러다igm을 통한 멀티모달 이해 향상
UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm
멀티모달 대규모 언어 모델(MLLM)이 눈에 띄게 발전했음에도, 세밀한 시각 이해는 주로 희소한 텍스트 감독에 의존하기 때문에 제한된다. 시각 감독을 도입하려는 기존 시도는 대개 사후 학습 단계에서 이루어지며, 그때는 시각 표현이 이미 대부분 고정되어 있어 해당 신호가 지각 특징을 형성하는 주된 힘보다는 보조적 제약으로 작용하는 경우가 많다. 본 논문에서는 사전학습 단계에 시각 감독을 직접 통합하여 모델의 지각 백본을 근본적으로 재구성하는 것을 목표로 한다. 픽셀 수준의 이미지 패치와 텍스트 토큰이 본질적인 입력 대칭성을 갖는 공유된 원시 고차원 공간에 자연스럽게 공존한다는 점을 관찰한다. 이 통찰을 바탕으로 벡터 양자화를 배제하는 새로운 비전-언어 통합 자기회귀 프레임워크인 UVU를 제안한다. UVU는 시각 입력의 무손실 표현을 위해 연속 시각 인코딩을 독특하게 사용하고, 픽셀 수준의 시각 코드북을 구성하기 위한 대규모 반복적 계층적 클러스터링 알고리즘을 제안하여 통합 감독을 위한 어휘를 확장하고 텍스트 토큰과 함께 픽셀 수준 이미지 토큰의 자기회귀 생성을 가능하게 한다. UVU는 픽셀 수준 시각 지각과 의미 수준 시각 이해를 효과적으로 시너지시키며, 시각 재구성 능력을 내재화하고 사전학습 단계에서 이해를 향상시키는 시각 감독의 촉진적 역할을 이끌어낸다. 여러 과제에 걸친 광범위한 실험은 MLLM이 UVU의 감독 학습 패러다igm 하에서 더 우수한 멀티모달 이해 성능을 달성할 수 있음을 보여준다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
Induced Model Matching: Restricted Models Help Train Full-Featured Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.