PyTorchKR Papers

“Visual Question Answering”

총 2,807편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2403.11299공식 코드 · Papers with Code

SQ-LLaVA: Self-Questioning for Large Vision-Language Assistant

Recent advances in vision-language models have shown notable generalization in broad tasks through visual instruction tuning. However, bridging the gap between the pre-trained vision encoder and the large language models (LLMs) becomes the whole network's bottleneck. To improve cross-modality alignment, existing works usually consider more visual instruction data covering a broader range of vision tasks to fine-tune the model for question-answering, which, however, is costly to obtain and has not thoroughly explored the rich contextual information contained in images. This paper first attempts to harness the overlooked context within visual instruction data, training the model to self-supervised "learning" how to ask high-quality questions. In this way, we introduce a novel framework named SQ-LLaVA: Self-Questioning for Large Vision-Language Assistant. SQ-LLaVA exhibits proficiency in generating flexible and meaningful image-related questions while analyzing the visual clue and prior language knowledge, signifying an advanced level of generalized visual understanding. Moreover, fine-tuning SQ-LLaVA on higher-quality instruction data shows a performance improvement compared with traditional visual-instruction tuning methods. This improvement highlights the efficacy of self-questioning techniques in achieving a deeper and more nuanced comprehension of visual content across various contexts.

arXiv:2501.15140공식 코드 · Papers with Code

Analyzing and Boosting the Power of Fine-Grained Visual Recognition for Multi-modal Large Language Models

Multi-modal large language models (MLLMs) have shown remarkable abilities in various visual understanding tasks. However, MLLMs still struggle with fine-grained visual recognition (FGVR), which aims to identify subordinate-level categories from images. This can negatively impact more advanced capabilities of MLLMs, such as object-centric visual question answering and reasoning. In our study, we revisit three quintessential capabilities of MLLMs for FGVR, including object information extraction, category knowledge reserve, object-category alignment, and position of the root cause as a misalignment problem. To address this issue, we present Finedefics, an MLLM that enhances the model's FGVR capability by incorporating informative attribute descriptions of objects into the training phase. We employ contrastive learning on object-attribute pairs and attribute-category pairs simultaneously and use examples from similar but incorrect categories as hard negatives, naturally bringing representations of visual objects and category names closer. Extensive evaluations across multiple popular FGVR datasets demonstrate that Finedefics outperforms existing MLLMs of comparable parameter sizes, showcasing its remarkable efficacy. The code is available at https://github.com/PKU-ICST-MIPL/Finedefics_ICLR2025.

arXiv:2611.00242v1cs.AI

RE-SciVQA: 문맥 관련 검색과 경량 MLLM 적응을 통한 과학 VQA 개선

RE-SciVQA: Improving Scientific VQA With Context-Relevant Retrieval and Lightweight MLLM Adaptation

과학 문헌을 깊이 이해하려면 본문 외의 핵심 정보를 담은 그림을 해석해야 하는 경우가 많다. 대규모 언어 모델(LLM)을 활용해 이러한 그림에서 통찰을 추출하면 지식 발견을 크게 가속할 수 있다. 과학 시각 질의응답에 관한 기존 연구는 자원 집약적인 학습 파이프라인에 의존하는데, 이는 접근하기 어렵고 막대한 연산 자원을 요구한다. 본 논문은 복잡한 아키텍처를 설계하는 대신, 검색된 컨텍스트의 품질을 개선하고 매개변수 효율적인 LoRA 학습으로 소형 LLM을 미세 조정하는 데 초점을 둔 RE-SciVQA를 제안한다. 간단한 쿼리 확장 단계를 사용하여 관련 섹션 제목을 원래 질문에 덧붙임으로써 검색 범위를 개선한다. 또한 그림 참조와 캡션 정합을 이용해 유사도 점수를 간단히 조정한다. SciVQA 벤치마크에서 RE-SciVQA는 ROUGE-1 F1 점수 73.9%를 달성하여 UniChart(14.7%), ChartGemma(6.9%), Matcha-ChartQA(6.3%) 같은 차트 중심 모델을 능가한다. 관련성을 강화한 RAG 구성은 표준 RAG 베이스라인과 비교해 정확 일치를 11.9%, 퍼지 일치를 29.5% 향상시키며, 전체적으로 14.3%의 이득을 얻는다. 또한 차트 이해 모델이 어려움을 겪는 범주인 닫힌 형식의 무한 시각 질문도 살펴본다. 실험 결과, 합성 캡션 대신 플롯 디지털화를 사용하면 이 질문 유형에서 18.5%의 향상이 나타난다.

arXiv:1602.07332

Visual Genome: Connecting Language and Vision Using Crowdsourced Dense Image Annotations

Despite progress in perceptual tasks such as image classification, computers still perform poorly on cognitive tasks such as image description and question answering. Cognition is core to tasks that involve not just recognizing, but reasoning about our visual world. However, models used to tackle the rich content in images for cognitive tasks are still being trained using the same datasets designed for perceptual tasks. To achieve success at cognitive tasks, models need to understand the interactions and relationships between objects in an image. When asked "What vehicle is the person riding?", computers will need to identify the objects in an image as well as the relationships riding(man, carriage) and pulling(horse, carriage) in order to answer correctly that "the person is riding a horse-drawn carriage". In this paper, we present the Visual Genome dataset to enable the modeling of such relationships. We collect dense annotations of objects, attributes, and relationships within each image to learn these models. Specifically, our dataset contains over 100K images where each image has an average of 21 objects, 18 attributes, and 18 pairwise relationships between objects. We canonicalize the objects, attributes, relationships, and noun phrases in region descriptions and questions answer pairs to WordNet synsets. Together, these annotations represent the densest and largest dataset of image descriptions, objects, attributes, relationships, and question answers.

arXiv:2404.04514공식 코드 · Papers with Code

Joint Visual and Text Prompting for Improved Object-Centric Perception with Multimodal Large Language Models

Multimodal Large Language Models (MLLMs) such as GPT-4V and Gemini Pro face challenges in achieving human-level perception in Visual Question Answering (VQA), particularly in object-oriented perception tasks which demand fine-grained understanding of object identities, locations or attributes, as indicated by empirical findings. This is mainly due to their limited capability to effectively integrate complex visual cues with textual information and potential object hallucinations. In this paper, we present a novel approach, Joint Visual and Text Prompting (VTPrompt), that employs fine-grained visual information to enhance the capability of MLLMs in VQA, especially for object-oriented perception. VTPrompt merges visual and text prompts to extract key concepts from textual questions and employs a detection model to highlight relevant objects as visual prompts in images. The processed images alongside text prompts are subsequently fed into MLLMs to produce more accurate answers. Our experiments with GPT-4V and Gemini Pro, on three benchmarks, i.e., MME , MMB and POPE, demonstrate significant improvements. Particularly, our method led to a score improvement of up to 183.5 for GPT-4V on MME and enhanced MMB performance by 8.17\% for GPT-4V and 15.69\% for Gemini Pro.

arXiv:2406.16817

GPT-4V Explorations: Mining Autonomous Driving

This paper explores the application of the GPT-4V(ision) large visual language model to autonomous driving in mining environments, where traditional systems often falter in understanding intentions and making accurate decisions during emergencies. GPT-4V introduces capabilities for visual question answering and complex scene comprehension, addressing challenges in these specialized settings.Our evaluation focuses on its proficiency in scene understanding, reasoning, and driving functions, with specific tests on its ability to recognize and interpret elements such as pedestrians, various vehicles, and traffic devices. While GPT-4V showed robust comprehension and decision-making skills, it faced difficulties in accurately identifying specific vehicle types and managing dynamic interactions. Despite these challenges, its effective navigation and strategic decision-making demonstrate its potential as a reliable agent for autonomous driving in the complex conditions of mining environments, highlighting its adaptability and operational viability in industrial settings.

arXiv:1611.05594공식 코드 · Papers with Code

SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning

Visual attention has been successfully applied in structural prediction tasks such as visual captioning and question answering. Existing visual attention models are generally spatial, i.e., the attention is modeled as spatial probabilities that re-weight the last conv-layer feature map of a CNN encoding an input image. However, we argue that such spatial attention does not necessarily conform to the attention mechanism --- a dynamic feature extractor that combines contextual fixations over time, as CNN features are naturally spatial, channel-wise and multi-layer. In this paper, we introduce a novel convolutional neural network dubbed SCA-CNN that incorporates Spatial and Channel-wise Attentions in a CNN. In the task of image captioning, SCA-CNN dynamically modulates the sentence generation context in multi-layer feature maps, encoding where (i.e., attentive spatial locations at multiple layers) and what (i.e., attentive channels) the visual attention is. We evaluate the proposed SCA-CNN architecture on three benchmark image captioning datasets: Flickr8K, Flickr30K, and MSCOCO. It is consistently observed that SCA-CNN significantly outperforms state-of-the-art visual attention-based image captioning methods.

arXiv:2611.22879v1cs.CV

SlideJev: 선택지 순서에 안정적이고 조직 근거를 활용하는 전체 슬라이드 병리 Jev 판정

SlideJev: Order-Stable and Tissue-Grounded Jev Decisions for Whole-Slide Pathology

전체 슬라이드 시각 질의응답(VQA)은 병리 분석에 자연어 인터페이스를 제공해 조직 슬라이드에서 진단 및 표현형에 관한 질문에 직접 답할 수 있게 한다. 그러나 현재 비전-언어 모델(VLM)은 언어적 사전 지식에 크게 의존한다. 후보 답변의 순서에 따라 답이 달라지며 조직 근거를 건너뛰고 지름길로 답을 얻기도 한다. 이를 해결하기 위해 각 후보 답변을 슬라이드와 따로 대조해 검증하고, 이러한 판단을 조직 근거에 연결하는 법을 학습하는 프레임워크 SlideJev를 소개한다. 후보별 병렬 평가와 시각 근거 학습을 연결하기 위해 Jev를 채택한다. 기존 언어 모델 헤드에서 후보를 지지하는 로그 가능도와 기각하는 로그 가능도의 차이로 후보별 점수를 구한다. 선택지 위치를 나타내는 레이블 없이 동일한 형식의 개별 프롬프트로 점수를 병렬 계산하고, 정규화한 점수로 답을 선택한다. 점수가 조직 근거를 반영하도록 후보에 따른 판독과 비교를 바탕으로 디코더 층들에서 시각 토큰의 갱신을 게이트로 제어한다. 백본을 동결한 채 질의응답 데이터와 짝지은 이미지로 지도 신호를 주고, 같은 방식으로 계산한 점수를 사용해 시각 모듈을 학습한다. 전체 슬라이드 병리 VQA 벤치마크 세 개에서 SlideJev는 평균 종합 정확도가 가장 높았으며, 선택지 순서 네 가지에서 답변 일관성 100%를 달성했다. 이미지 통제 실험에서는 세 데이터셋 모두 올바른 이미지를 제공했을 때의 평균 정확도 개선 폭이 잘못 짝지은 이미지나 이미지 없는 조건 대비 가장 컸다. 코드는 https://github.com/leowu-ai/SlideJev 에 공개되어 있다.

arXiv:2409.02253공식 코드 · Papers with Code

How to Determine the Preferred Image Distribution of a Black-Box Vision-Language Model?

Large foundation models have revolutionized the field, yet challenges remain in optimizing multi-modal models for specialized visual tasks. We propose a novel, generalizable methodology to identify preferred image distributions for black-box Vision-Language Models (VLMs) by measuring output consistency across varied input prompts. Applying this to different rendering types of 3D objects, we demonstrate its efficacy across various domains requiring precise interpretation of complex structures, with a focus on Computer-Aided Design (CAD) as an exemplar field. We further refine VLM outputs using in-context learning with human feedback, significantly enhancing explanation quality. To address the lack of benchmarks in specialized domains, we introduce CAD-VQA, a new dataset for evaluating VLMs on CAD-related visual question answering tasks. Our evaluation of state-of-the-art VLMs on CAD-VQA establishes baseline performance levels, providing a framework for advancing VLM capabilities in complex visual reasoning tasks across various fields requiring expert-level visual interpretation. We release the dataset and evaluation codes at \url{https://github.com/asgsaeid/cad_vqa}.

arXiv:2609.22162v1cs.CL

원시 컨텍스트 전송을 넘어서: 표현 기반 연합 검색-증강 생성

Beyond Raw Context Transfer: Representation-based Federated Retrieval-Augmented Generation

검색-증강 생성(RAG)은 외부 지식에 기반해 생성(grounding)함으로써 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)의 사실성을 향상시킨다. 그러나 기존 RAG 프레임워크 대부분은 중앙 집중식 검색 코퍼스를 가정하는데, 이는 데이터가 본질적으로 분산되어 있고 원시 콘텐츠를 기관 간에 직접 공유할 수 없는 의료와 같은 민감한 도메인에서는 비현실적인 경우가 많다. 분산형 RAG에 관한 최근 연구는 주로 사람이 읽을 수 있는 원시 검색 콘텐츠를 주고받는 프롬프트 기반 패러다임을 따르며, 이로 인해 추론 시점의 계산 오버헤드가 크게 증가하고 검색된 정보가 직접 노출된다. 이러한 한계를 해결하기 위해 본 논문은 원시 문서를 이를 소유한 클라이언트에 그대로 두고, 클라이언트 간 검색 과정에서 압축된 잠재 표현(latent representation)만 교환하는 분산형 RAG 프레임워크인 표현 기반 연합 RAG(Representation-based Federated RAG, FedRepRAG)를 제안한다. 검색된 지식을 통합하기 위해, 검색 임베딩을 고정된(frozen) LLM/VLM 백본에 맞는 생성기 호환 표현 토큰으로 변환하는 협력 학습 기반 프로젝터를 도입한다. 분산 환경의 시각적 질의응답(VQA) 및 질의응답(QA) 벤치마크에서 수행한 실험 결과, FedRepRAG는 직접 추론 및 로컬 검색 베이스라인을 일관되게 능가하는 동시에, 원시 컨텍스트 전송 방식과 비교해 검색 컨텍스트 길이와 추론 시점의 계산 오버헤드를 크게 줄였다. 추가 분석에서는 질의와 관련된 검색 표현이 중요함을 확인하였으며, 표현 교환에 따르는 표현 수준의 잔여 유출(residual leakage)을 규명하였다. 종합하면, FedRepRAG는 검색된 원시 콘텐츠를 전송하지 않고도 연합 RAG를 효과적이고 효율적으로 수행하는 프레임워크를 제공한다.

arXiv:2310.05861공식 코드 · Papers with Code

Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models

An increasing number of vision-language tasks can be handled with little to no training, i.e., in a zero and few-shot manner, by marrying large language models (LLMs) to vision encoders, resulting in large vision-language models (LVLMs). While this has huge upsides, such as not requiring training data or custom architectures, how an input is presented to an LVLM can have a major impact on zero-shot model performance. In particular, inputs phrased in an underspecified way can result in incorrect answers due to factors like missing visual information, complex implicit reasoning, or linguistic ambiguity. Therefore, adding visually-grounded information to the input as a preemptive clarification should improve model performance by reducing underspecification, e.g., by localizing objects and disambiguating references. Similarly, in the VQA setting, changing the way questions are framed can make them easier for models to answer. To this end, we present Rephrase, Augment and Reason (RepARe), a gradient-free framework that extracts salient details about the image using the underlying LVLM as a captioner and reasoner, in order to propose modifications to the original question. We then use the LVLM's confidence over a generated answer as an unsupervised scoring function to select the rephrased question most likely to improve zero-shot performance. Focusing on three visual question answering tasks, we show that RepARe can result in a 3.85% (absolute) increase in zero-shot accuracy on VQAv2, 6.41%, and 7.94% points increase on A-OKVQA, and VizWiz respectively. Additionally, we find that using gold answers for oracle question candidate selection achieves a substantial gain in VQA accuracy by up to 14.41%. Through extensive analysis, we demonstrate that outputs from RepARe increase syntactic complexity, and effectively utilize vision-language interaction and the frozen LLM.

arXiv:2411.01153

Designing a Robust Radiology Report Generation System

Recent advances in deep learning have enabled researchers to explore tasks at the intersection of computer vision and natural language processing, such as image captioning, visual question answering, visual dialogue, and visual language navigation. Taking inspiration from image captioning, the task of radiology report generation aims at automatically generating radiology reports by having a comprehensive understanding of medical images. However, automatically generating radiology reports from medical images is a challenging task due to the complexity, diversity, and nature of medical images. In this paper, we outline the design of a robust radiology report generation system by integrating different modules and highlighting best practices drawing upon lessons from our past work and also from relevant studies in the literature. We also discuss the impact of integrating different components to form a single integrated system. We believe that these best practices, when implemented, could improve automatic radiology report generation, augment radiologists in decision making, and expedite diagnostic workflow, in turn improve healthcare and save human lives.

arXiv:2608.01473v1cs.CV

Slot2Text: 효율적이고 공간 추적이 가능한 수술용 MLLM을 위한 객체 중심 시각 토큰화

Slot2Text: Object-Centric Visual Tokenization for Efficient and Spatially Traceable Surgical MLLMs

수술 장면 이해를 위한 멀티모달 대규모 언어 모델(MLLM)은 일반적으로 수백 개의 조밀한 시각 토큰(token)을 언어 모델에 주입하므로, 추론(inference) 비용이 많이 들고 생성된 답변에 대한 공간적 추적 가능성이 제한됩니다. 본 연구에서는 시각적 입력의 조밀한 표현을 슬롯 잠재 변수(slot latent)로 인코딩된 컴팩트한 영역 집합으로 대체하는 이중 모드 수술용 MLLM인 Slot2Text를 제시합니다. Slot2Text는 시각 인코더와 언어 간의 대조 정렬에 의존하는 대신, 자기지도 시각 특징을 몇 개의 영역, 즉 영역 레이블이 지정된 시각 토큰으로서 언어 모델에서 소비되는 슬롯으로 그룹화합니다. Slot2Text-Fast는 슬롯 접두 문맥(prefix)을 사용하여 수술 관련 질문에 답변합니다. Slot2Text-Reason은 추론에 관련된 영역을 식별 및 위치를 파악하여 언어 출력을 해당 슬롯 토큰, 마스크 또는 영역에 연결합니다. 여러 시각적 질의응답(VQA) 및 시각적 그라운딩(visual grounding) 벤치마크에 대한 실험 결과, Slot2Text-Fast는 훨씬 적은 비용으로 최고 수준(SOTA) 기준선(baseline) 모델들과 대등한 성능을 보이면서 평균 총 토큰 소비량을 91.8% 줄이고 시각 접두 문맥을 1,295개에서 47개 토큰으로 줄였습니다(96.4% 감소). Slot2Text-Reason은 추가적인 토큰 및 지연 시간과의 트레이드오프를 통해 명시적인 영역 식별, 위치, 그리고 추적 가능한 공간적 근거를 제공합니다. 이러한 결과는 컴팩트한 슬롯 잠재 변수를 수술용 MLLM의 효율적인 기본 시각 인터페이스로 확립하며, 더 높은 공간적 추적성이 필요할 때는 그라운디드 추론을 활용할 수 있음을 보여줍니다.

arXiv:2007.00398

DocVQA: A Dataset for VQA on Document Images

We present a new dataset for Visual Question Answering (VQA) on document images called DocVQA. The dataset consists of 50,000 questions defined on 12,000+ document images. Detailed analysis of the dataset in comparison with similar datasets for VQA and reading comprehension is presented. We report several baseline results by adopting existing VQA and reading comprehension models. Although the existing models perform reasonably well on certain types of questions, there is large performance gap compared to human performance (94.36% accuracy). The models need to improve specifically on questions where understanding structure of the document is crucial. The dataset, code and leaderboard are available at docvqa.org

arXiv:2611.15640v1cs.CV

MemInStream: 기억하는가, 단지 인식하는가? 스트리밍 비디오 메모리 평가의 재고

MemInStream: Memorizing or Merely Recognizing? Rethinking Streaming Video Memory Evaluation

스트리밍 비디오 이해는 들어오는 시각적 관측을 지속적으로 처리하는 것을 목표로 하며, 비디오 이력이 길어질수록 관련 정보의 보존과 검색이 점점 더 중요해진다. 기존 벤치마크에 메모리 관련 질문이 포함되어 있지만, 질의응답 정확도만으로는 메모리 능력을 신뢰성 있게 측정할 수 없다. 잘못된 예측은 망각이 아니라 시각적 이해의 실패에서 비롯될 수 있고, 올바른 예측은 과거 기억 없이 언어적 사전 지식이나 최근 관측에 의존했을 수 있다. 이러한 모호성을 해결하기 위해 우리는 스트리밍 비디오 이해의 메모리 능력을 평가하는 전용 벤치마크 MemInStream을 소개한다. 우리는 각 질문을 시간적으로 국소화된 증거 구간과 연결하는 증거 통제 검증 프로토콜을 개발한다. 이 프로토콜은 모델이 주석 처리된 증거로부터는 답할 수 있지만 최근 관측, 증거 이후 관측 또는 텍스트 입력만으로는 해결할 수 없는 질문을 남김으로써 증거 해결 가능성과 메모리 필요성을 검증한다. 이는 메모리 한계를 이해 실패와 분리하고 메모리와 무관한 지름길을 줄이는 데 도움이 된다. MemInStream은 다양한 비디오 시나리오에 걸쳐 일화 검색, 상태 추적 및 갱신, 다중 증거 통합, 문맥 기억이라는 네 가지 주요 범주를 통해 메모리 능력을 체계적으로 평가한다. 종합적으로 \textsc{MemInStream}은 스트리밍 비디오 이해의 메모리 능력을 체계적으로 평가하기 위한 포괄적이고 신뢰할 수 있는 벤치마크를 제공한다.

arXiv:2403.20271공식 코드 · Papers with Code

Draw-and-Understand: Leveraging Visual Prompts to Enable MLLMs to Comprehend What You Want

The interaction between humans and artificial intelligence (AI) is a crucial factor that reflects the effectiveness of multimodal large language models (MLLMs). However, current MLLMs primarily focus on image-level comprehension and limit interaction to textual instructions, thereby constraining their flexibility in usage and depth of response. In this paper, we introduce the Draw-and-Understand project: a new model, a multi-domain dataset, and a challenging benchmark for visual prompting. Specifically, we propose SPHINX-V, a new end-to-end trained Multimodal Large Language Model (MLLM) that connects a vision encoder, a visual prompt encoder and an LLM for various visual prompts (points, bounding boxes, and free-form shape) and language understanding. To advance visual prompting research for MLLMs, we introduce MDVP-Data and MDVP-Bench. MDVP-Data features a multi-domain dataset containing 1.6M unique image-visual prompt-text instruction-following samples, including natural images, document images, OCR images, mobile screenshots, web screenshots, and multi-panel images. Furthermore, we present MDVP-Bench, a comprehensive and challenging benchmark to assess a model's capability in understanding visual prompting instructions. Our experiments demonstrate SPHINX-V's impressive multimodal interaction capabilities through visual prompting, revealing significant improvements in detailed pixel-level description and question-answering abilities.

arXiv:2404.09632공식 코드 · Papers with Code

Bridging Vision and Language Spaces with Assignment Prediction

This paper introduces VLAP, a novel approach that bridges pretrained vision models and large language models (LLMs) to make frozen LLMs understand the visual world. VLAP transforms the embedding space of pretrained vision models into the LLMs' word embedding space using a single linear layer for efficient and general-purpose visual and language understanding. Specifically, we harness well-established word embeddings to bridge two modality embedding spaces. The visual and text representations are simultaneously assigned to a set of word embeddings within pretrained LLMs by formulating the assigning procedure as an optimal transport problem. We predict the assignment of one modality from the representation of another modality data, enforcing consistent assignments for paired multimodal data. This allows vision and language representations to contain the same information, grounding the frozen LLMs' word embedding space in visual data. Moreover, a robust semantic taxonomy of LLMs can be preserved with visual data since the LLMs interpret and reason linguistic information from correlations between word embeddings. Experimental results show that VLAP achieves substantial improvements over the previous linear transformation-based approaches across a range of vision-language tasks, including image captioning, visual question answering, and cross-modal retrieval. We also demonstrate the learned visual representations hold a semantic taxonomy of LLMs, making visual semantic arithmetic possible.

arXiv:2611.12144v2cs.CV

DisasterVLG: 재난 장면 이해를 위한 비전-언어 그라운딩과 증거 기반 추론

DisasterVLG: Vision-Language Grounding and Evidence-Based Reasoning for Disaster Scene Understanding

범용 비전-언어 모델은 재난 영상의 고유한 잡음, 모호성, 재난 사건 간의 높은 변동성 때문에 이를 처리하는 데 어려움을 겪지만, 인도적 대응을 위해서는 시의적절하고 정확한 장면 이해가 필수적이다. 이를 해결하기 위해 우리는 142개국의 재난 이미지 124만 장과 3,300만 개의 구조화된 주석을 짝지은 대규모 멀티태스크 데이터셋 DisasterVLG를 소개한다. 이 주석은 위치 지정을 포함한 밀집 캡셔닝, 사건 평가, 관계 기반 장면 설명, 전 세계 다양한 재해 유형과 장면 맥락에 걸친 위기 기반 시각 질의응답(VQA)을 포괄한다. 분류에만 좁게 초점을 맞춘 기존 재난 벤치마크와 달리 DisasterVLG는 인식, 근거 기반 추론, 불확실성 인식 해석을 통합한다. 차별적 특징은 증거 기반 주석 설계로, 각 VQA 인스턴스는 시각적 관찰을 답변과 연결하는 근거 텍스트를 포함하며, 긍정 및 부정 질문 쌍, 다양한 답변 형식, 난이도 레이블도 함께 제공한다. 시각적 그라운딩 계층은 캡션 구절을 이미지 영역에, 관계 진술을 주어-목적어 박스에 연결하며, 시각적 근거와 단서에 대한 명시적 레이블을 갖는다. 엄밀한 평가를 지원하기 위해 광범위한 지리적 지역과 재난 유형을 아우르는 3.8만 장의 이미지(115만 개 주석)로 구성된 인간 검증 테스트 세트를 구축하였다. 도메인 적응된 비전-언어 모델을 이용한 실험은 재난 캡셔닝, 사건 인식, 그라운딩 VQA 전반에서 강한 성능을 보여 주는 동시에, 위기 특화 추론에서 범용 모델의 한계도 드러낸다. DisasterVLG는 실제 세계의 불확실성 아래에서 신뢰성 있게 추론해야 하는 비전-언어 모델을 위한 확장 가능하고 재현 가능한 벤치마크를 확립한다. 데이터셋, 학습된 모델, 코드를 공개할 예정이다.

arXiv:2606.06890v1cs.CV

비전-언어 모델에서의 시각적 무지 진단

Diagnosing Visual Ignorance in Vision-Language Models

비전-언어 모델(VLMs)은 종종 언어 사전(language priors)에 의존하여, 시각적 증거에 기반이 약한 자신 있는 답변을 생성합니다. 이러한 행동은 널리 관찰되지만, 그 내부 메커니즘과 벤치마크 평가에 미치는 영향은 아직 충분히 이해되지 않았습니다. 본 연구에서는 메커니즘적 및 행동적 관점 모두에서 언어 사전 의존성을 연구합니다. 내부적으로, 우리는 반사실적 층 교체와 지도 학습 기반 층별 MLP 프로빙을 결합하여, 정답 시각적 의미론과 언어 사전 의미론이 언어 디코더 전체에서 어떻게 경쟁하는지 추적합니다. 우리의 분석은 다단계 병목 현상을 보여줍니다: 중간 층은 시각적 정보를 효과적으로 검색하는 데 종종 실패하는 반면, 후반 층은 텍스트 공간 편향을 선호하여 생존한 시각적 신호를 추가로 억제할 수 있습니다. 외부적으로, 우리는 다단계 가우시안 블러를 기반으로 하는 점진적 시각적 저하 지표를 도입하여, 시각적 콘텐츠가 점진적으로 파괴되더라도 답변이 불변하는 인스턴스를 식별합니다. 12개의 시각적 질의응답 벤치마크와 3개의 대표적인 VLM에 걸쳐, 우리는 상당 부분의 예제가 심각하거나 완전한 시각적 난독화 하에서도 여전히 답변 가능하다는 것을 발견했으며, 이는 현재 벤치마크가 시각적 무지를 부수적으로 보상할 수 있음을 나타냅니다. 이러한 발견은 언어 사전 의존성이 모델 내부와 벤치마크 타당성 모두에 영향을 미치는 체계적인 라우팅 실패임을 보여줍니다. 마지막으로, 우리는 진정한 교차 모달 그라운딩을 강제하기 위해 구조적으로 격리되거나 반사실적 데이터를 기반으로 구축된 학습 분포와 평가 프로토콜을 설계할 필요성을 강조하며 향후 연구를 위한 중요한 경로를 제시합니다.

arXiv:2404.01291공식 코드 · Papers with Code

Evaluating Text-to-Visual Generation with Image-to-Text Generation

Despite significant progress in generative AI, comprehensive evaluation remains challenging because of the lack of effective metrics and standardized benchmarks. For instance, the widely-used CLIPScore measures the alignment between a (generated) image and text prompt, but it fails to produce reliable scores for complex prompts involving compositions of objects, attributes, and relations. One reason is that text encoders of CLIP can notoriously act as a "bag of words", conflating prompts such as "the horse is eating the grass" with "the grass is eating the horse". To address this, we introduce the VQAScore, which uses a visual-question-answering (VQA) model to produce an alignment score by computing the probability of a "Yes" answer to a simple "Does this figure show '{text}'?" question. Though simpler than prior art, VQAScore computed with off-the-shelf models produces state-of-the-art results across many (8) image-text alignment benchmarks. We also compute VQAScore with an in-house model that follows best practices in the literature. For example, we use a bidirectional image-question encoder that allows image embeddings to depend on the question being asked (and vice versa). Our in-house model, CLIP-FlanT5, outperforms even the strongest baselines that make use of the proprietary GPT-4V. Interestingly, although we train with only images, VQAScore can also align text with video and 3D models. VQAScore allows researchers to benchmark text-to-visual generation using complex texts that capture the compositional structure of real-world prompts. We introduce GenAI-Bench, a more challenging benchmark with 1,600 compositional text prompts that require parsing scenes, objects, attributes, relationships, and high-order reasoning like comparison and logic. GenAI-Bench also offers over 15,000 human ratings for leading image and video generation models such as Stable Diffusion, DALL-E 3, and Gen2.