The rapid development of Large Multimodal Models (LMMs) has significantly advanced multimodal understanding by harnessing the language abilities of Large Language Models (LLMs) and integrating modality-specific encoders. However, LMMs are plagued by hallucinations that limit their reliability and adoption. While traditional methods to detect and mitigate these hallucinations often involve costly training or rely heavily on external models, recent approaches utilizing internal model features present a promising alternative. In this paper, we critically assess the limitations of the state-of-the-art training-free technique, the logit lens, in handling generalized visual hallucinations. We introduce a refined method that leverages contextual token embeddings from middle layers of LMMs. This approach significantly improves hallucination detection and grounding across diverse categories, including actions and OCR, while also excelling in tasks requiring contextual understanding, such as spatial relations and attribute comparison. Our novel grounding technique yields highly precise bounding boxes, facilitating a transition from Zero-Shot Object Segmentation to Grounded Visual Question Answering. Our contributions pave the way for more reliable and interpretable multimodal models.
Diffusion models have gained tremendous success in text-to-image generation, yet still lag behind with visual understanding tasks, an area dominated by autoregressive vision-language models. We propose a large-scale and fully end-to-end diffusion model for multi-modal understanding and generation that significantly improves on existing diffusion-based multimodal models, and is the first of its kind to support the full suite of vision-language modeling capabilities. Inspired by the multimodal diffusion transformer (MM-DiT) and recent advances in discrete diffusion language modeling, we leverage a cross-modal maximum likelihood estimation framework that simultaneously trains the conditional likelihoods of both images and text jointly under a single loss function, which is back-propagated through both branches of the diffusion transformer. The resulting model is highly flexible and capable of a wide range of tasks including image generation, captioning, and visual question answering. Our model attained competitive performance compared to recent unified image understanding and generation models, demonstrating the potential of multimodal diffusion modeling as a promising alternative to autoregressive next-token prediction models.
최근 대규모 언어 모델(LLM)의 발전과 이를 시각-언어 모델(VLM)로 확장한 연구 덕분에 보고서 생성과 같은 작업에서 텍스트와 이미지를 결합하기가 더 쉬워졌다. 기존 의학 분야 VLM은 일반적으로 2D 이미지(흉부 X-ray)에 초점을 맞추며, 3D 영상-텍스트 페어 데이터의 부족으로 3D 영상으로의 확장이 어려웠다. 따라서 우리는 교종(glioma)과 수막종(meningioma) 사례의 3D MRI 스캔을 사용하여 뇌 종양학을 위한 3D 영상-텍스트 데이터셋을 구축하는 새로운 방법을 제안한다. 우리는 여러 LLM이 협력하여 보고서를 생성하고 검증하는 협력 시스템을 사용하여 보고서가 정확하고 명확하도록 한다. 새로운 3D MRI-텍스트 데이터셋을 활용하여, 우리는 MRI 스캔을 토큰(token)으로 변환하고 이를 텍스트 지시와 정렬하는 VLM을 구축한다. 우리의 VLM은 보고서 생성 및 시각 질의응답(visual question answering) 작업에서 다른 2D 및 3D 방법보다 더 우수한 성능을 보였다. 우리의 방법은 보고서의 품질을 개선할 뿐만 아니라 뇌 종양학에서의 더 나은 진단과 치료에도 도움이 된다.
오디오-비주얼 소셜 이해를 위해 멀티모달 대규모 언어 모델(Multimodal Large Language Model, MLLM)을 학습하는 것은 체화된 사회적 지능(embodied social intelligence)으로 나아가는 중요한 단계이다. 사고의 연쇄(Chain-of-Thought, CoT) 추론이 지배적인 접근법으로 자리 잡았으며, HumanOmniV2와 그 IntentBench 벤치마크가 대표적인 기준점으로 쓰이고 있다. 이러한 맥락에서 본 논문은 세 가지 발견을 보고한다. 첫째, IntentBench에는 노이즈가 매우 많다. 질문의 약 7%는 결함이 있고, 약 23%는 비디오 입력 없이도 손쉽게 답할 수 있다. 우리는 해당 질문들을 제거하고 IntentBench-Prime을 공개한다. 둘째, 현재의 추론 접근법은 비용이 많이 들 뿐만 아니라 놀랄 만큼 효과적이지 않다. 단순한 Vanilla SFT 기준선은 세 가지 벤치마크에서 기존 추론 방법과 대등하거나 더 나은 성능을 훨씬 적은 비용으로 달성하며, 이는 새로운 미세조정 기법을 평가하기 위한 필수적인 기준선임을 보여 준다. 셋째, 분석 결과 상당한 사전 지식(prior)을 텍스트 모달리티만으로도 학습할 수 있으며, 비디오 대신 텍스트 캡션을 사용해도 Vanilla SFT와 대등한 성능을 얻을 수 있음을 확인했다. 이러한 놀라운 발견은 소셜 이해와 관련하여 현재 MLLM이 지닌 한계를 드러낸다. IntentBench-Prime, Vanilla SFT 모델, 코드는 공개되어 있다.
전신 PET/CT 임상 진단에서는 대사 기능과 해부학적 구조의 통합 해석이 필수적이다. 3D 의료 비전-언어 모델의 최근 발전이 눈에 띄는 성과를 보여 주었지만, 현재 연구는 지역 CT 영상에 국한되어 있어 포괄적인 전신 PET/CT 분석에서 중요한 공백을 남기고 있다. 본 연구에서는 해부학적·대사·의미론적 어노테이션을 통합한 다중모달 영상을 합성하여 그라운딩(grounded)된 전신 PET/CT 해석을 위한 대규모 데이터셋 MetaStructAtlas를 제안한다. MetaStructAtlas는 50,470개의 장기 수준 분할(segmentation) 마스크와 그라운딩된 방사선학 리포트를 갖춘 공등록(co-registered) 3D PET 및 CT 볼륨 490개를 제공한다. 상호작용적 추론을 지원하기 위해 100,565개의 QA 쌍을 포함하는 표준화된 3D 그라운딩 시각 질의응답(visual question-answering, VQA) 벤치마크 MetaStructVQA를 추가로 개발했다. 이 프레임워크는 해부학적·형태학적·대사적 특성을 포괄하며, 진단 질의를 모달리티 간 시각적 근거에 명시적으로 연결한다. 마지막으로 MetaStructVQA에서 최신(state-of-the-art) 3D 의료 VLM(vision-language model)을 평가하여, 핵의학에서 다중모달 표현 학습과 통합 전신 추론을 위한 견고한 기반을 마련한다.
언어 모델 에이전트는 장기 지평 코딩과 터미널 작업에서 뛰어난 성과를 보이지만, 이러한 성공은 명시적인 텍스트 사양과 즉각적인 실행 피드백이라는 두 조건에 의존한다. 그러나 핵심 정보가 이미지에만 존재하는 실제 문제에서는 두 조건 모두 성립하지 않으므로, 장기 지평 능력이 텍스트에서 시각 추론으로 전이되는지는 불분명하다. 이러한 시각적 환경에서는 규칙과 단서를 텍스트로 옮기기 어렵고 테스트 케이스 피드백도 없기 때문에, 에이전트는 이미지를 반복적으로 살피고, 공간 변환을 시뮬레이션하며, 단서를 자율적으로 교차 검증해야 한다. 이러한 어려움에도 불구하고 기존 평가는 이 능력을 포착하지 못한다. 시각 추론 벤치마크는 대체로 과제를 단일 턴의 짧은 사슬 질의응답으로 축소하고, 에이전트 벤치마크는 텍스트 기반 환경이나 시행착오를 허용하는 상호작용 상태에 초점을 맞춘다. 이 간극을 메우기 위해 우리는 공간 조작 및 시뮬레이션, 논리적 제약 및 계획, 규칙 귀납, 지식 기반 해독의 네 범주에 걸친 40개의 독창적인 시각 퍼즐 모음인 Visual Cipher Bench를 제안한다. 각 퍼즐은 한 장에서 세 장의 흑백 선화와 최소한의 제출 지침만 제공하며, 에이전트가 이미지만으로 근본적인 해결 메커니즘을 발견하도록 요구한다. 8개 최첨단 모델의 29개 추론 노력 설정에서, 가장 강력한 모델인 GPT-6 Astra(max)조차 정확도가 26.7%에 불과하며, 8개 모델 중 5개는 1% 미만이다. 그러나 10개 과제 부분집합에서 정답을 노출하지 않는 메커니즘 힌트를 하나만 제공해도 정확도가 12.2%에서 51.1%로 상승한다. 이러한 뚜렷한 대비는 현재 에이전트의 주된 병목이 다단계 계획의 실행이 아니라 시각적 증거로부터 규칙을 자율적으로 발견하는 데 있음을 보여 준다. 따라서 Visual Cipher Bench는 에이전트의 장기 지평 시각 추론을 측정하기 위한 엄밀한 벤치마크를 제공한다.
기계공학 도면 이해에 특화된 최초의 종합 벤치마크 MechVQA를 소개하며, 3,300장의 고밀도 도면과 21,000개의 질의응답 쌍으로 인식·추론·판단 세 가지 능력 축에 걸쳐 10개 세부 태스크를 구성하였다. 이를 기반으로 지도 학습 파인튜닝과 DAPO 기반 강화학습을 결합한 다단계 학습으로 개발된 MechVL 모델은 최강 클로즈드소스 기준선 대비 7.57 퍼센트포인트 높은 성능을 달성하였다.
Visual Question Answering (VQA) models are prone to learn the shortcut solution formed by dataset biases rather than the intended solution. To evaluate the VQA models' reasoning ability beyond shortcut learning, the VQA-CP v2 dataset introduces a distribution shift between the training and test set given a question type. In this way, the model cannot use the training set shortcut (from question type to answer) to perform well on the test set. However, VQA-CP v2 only considers one type of shortcut and thus still cannot guarantee that the model relies on the intended solution rather than a solution specific to this shortcut. To overcome this limitation, we propose a new dataset that considers varying types of shortcuts by constructing different distribution shifts in multiple OOD test sets. In addition, we overcome the three troubling practices in the use of VQA-CP v2, e.g., selecting models using OOD test sets, and further standardize OOD evaluation procedure. Our benchmark provides a more rigorous and comprehensive testbed for shortcut learning in VQA. We benchmark recent methods and find that methods specifically designed for particular shortcuts fail to simultaneously generalize to our varying OOD test sets. We also systematically study the varying shortcuts and provide several valuable findings, which may promote the exploration of shortcut learning in VQA.
The rapid advancement of Multimodal Large Language Models (MLLMs) has led to remarkable performances across various domains. However, this progress is accompanied by a substantial surge in the resource consumption of these models. We address this pressing issue by introducing a new approach, Token Reduction using CLIP Metric (TRIM), aimed at improving the efficiency of MLLMs without sacrificing their performance. Inspired by human attention patterns in Visual Question Answering (VQA) tasks, TRIM presents a fresh perspective on the selection and reduction of image tokens. The TRIM method has been extensively tested across 12 datasets, and the results demonstrate a significant reduction in computational overhead while maintaining a consistent level of performance. This research marks a critical stride in efficient MLLM development, promoting greater accessibility and sustainability of high-performing models.
Generating natural, diverse, and meaningful questions from images is an essential task for multimodal assistants as it confirms whether they have understood the object and scene in the images properly. The research in visual question answering (VQA) and visual question generation (VQG) is a great step. However, this research does not capture questions that a visually-abled person would ask multimodal assistants. Recently published datasets such as KB-VQA, FVQA, and OK-VQA try to collect questions that look for external knowledge which makes them appropriate for multimodal assistants. However, they still contain many obvious and common-sense questions that humans would not usually ask a digital assistant. In this paper, we provide a new benchmark dataset that contains questions generated by human annotators keeping in mind what they would ask multimodal digital assistants. Large scale annotations for several hundred thousand images are expensive and time-consuming, so we also present an effective way of automatically generating questions from unseen images. In this paper, we present an approach for generating diverse and meaningful questions that consider image content and metadata of image (e.g., location, associated keyword). We evaluate our approach using standard evaluation metrics such as BLEU, METEOR, ROUGE, and CIDEr to show the relevance of generated questions with human-provided questions. We also measure the diversity of generated questions using generative strength and inventiveness metrics. We report new state-of-the-art results on the public and our datasets.
임상 현장에서 환자들은 연속적인 진료에 걸쳐 여러 차례 영상 검사를 받는 경우가 많으며, 이는 종단적(longitudinal) 데이터를 형성합니다. 이러한 시간적(temporal) 정보를 모델링하는 것은 질병 진행과 치료 반응을 신뢰성 있게 평가하는 데 매우 중요합니다. 그러나 멀티모달 대규모 언어 모델(MLLM)의 급격한 발전에도 불구하고, 종단적 의료 시각 추론은 여전히 거의 연구되지 않았습니다. 이러한 공백을 메우기 위해, 본 연구에서는 시계열 의료 영상 분석을 위한 20만 6천 개의 종단적 시각적 질의응답(VQA) 쌍으로 구성된 종합 벤치마크인 LoMeVQA를 제안합니다. LoMeVQA는 진행 분류(progress classification), 진행 설명(progress description), 진행 보고서 생성(progress report generation), 차이 영역 그라운딩(differential region grounding), 차이 영역 설명(differential region description)의 다섯 가지 작업을 다룹니다. 데이터셋을 구축하기 위해 (1) 환자 기록을 시간순으로 정리하고, (2) 의료 지식 그래프를 통해 임상적으로 유의미한 개체를 추출하며, (3) 이들의 시간적 진화를 모델링하여 대규모 언어 모델이 고품질의 종단적 VQA 쌍을 생성하도록 유도하는 자동화 파이프라인을 개발했습니다. 광범위한 평가를 통해 범용 및 의료 도메인 MLLM 모두 LoMeVQA에서 저조한 성능을 보임을 확인하였으며, 이는 시간적 추론 능력에 상당한 한계가 있음을 드러냅니다. 이러한 한계를 해결하기 위해 본 논문에서는 모든 작업에서 최고 성능(state-of-the-art)을 달성하는 MedLong-8B를 도입합니다. 벤치마킹을 넘어, 본 연구는 주요 실패 모드를 밝혀내고 종단적 의료 시각 추론을 개선하는 방법에 대한 통찰을 제공하는 상세한 분석을 수행합니다. 연구 데이터는 https://github.com/pepperbubble/LoMeVQA 에서 확인할 수 있습니다.
The emergence of Vision-Language Models (VLMs) represents a significant advancement in integrating computer vision with Large Language Models (LLMs) to generate detailed text descriptions from visual inputs. Despite their growing importance, the security of VLMs, particularly against backdoor attacks, is under explored. Moreover, prior works often assume attackers have access to the original training data, which is often unrealistic. In this paper, we address a more practical and challenging scenario where attackers must rely solely on Out-Of-Distribution (OOD) data. We introduce VLOOD (Backdooring Vision-Language Models with Out-of-Distribution Data), a novel approach with two key contributions: (1) demonstrating backdoor attacks on VLMs in complex image-to-text tasks while minimizing degradation of the original semantics under poisoned inputs, and (2) proposing innovative techniques for backdoor injection without requiring any access to the original training data. Our evaluation on image captioning and visual question answering (VQA) tasks confirms the effectiveness of VLOOD, revealing a critical security vulnerability in VLMs and laying the foundation for future research on securing multimodal models against sophisticated threats.
멀티모달 대규모 언어 모델(MLLM)이 빠르게 발전하면서 원격탐사(RS)에서 이 모델의 능력과 한계를 평가할 종합 벤치마크가 필요해졌다. 그러나 대형 합성 개구 레이더(SAR) 영상에서 MLLM을 평가하기는 여전히 어렵다. 장면 전체를 이해하려면 전역의 의미를 해석하는 능력과 개별 대상을 세밀하게 인식하는 능력이 모두 필요하기 때문이다. 기존 SAR 벤치마크는 주로 작은 영상 패치를 사용해 두 능력을 함께 평가하기 어렵다. 이 한계를 해결하기 위해 대규모 SAR 장면에서 MLLM의 인식 및 추론 능력을 종합적으로 평가하는 XLSAR-Bench를 제시한다. 평균 크기가 7153$\times$7153픽셀인 영상 405장과 시각 질의응답, 시각 그라운딩, 상세 이미지 캡셔닝을 아우르는 과제 열 개로 구성된다. 반자동 캡션 생성기의 도움을 받아 모든 평가 표본에 사람이 세심하게 주석을 붙였다. 범용 및 도메인 특화 MLLM을 평가한 결과, 대형 SAR 장면 전체를 이해하고 작은 대상을 정확히 인식하는 데 여전히 어려움이 있었다. 대형 SAR 장면 전체를 더 잘 이해하는 MLLM 연구를 지원하기 위해 XLSAR-Bench를 공개했다.
멀티모달 언어 모델이 시각 입력을 어떻게 인코딩해야 하는지는 여전히 논쟁 중이다. 대부분의 모델은 사전 학습된 비전 인코더를 사용하지만, 최근 일부 방식은 인코더를 언어 모델과 함께 처음부터 학습하거나 인코더를 완전히 제거한다. 비전 인코더는 세 가지 설계 선택, 즉 상위 단계 사전 학습에서 얻는 시각적 사전 지식, 전용 비전 용량, 그리고 그 용량의 융합 이전 배치(즉, 멀티모달 백본 이전에 배치)를 하나로 묶고 있다. 공개된 모델들은 데이터, 아키텍처, 연산량도 서로 다르므로, 이들을 비교해서는 각 선택의 효과를 분리할 수 없다. 우리는 모든 모델을 공통 데이터로 처음부터 사전 학습하고 동일한 전체 학습 연산량 조건에서 시각 질의응답 및 언어 벤치마크로 비교하는 통제된 프레임워크를 통해 이러한 선택들을 분리한다. 그 결과 시각적 사전 지식은 필수적이지 않음을 확인했다. 처음부터 함께 학습한 인코더는 별도의 학습 단계 없이도 사전 학습된 인코더와 대등한 성능을 보인다. 대신 중요한 것은 전용 비전 용량이다. 인코더가 없는 모델은 백본을 인코더의 파라미터 수만큼 확대하더라도 시각 이해에서 뒤처진다. 그러나 그 용량이 멀티모달 융합보다 앞에 위치할 필요는 없다. 백본 초기 레이어에 융합 단계에서 추가한 비전 전용 모듈은 융합 이전 인코더와 비슷한 성능을 보이며 첫 토큰까지의 시간을 줄일 수 있다. 이러한 결과는 백본 크기가 달라져도, 인코더 사전 학습 비용을 무시하는 경우에도, 사전 학습된 언어 모델에서 시작하는 경우에도 유지된다. 종합하면, 우리의 연구 결과는 백본과 함께 학습되고 백본 초기에 배치된 전용 비전 용량을 지지한다.
Active perception, a crucial human capability, involves setting a goal based on the current understanding of the environment and performing actions to achieve that goal. Despite significant efforts in evaluating Multimodal Large Language Models (MLLMs), active perception has been largely overlooked. To address this gap, we propose a novel benchmark named ActiView to evaluate active perception in MLLMs. Since comprehensively assessing active perception is challenging, we focus on a specialized form of Visual Question Answering (VQA) that eases the evaluation yet challenging for existing MLLMs. Given an image, we restrict the perceptual field of a model, requiring it to actively zoom or shift its perceptual field based on reasoning to answer the question successfully. We conduct extensive evaluation over 27 models, including proprietary and open-source models, and observe that the ability to read and comprehend multiple images simultaneously plays a significant role in enabling active perception. Results reveal a significant gap in the active perception capability of MLLMs, indicating that this area deserves more attention. We hope that our benchmark could help develop methods for MLLMs to understand multimodal inputs in more natural and holistic ways.
비전-언어 모델(VLM)은 악보에 관한 질문에 답할 수 있으나, 기보법을 인식하고 그 구조를 복원하며 음악적 의미를 해석하는 능력은 별도의 평가가 필요하다. 기존의 광학 음악 인식(OMR) 자원은 검출과 전사에 대한 측정을 제공하지만, 전사 점수만으로는 VLM 악보 판독기의 강점과 병목을 파악할 수 없다. 본 논문은 여섯 가지 측면과 24개 과제 하위 유형에 걸친 3,000개의 질문을 통해 VLM의 OMR 능력을 평가하는 OmniScore-Bench를 소개한다. 각 질문은 가시 범위, 참조 주석, 답변 스키마를 명시하여 기호 위치 파악부터 음악적 일관성, 근거가 연결된 질의응답에 이르기까지 자동 평가를 가능하게 한다. 12개 VLM을 평가한 결과, 연산별로 능력 프로필이 다르게 나타났으며 발췌, 단일 페이지, 다중 페이지 과제에서 전사 성능이 가장 우수한 모델도 서로 달랐다. 통제된 분석을 통해 악보 이미지, 보조 정보, 추가 페이지 문맥의 역할을 살펴본다. 시험한 부분집합에서 이미지를 제거하면 음높이와 반복 기호 해석에서 시각 의존성이 드러나며, 공개 문맥만으로 성능이 얼마나 유지되는지도 측정된다. 형식 분석과 내용 분석을 분리하여 답변 형식 위반과 음악적 오류를 구분한다. OmniScore-Bench는 VLM이 어떤 악보 읽기 연산을 안정적으로 수행하고 어떤 연산에서 개선이 필요한지 진단하는 데 기여한다.
Visual Question Answerinng (VQA) is a complicated task that requires the capability of simultaneously processing natural language and images. This task was initially researched with a focus on developing methods to help machines understand objects and scene contexts in images. However, some scene text that carries explicit information about the full content of the image is not mentioned. Along with the continuous development of the AI era, there have been many studies on the reading comprehension ability of VQA models in the world. Therefore, we introduce the first large-scale dataset in Vietnamese specializing in the ability to understand scene text, we call it ViTextVQA (\textbf{Vi}etnamese \textbf{Text}-based \textbf{V}isual \textbf{Q}uestion \textbf{A}nswering dataset) which contains \textbf{over 16,000} images and \textbf{over 50,000} questions with answers. To tackle this task efficiently, we propose ViTextBLIP-2, an novel multimodal feature fusion Method, which optimizes Vietnamese OCR-based VQA by integrating a frozen Vision Transformer, SwinTextSpotter OCR, and ViT5 LLM with a trainable Q-Former for multimodal feature fusion. Through experiments with various state-of-the-art models, we uncover the significance of the order in which tokens in OCR text are processed and selected to formulate answers. This finding helped us significantly improve the performance of the baseline models on the ViTextVQA dataset. Our dataset is available (https://github.com/minhquan6203/ViTextVQA-Dataset) for research purposes.
Class Activation Map (CAM) has emerged as a popular tool for weakly supervised semantic segmentation (WSSS), allowing the localization of object regions in an image using only image-level labels. However, existing CAM methods suffer from under-activation of target object regions and false-activation of background regions due to the fact that a lack of detailed supervision can hinder the model's ability to understand the image as a whole. In this paper, we propose a novel Question-Answer Cross-Language-Image Matching framework for WSSS (QA-CLIMS), leveraging the vision-language foundation model to maximize the text-based understanding of images and guide the generation of activation maps. First, a series of carefully designed questions are posed to the VQA (Visual Question Answering) model with Question-Answer Prompt Engineering (QAPE) to generate a corpus of both foreground target objects and backgrounds that are adaptive to query images. We then employ contrastive learning in a Region Image Text Contrastive (RITC) network to compare the obtained foreground and background regions with the generated corpus. Our approach exploits the rich textual information from the open vocabulary as additional supervision, enabling the model to generate high-quality CAMs with a more complete object region and reduce false-activation of background regions. We conduct extensive analysis to validate the proposed method and show that our approach performs state-of-the-art on both PASCAL VOC 2012 and MS COCO datasets. Code is available at: https://github.com/CVI-SZU/QA-CLIMS
비전-언어 모델(vision-language model)에 입력되는 3D CT 스캔은 볼륨당 수천에서 수만 개에 달하는 긴 시각적 토큰(token) 시퀀스를 생성하며, 언어 모델(language model)이 이를 처리하기 위해서는 시퀀스를 압축해야 합니다. 토큰 압축은 일반 컴퓨터 비전(CV) 분야에서 활발히 연구되었으나, 3D CT를 구체적으로 겨냥한 연구는 거의 없습니다. 흔히 쓰이는 기준선(baseline)은 격자 평균(grid average)으로, 이는 정규 격자 셀을 풀링하여 뚜렷한 해부학적 구조, 병변, 공기를 하나의 토큰으로 섞어버릴 수 있습니다. 본 연구에서는 3D CT용 토큰 압축기인 ORCA(ORgan-Centroid Aggregation)를 제시합니다. ORCA는 장기 가이던스(organ guidance)를 통해 인접한 토큰들을 병합하고, 공간적 배치를 보존하기 위해 각 영역 중심점의 사인파 인코딩(sinusoidal encoding)을 추가합니다. 이를 통해 다운스트림 모델이 필요로 하는 해부학적 정보를 보존합니다. ORCA는 학습(training)이 필요 없고 플러그 앤 플레이(plug-and-play) 방식이며, 모델 변경이나 텍스트 쿼리 없이도 조절 가능한 토큰 세트를 생성합니다. 저자들은 두 가지 데이터셋(CT-RATE 및 Merlin)과 다섯 가지 인코더를 대상으로 이를 평가(evaluation)합니다. 평가는 다섯 가지 계열(크기, 밀도, 위치, 질감, 질환)에 대한 속성 예측과 텍스트 생성(시각적 질의응답 및 판독문 생성)이라는 두 가지 작업 유형에 걸쳐 이루어집니다. 동일한 토큰 예산에서 ORCA는 기존 압축 방법들에 비해 일관된 향상을 보입니다. 시각적 컨텍스트를 $64\times$, KV-캐시를 $50\times$ 축소하며, 각 볼륨을 처리하는 속도는 $31\times$ 더 빠릅니다. 코드는 https://github.com/renjie-liang/ORCA-3DCT 에 공개되어 있습니다.
Machine learning advances in the last decade have relied significantly on large-scale datasets that continue to grow in size. Increasingly, those datasets also contain different data modalities. However, large multi-modal datasets are hard to annotate, and annotations may contain biases that we are often unaware of. Deep-net-based classifiers, in turn, are prone to exploit those biases and to find shortcuts. To study and quantify this concern, we introduce the perceptual score, a metric that assesses the degree to which a model relies on the different subsets of the input features, i.e., modalities. Using the perceptual score, we find a surprisingly consistent trend across four popular datasets: recent, more accurate state-of-the-art multi-modal models for visual question-answering or visual dialog tend to perceive the visual data less than their predecessors. This trend is concerning as answers are hence increasingly inferred from textual cues only. Using the perceptual score also helps to analyze model biases by decomposing the score into data subset contributions. We hope to spur a discussion on the perceptiveness of multi-modal models and also hope to encourage the community working on multi-modal classifiers to start quantifying perceptiveness via the proposed perceptual score.