건설 모니터링에 사용되는 컴퓨터 비전(CV) 시스템은 불리한 환경 및 시각적 조건에서 성능이 저하될 수 있으나, 기존 건설 이미지 데이터셋에서는 이러한 조건이 여전히 과소 대표되고 있습니다. 본 논문에서는 3,109개의 실제 소스 장면에서 파생된 34,199개의 이미지를 포함하는 쌍(paired) 형태의 합성 건설 현장 이미지 데이터셋인 ConSynth-X를 제시합니다. 이 데이터셋은 강수, 안개, 야간 조명, 야간 악천후, 소형 객체 또는 원거리 뷰를 아우르는 11개의 조건별 하위 집합으로 구성됩니다. 각 합성 이미지는 해당하는 소스 장면에 연결되어 있어 환경 및 시각적 조건 전반에 걸친 통제된 비교를 가능하게 합니다. ConSynth-X는 소스 기반 주석, 생성 메타데이터, 출처(provenance) 정보 및 이미지 품질 지표를 포함하여 객체 검출(object detection), 이미지 캡셔닝, 시각적 그라운딩(visual grounding), 시각적 질의응답(VQA)을 지원합니다. 기술적 검증(validation)에서는 임베딩(embedding) 기반 유사도 및 분포 분석을 사용하여 소스-합성 충실도와 실제 악조건 이미지와의 정렬(alignment)을 평가합니다. 이 데이터셋은 까다로운 현장 조건에서 건설 비전 및 비전-언어 모델의 강건성을 평가하고 개선하기 위한 체계적인 자원을 제공합니다.
고해상도 멀티모달 대규모 언어 모델(MLLM)의 실패는 흔히 시각적 문제로 귀결되어 세부적인 근거를 복원하거나 간섭을 억제하기 위한 줌(zooming), 크롭(cropping) 및 관련 시각적 개입을 유도해 왔습니다. 그러나 최근 연구에 따르면 관련 시각적 근거는 이미 중간 표현(intermediate representation)에 인코딩되어 있어 시각 측면의 개선만으로는 불충분함을 시사합니다. 이는 자연스럽게 다음과 같은 의문을 제기합니다. 남아있는 병목 현상은 시각적 탐색을 유도하는 텍스트에 있는 것일까? 본 연구에서는 기존에 간과되었던 언어적 병목 현상을 규명합니다. 즉, 답변 생성을 위해 구성된 질문이 위치 파악(localization)에 필요한 시각적 근거를 반드시 명시하지는 않는다는 점입니다. 이러한 불일치를 해결하기 위해, 최종 추론을 위한 원래 질문을 보존하면서 보완적인 근거 명세(evidence specifications)를 도출하는 학습(training) 불필요 컴파일러인 EviSpec을 제안합니다. 나아가 근거 명세와 위치 파악의 역할을 분리하는 일치 대조 실험(matched-control experiment)을 통해 이를 검증합니다. 탐색 예산이 고정된 상태에서 구조화된 근거 명세는 일반적인 요청 대비 8.6%의 상대적 성능 향상을 가져옵니다. 근거 지오메트리(geometry)가 일치된 상태에서 EviSpec으로 위치를 파악한 근거는 무작위 근거 대비 14.8%의 상대적 향상을 보입니다. 종합하면, 이러한 대조 실험은 단순히 시각적 접근성을 확장하기보다 찾아야 할 근거를 구체적으로 명시하는 것의 이점을 입증합니다. 5개의 모든 MLLM에 걸쳐 EviSpec은 3개 벤치마크 각각에서 해당하는 기준선(baseline) 대비 지속적으로 성능을 향상시키며, V\textsuperscript{*}Bench, HR-Bench-4K, HR-Bench-8K에서 각각 평균 \textbf{10.4%, 8.8%, 12.4%}의 상대적 성능 향상을 달성합니다. 고해상도 추론을 넘어, EviSpec은 시각적 질의응답(VQA) 및 환각(hallucination) 중심 벤치마크에서도 최고 성능(state-of-the-art)을 달성합니다.
거의 동일한 이미지 간의 세밀한 차이를 위치 특정하고 서술하는 것은 멀티모달 대규모 언어 모델(MLLM)에 중요하지만 아직 충분히 연구되지 않은 역량입니다. 기존 벤치마크는 대체로 충실한 서술과 물리적 위치 특정을 동시에 요구하지 않은 채, 의미론적 비교나 단일 이미지 그라운딩(grounding)을 개별적으로 평가합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 그라운딩 기반의 미세 변화 이해를 위한 벤치마크인 MinCU를 소개합니다. MinCU의 각 샘플은 객체 범주, 속성, 개수 또는 공간적 위치에서 단 하나의 원자적 변화만 나타나는 이미지 쌍으로 구성되며, 모델은 변화 서술, 변경된 영역의 위치 특정, 변경된 개체 식별 능력을 평가받습니다. 나아가 본 논문에서는 예측을 '생각-위치 특정-서술(Think-Locate-Describe)' 시퀀스로 분해하는 구조화된 자기회귀 방식인 Semantic-Guided Implicit Spatial Anchors(SG-ISA)를 제안합니다. SG-ISA는 먼저 변경된 개념에 대한 의미론적 단서를 예측한 후, 이산 공간 앵커를 암묵적 위치 특정 스캐폴드로 활용하며, 최종적으로 그라운딩 박스와 함께 변화 서술을 생성합니다. 실험 결과, 가장 강력한 폐쇄형 MLLM과 최근의 R1 스타일 추론 모델조차 MinCU에서 어려움을 겪으며, 대부분 정확한 서술과 그라운딩 박스를 동시에 생성하는 데 실패하는 것으로 나타났습니다. 이전 사고의 연쇄(Chain-of-Thought) 방식과 비교했을 때, SG-ISA를 통한 미세조정은 추론 토큰 오버헤드를 약 26% 줄이면서도 그라운딩 정확도와 서술 품질 모두에서 상당한 공동 향상을 이끌어냈습니다. 이러한 결과는 그라운딩 기반의 듀얼 이미지 이해에서 모델 규모에만 의존하는 것보다 암묵적인 중간 공간 인터페이스가 더 효과적일 수 있음을 시사합니다.
3D 가우시안 스플래팅(3DGS)은 새로운 뷰 합성(novel view synthesis)을 위한 강력한 기법으로 부상하였으며, 이후 수많은 공간 AI(spatial AI) 애플리케이션으로 확장되고 있습니다. 그러나 기존의 대부분의 3DGS 방법들은 특정 도메인에만 집중하며 고립되어 작동합니다. 본 논문에서는 공간 작업을 위한 VLM의 인지 모듈에 이처럼 기존에 고립되어 있던 3DGS 방법들을 통합하는 확장 가능한 프레임워크인 X-GS를 소개하며, 이는 $\textit{Perceiver}$와 $\textit{Thinker}$라는 두 가지 주요 구성 요소를 갖추고 있습니다. $\textit{Perceiver}$는 시맨틱 지식 증류(semantic distillation)를 동반한 온라인 3DGS 기반 SLAM을 수행하고, 카메라 포즈가 없는(unposed) 비디오 스트림으로부터 시맨틱 가우시안을 출력합니다. 또한 더 강력한 기하학적 사전 정보를 얻기 위해 최신 비전 파운데이션 모델을 활용하며, 시맨틱 지식 증류 효율성을 향상시키기 위한 세 가지 새로운 최적화(optimization) 기법을 소개합니다. $\textit{Thinker}$는 다양한 VLM을 이러한 시맨틱 가우시안과 연동하여 3D 시각적 그라운딩(visual grounding) 및 씬 캡셔닝(scene captioning)과 같은 공간 멀티모달 역량을 발현시킵니다. 다양한 벤치마크(benchmark)에 대한 실험 결과는 X-GS 프레임워크의 효율성과 새롭게 발현된 멀티모달 능력을 입증합니다.
대중교통 비디오 이해는 기존 승객 카운터 및 요금 시스템이 포착할 수 없는 가치 있는 세밀한 데이터를 제공할 수 있다. 그러나 지도 학습 비디오 모델은 과제별 주석이 필요한 반면, 비전-언어 모델(VLM)을 긴 차내 비디오에 직접 적용하는 것은 신뢰성이 낮고 비용이 많이 든다. 두 접근법의 상호 보완적 강점을 활용하기 위해, 우리는 제로샷 대중교통 버스 비디오 분석을 위한 시각적 그라운딩 기반 혼합 추론 프레임워크인 GHR-VLM을 제안한다. 이는 명시적 시각적 그라운딩이 긴 감시 영상 스트림을 승객 중심의 간결한 시공간 증거로 변환함으로써 VLM 추론을 개선할 수 있다는 관찰에 영감을 받았다. 구체적으로, 우리는 경량 에지 기반 모니터가 문 상태를 지속적으로 추적하고 승객 클립을 세그먼트화하는 엣지-클라우드 설계를 제안한다. 백엔드 VLM은 이후 시공간 증거에 대한 2단계 거친-세밀(coarse-to-fine) 정제를 통해 탑승 승객을 식별하고 결제 행동을 분류한다. 그라운딩된 승객 클립과 컨택트 시트(contact sheet)에 대해서만 VLM을 호출함으로써, GHR-VLM은 클라우드 추론을 줄이고, 결제 특화 학습 데이터를 피하며, VLM이 원래 식별하기 어려워하는 국소화된 증거를 제공한다. 486분의 실제 버스 감시 비디오에 대한 평가는 열화된 비디오 조건이 제기하는 과제를 강조하면서, 승객 수준의 결제 분석을 위한 그라운딩 기반 엣지-클라우드 추론의 잠재력을 보여준다.
우리는 시각적으로 그라운딩된 도구 호출 에이전트를 위한 벤치마크 및 평가 프레임워크인 MM-ToolSandBox를 소개한다. 이 프레임워크는 16개 응용 도메인에 걸쳐 500개 이상의 도구를 포괄하는 상태 저장(stateful) 실행 환경을 제공하며, 에이전트가 순차적으로 도착하는 시각적 입력을 실행 가능한 도구 호출로 그라운딩하면서 현실적인 대화 현상(목표 수정, 오류 정정, 상태 변이)을 처리해야 하는 멀티 이미지, 멀티 턴 태스크를 지원한다. 자동화된 시나리오 생성 파이프라인은 정보 흐름 기반 계획 수립과 다단계 품질 필터링을 통해 다양한 시각적 그라운딩 시나리오를 생성하며, 그 결과 258개의 인간 검증 정상 시나리오와 대화형 UI 애플리케이션을 대상으로 한 50개의 변형 시나리오를 산출한다. 4B 오픈 가중치 모델부터 프론티어 상용 시스템까지 12개의 최신 모델을 평가한 결과, 현재 모델들은 여전히 견고한 시각적 도구 호출 능력이 부족함을 보여준다: 최고 성능 모델조차 성공률이 50% 미만이다. 실패 분석을 통해 시각적 정밀도(visual precision)가 계획 수립뿐 아니라 유능한 모델의 주요 병목임을 확인했다: 실패의 53%는 태스크 워크플로 자체는 올바름에도 이미지에서의 잘못된 정보 추출에서 비롯된다. 규모에 따른 계획-정밀도 교차 현상이 나타난다: 소형 모델은 무엇을 해야 할지 결정하는 단계에서 실패하는 반면, 대형 모델은 자신이 보는 것을 인식하는 단계에서 실패하며, 이는 서로 다른 능력 수준의 모델 개선을 위한 근본적으로 상이한 연구 방향을 시사한다. 프레임워크와 벤치마크는 https://github.com/apple/ml-mmtoolsandbox 에서 공개적으로 이용 가능하다.
Foundation models have revolutionized AI, but adapting them efficiently for multimodal tasks, particularly in dual-stream architectures composed of unimodal encoders, such as DINO and BERT, remains a significant challenge. ParameterEfficient Fine-Tuning (PEFT) methods like LowRank Adaptation (LoRA) enable lightweight adaptation, yet they operate in isolation within each modality, limiting their ability in capturing cross-modal interactions. In this paper, we take a step in bridging this gap with Cross-Modal LowRank Adaptation (CoLA), a novel PEFT framework that extends LoRA by introducing a dedicated inter-modal adaptation pathway alongside the standard intra-modal one. This dual-path design enables CoLA to adapt unimodal foundation models to multimodal tasks effectively, without interference between modality-specific and crossmodal learning. We evaluate CoLA across a range of vision-language (RefCOCO, RefCOCO+, RefCOCOg) and audio-visual (AVE, AVS) benchmarks, where it consistently outperforms LORA, achieving a relative gain of around 3% and 2%, respectively, while maintaining parameter efficiency. Notably, CoLA enables the first multitask PEFT framework for visual grounding, bridging a key gap in efficient multimodal adaptation. Code is available at https://github.com/peterwisu/CoLA
시각적 그라운딩(visual grounding)은 이미지 내의 객체와 텍스트 설명을 연관 짓는 기술입니다. 기존 방식들은 3인칭 시점의 이미지 입력과 명시적인 객체 질의를 주 대상으로 삼았습니다. 하지만 AI 어시스턴트와 같은 응용 분야에서는 시점의 전환이 일어납니다. 즉, 입력이 1인칭 시점(egocentric)이며, 객체가 사용자의 요구나 의도를 통해 암시적으로 언급될 수 있습니다. 이러한 격차를 해소하기 위해, 본 연구에서는 1인칭 시각적 의도 그라운딩을 위한 최초의 데이터셋인 EgoIntention을 소개합니다. EgoIntention은 멀티모달 대규모 언어 모델(LLM)이 1) 의도와 무관한 맥락적 객체를 이해하고 무시하며, 2) 흔치 않은 객체의 기능성을 추론하도록 도전 과제를 부여합니다. 벤치마크 평가 결과, 현재 모델들은 맥락 객체를 잘못 식별하고 1인칭 시점에서의 어포던스(affordance, 행동 유도성) 이해가 부족한 것으로 나타났습니다. 또한, 본 논문에서는 연쇄적인 의도 추론 및 객체 그라운딩 메커니즘을 통해 일반적인 설명과 1인칭 시점의 의도를 결합한 하이브리드 학습을 가능하게 하는 Reason-to-Ground (RoG) 지시 미세조정을 제안합니다. RoG는 기존의 단순 설명을 기반으로 한 그라운딩 성능을 유지하거나 소폭 향상시키는 동시에, EgoIntention 상에서 단순 미세조정 및 하이브리드 학습 방식 대비 성능을 크게 향상시킵니다. 이러한 발전은 명시적인 객체 질의와 암시적인 인간의 의도를 모두 처리하면서, 1인칭 및 3인칭(exocentric) 시각 입력 전반에 걸쳐 통합된 시각적 그라운딩을 가능하게 합니다.
Visual Grounding, also known as Referring Expression Comprehension and Phrase Grounding, aims to ground the specific region(s) within the image(s) based on the given expression text. This task simulates the common referential relationships between visual and linguistic modalities, enabling machines to develop human-like multimodal comprehension capabilities. Consequently, it has extensive applications in various domains. However, since 2021, visual grounding has witnessed significant advancements, with emerging new concepts such as grounded pre-training, grounding multimodal LLMs, generalized visual grounding, and giga-pixel grounding, which have brought numerous new challenges. In this survey, we first examine the developmental history of visual grounding and provide an overview of essential background knowledge. We systematically track and summarize the advancements, and then meticulously define and organize the various settings to standardize future research and ensure a fair comparison. Additionally, we delve into numerous related datasets and applications, and highlight several advanced topics. Finally, we outline the challenges confronting visual grounding and propose valuable directions for future research, which may serve as inspiration for subsequent researchers. By extracting common technical details, this survey encompasses the representative work in each subtopic over the past decade. To the best of our knowledge, this paper represents the most comprehensive overview currently available in the field of visual grounding. This survey is designed to be suitable for both beginners and experienced researchers, serving as an invaluable resource for understanding key concepts and tracking the latest research developments. We keep tracing related work at https://github.com/linhuixiao/Awesome-Visual-Grounding.
대부분의 신경 언어 모델과 달리, 인간은 풍부하고 다중 감각적이며 종종 다국어 환경에서 언어를 학습한다. 현재의 언어 모델은 일반적으로 다국어 언어 사용의 복잡성을 완전히 포착하지 못한다. 우리는 MS-COCO-ES의 영어 및 스페인어 이미지와 캡션으로 LSTM 언어 모델을 학습한다. 시각적 그라운딩이 언어 내 및 언어 간 의미적 유사성에 대한 모델의 이해를 향상시키고 perplexity를 개선함을 발견했다. 그러나 추상적 단어에 대해서는 시각적 그라운딩의 유의미한 이점을 발견하지 못했다. 우리의 결과는 시각적으로 그라운딩된 언어 모델의 장점에 대한 추가 증거를 제공하며, 다국어 화자로부터의 보다 자연주의적인 언어 데이터와 지각적 그라운딩이 포함된 다국어 데이터셋의 필요성을 지적한다.
다중모달 대규모 언어 모델(MLLM)은 그라운딩(grounding) 과제에서 큰 진전을 이루었지만, 기존 방법들은 여전히 정밀한 위치 지정(localization)과 복잡한 추론을 통합하는 데 어려움을 겪고 있다. 한편, 텍스트 기반 방법은 좌표 또는 인덱스 예측에 의존하여 밀집된 시각 객체에 대한 모델의 인식(perception) 능력을 크게 제한한다. 한편, 잠재 토큰 기반 방법은 고유한 공간적 참조가 없는 특수 토큰을 사용하고 사고 단계가 부족한 디코딩 메커니즘을 사용하여 고수준 추론 능력을 약화시킨다. 결과적으로, 인식과 추론 모두에서 뛰어난 통합 프레임워크를 개발하는 것은 여전히 어려운 과제로 남아 있다.
이를 해결하기 위해, 우리는 인식-추론 격차를 메우는 새로운 자유 형식 다중모달 그라운딩 방법인 Mixture-of-Thought-Tokens(Motto)를 제안한다. 이를 통해 MLLM이 다양하고 임의의 그라운딩 쿼리를 처리할 수 있게 한다. 구체적으로, 명확한 공간적 대응과 시각적 해석 가능성을 위해 특수 토큰을 공간 위치와 명시적으로 정렬하는 Spatially-Grounded Thought Tokenization을 도입한다. 또한 교차 배치된 추론 사슬 내에서 그라운딩 모드를 동적으로 전환하는 Context-Adaptive Chain-of-Tokens를 설계하여, 다양한 복잡도의 과제에서 강건한 그라운딩을 달성한다. 또한 인식-추론 격차를 평가하기 위한 새로운 지시 표현 이해(referring expression comprehension) 벤치마크인 PR-Bench를 구축한다. 광범위한 실험을 통해 Motto가 다양한 자유 형식 그라운딩 과제에서 최신(state-of-the-art) 성능을 달성함을 보여준다.
다중모달 대규모 언어 모델(MMLM)에서 어텐션 메커니즘의 경험적 성공은 종종 그에 내재된 미묘한 결함을 가려버린다. 구체적으로, MMLM은 일관되게 특정 의미적으로 무정보적인 시각 토큰에 과도한 어텐션을 보이며, 이 현상은 "register" 또는 "Visual Attention Sinks"라고 불린다. 기존 추론 개입 방법들은 이러한 sink 토큰을 식별하고 어텐션 가중치를 재분배하려 시도하지만, 이러한 접근법은 일반적으로 이러한 토큰을 고립적으로 다루며 계산 비효율성을 겪는다. 대신, 우리는 이 현상을 고립된 sink 토큰을 넘어 확장되는 시각 특징에 가해지는 일반화된 텍스트적 바이어스로 재구성한다. 이 관점에서, 만연한 구조적 바이어스는 의미적 시각 신호의 희석을 초래하며, 모델이 유효한 시각적 증거보다 언어적 사전(prior)을 우선시함에 따라 다중모달 환각을 촉발한다. 이 한계를 해결하기 위해, 우리는 학습 없이 플러그 앤 플레이 방식의 개입인 Saliency-guided Purification and Adaptive Redistribution(SPAR)을 제안한다. SPAR은 구조적 노이즈를 정화하고, 이후 회수된 어텐션 예산을 가장 정보가 풍부한 시각 영역에 재분배함으로써 이러한 일반화된 텍스트적 바이어스를 완화한다. 다양한 환각 벤치마크에 걸친 포괄적 평가는 SPAR이 무시할 수 있는 수준의 계산 오버헤드로 진정한 시각적 그라운딩을 효과적으로 복원함을 보여준다.
인간의 시각적 추론은 일반적으로 전역 장면 이해에서 시작하여 점차 질문과 관련된 영역에 집중하는 거친-세밀(coarse-to-fine) 어텐션 과정을 따른다. 그러나 멀티모달 대규모 언어 모델(MLLM)은 어텐션 드리프트(attention drift)와 시각적 증거의 미활용으로 인해 이러한 패턴에서 벗어날 수 있으며, 이는 환각(hallucination)으로 이어질 수 있다. 이러한 문제를 완화하기 위해, 본 연구는 추론 중 두 가지 정보 이론적 지표를 추적하는 이중 지표 유도 대조 정렬(Dual-Indicator Guided Contrastive Alignment, DICA)을 제안한다: 시각 어텐션의 집중도를 반영하는 Visual Attention Entropy(VAE)와 생성 출력이 시각 입력에 의존하는 정도를 측정하는 Output Image Correlation(OIC). VAE의 비정상적 증가 또는 OIC의 감소는 서로 다른 실패 모드에 해당하며, 이는 시각적 그라운딩(visual grounding)을 복원하기 위한 표적화된 대조 정렬을 유발한다. 여러 벤치마크에 걸친 실험 결과는 DICA가 기존 접근법을 일관되게 능가하고 환각을 상당히 줄임을 보여주며, 멀티모달 추론 신뢰성 향상에서 지표 기반 개입의 효과를 강조한다. 코드는 https://github.com/BGWH123/DICA/ 에서 공개적으로 이용 가능하다.
비록 빠른 진전이 있었지만, 2D 시각 입력으로 구축된 대부분의 기존 비전-언어 모델(VLM)은 미세한 공간 이해와 추론을 요구하는 다양한 3D 작업을 처리할 때 종종 어려움을 겪는다. 이 격차를 해소하기 위해, 우리는 RGB 비디오로부터 학습된 암시적·명시적 3D 기하를 모두 갖추어 VLM의 3D 공간 인식을 향상시키는 통합 프레임워크인 VLM-IE3D를 제안한다. VLM-IE3D는 입력 비디오로부터 고수준 기하 사전지식(prior)을 포착하는 암시적 기하 토큰(Implicit Geometry Tokens, IGTs)과, 재구성된 3D 속성으로부터 상세한 기하 구조를 인코딩하는 보완적 명시적 기하 토큰(Explicit Geometry Tokens, EGTs)을 도입한다. 더 나아가 VLM-IE3D는 두 유형의 기하 표현을 2D 시각 단서와 효과적으로 융합하는 3D 인식 어댑터를 포함한다. 이 RGB 전용 설계는 추가 3D 입력 없이도 미세한 공간 이해와 추론을 위한 강한 3D 귀납 편향(inductive bias)을 주입한다. 광범위한 실험 결과, VLM-IE3D는 3D 비디오 검출, 3D 시각적 그라운딩, 3D 밀집 캡셔닝, 공간 추론 등 다양한 3D 작업에서 일관되게 우수한 성능을 달성함을 보여준다. 코드와 모델은 https://github.com/Vegetebird/VLM-IE3D에서 이용할 수 있다.
지식 집약형 시각 질의응답(KI-VQA) 벤치마크는 제공된 이미지를 넘어서는 외부 정보를 요구하여 질문에 답함으로써, 비전-언어 모델(VLM)을 멀티모달 지식 어시스턴트로 평가한다. KI-VQA는 지시 표현(referring expression) 이해, 시각적 그라운딩(visual grounding), 객체 인식, 지식 검색, 추론 등 여러 하위 문제를 포함하지만, 기존 벤치마크는 일반적으로 최종 과제 정확도만 보고하여 실패가 어디에서 발생하는지를 가리는 경우가 많다. 전체 KI-VQA 파이프라인을 분석하기 위해, 우리는 1) 언어 기반 시각적 그라운딩, 2) 객체 식별, 3) 지식 검색 및 추론을 분리하는 단계별 데이터 어노테이션이 포함된 진단 벤치마크인 CRAG-MM-Diagnostics를 제안한다. 우리는 완전 파라미터형 및 검색-증강 VLM을 평가하고, 대상 ROI, 개체 이름, 시각적 복잡도 점수 등 새로 수집한 메타데이터를 활용하여 세밀한 분석을 제공한다. 우리의 결과는 지식 검색 및 추론이 주요 병목임을 시사하지만, VLM이 대상 객체 식별에 어려움을 겪거나 이미지 검색기가 텍스트 단서를 통합하는 데 어려움을 겪는 등 KI-VQA 파이프라인의 다른 부분에서도 문제가 있음을 강조한다. 이러한 발견은 현재 KI-VQA 시스템의 근본적 한계를 드러내고 단계 인식 평가(stage-aware evaluation)의 필요성을 촉진한다. 마지막으로, 우리는 이러한 발견을 활용하여 이미지 검색 전에 시각적 그라운딩 모듈을 통합해 대상을 크롭하는 그라운딩 기반 이미지-텍스트 RAG 파이프라인을 제안하며, GPT-5와 Qwen의 정확도를 각각 13.3 및 8.5 퍼센트포인트 향상시킨다.
병리학 비전-언어 모델(VLM)은 최근 빠르게 발전했으며, 병리 VQA 벤치마크에서의 답변 정확도로 일반적으로 평가된다. 그러나 우리는 현재 평가를 심층 분석하여 간과된 세 가지 문제를 확인했다: 1) 시각적 증거가 항상 필요한 것은 아니다. 예를 들어, Gemini-3-Pro는 시각 입력 없이 5개 VQA 벤치마크에서 평균 53.5%의 정확도를 달성한다. 2) 도메인 학습은 시각 바인딩에 비례하는 향상 없이도 정확도를 높일 수 있다. Qwen2.5-VL-7B와 비교했을 때, Patho-R1-7B는 5.8포인트 낮은 멀티모달 이득과 3.7포인트 낮은 어텐션 IoU를 보인다. 3) 엔티티 수준의 어텐션은 확산되어 있고 쿼리 특이성이 약하다. PathVG에서 어텐션 맵은 서로 다른 엔티티 쿼리 간에도 여전히 높은 상관관계를 유지한다. 이러한 문제들은 병리 VLM의 실제 멀티모달 능력에 대한 상당한 오판을 초래할 수 있다. 이를 위해 우리는 2,600개 샘플로 구성된 벤치마크 PathBind를 제안한다: 6개 차원에 걸친 1,500개 질문의 PathBind-VQA, 사설 병리학 교육 아틀라스에서 가져온 600개 질문의 PathBind-PTA, 전문가가 큐레이션한 영역 수준 500개 샘플의 PathBind-Grounding. 각 구성 요소는 텍스트 기반 지름길을 줄이고 엔티티-영역 대응을 개선하기 위해 작업별 자동 필터링과 전문가 검토를 거친다. 우리는 PathBind의 VQA 샘플과 기존 5개 병리 VQA 벤치마크에서 18개 대표 VLM을 평가하고, PathBind-Grounding과 PathVG에서 추가로 10개 VLM을 평가한다. 결과는 현재 병리 VLM이 답변 측면 성능과 시각-의미 바인딩 사이에 여전히 상당한 격차를 보임을 나타낸다.
딥페이크 탐지는 이진 분류 결정을 넘어, 그러한 결정을 뒷받침하는 시각적 증거를 설명할 수 있는 시스템으로 발전하고 있다. 이러한 전환은 실제 검증 환경에서 중요한데, 다양한 사용자가 이미지가 조작되었는지 여부뿐 아니라 왜 의심스러운 것으로 간주되는지도 이해해야 하기 때문이다. ACM Multimedia 2026의 설명 가능한 딥페이크 탐지 챌린지는 이러한 복합 역량을 벤치마크하기 위해 설계되었다. 설명 가능한 딥페이크 탐지를 위한 백만 규모 벤치마크인 XPlainVerse를 기반으로, 이 챌린지는 이미지 분류와 그라운딩(grounded) 자연어 설명 생성에 대한 방법들을 평가한다. 참가자는 각 이미지에 대해 real/fake 레이블과 함께 두 가지 설명을 제출한다: 기술 사용자를 위한 상세한 복합 설명과 일반 사용자를 위한 간결한 단순 설명. 평가는 분류 지표와 의미적 유사성, 단순성, 그리고 설명이 관련된 조작된 개체와 뒷받침하는 시각적 증거를 식별하는지 평가하는 의도 인식(intent-aware) 그라운딩 지표를 결합한다. 챌린지를 통해 개발된 방법론은 차세대 설명 가능한 딥페이크 탐지기 개발에 기여할 것이다. 평가 스크립트, 기준선 모델, 및 동반 코드는 https://github.com/Abhijeet8901/XPlainVerse-ACMChallenge 에서 이용할 수 있다.
멀티모달 대규모 언어 모델(MLLM)의 급속한 발전은 원격 탐사 이미지 장면 이해(RSISU)를 위한 유연한 패러다임을 도입했으며, 원격 탐사 영상과의 자연어 상호작용을 가능하게 했다. 그러나 기존 원격 탐사 MLLM(RS-MLLM)의 능력 경계, 태스크 간 일반화, 태스크별 한계에 대한 체계적인 이해는 여전히 부족하다. 본 논문은 RSISU를 위한 MLLM에 대한 체계적인 서베이와 진단적 평가를 제시한다. 우리는 RS-MLLM의 기술적 진화를 검토하며, 모델 설계, 멀티모달 학습, 학습 데이터, 하류 능력에 초점을 맞춘다. 또한 다양한 RSISU 태스크와 벤치마크에서 RS-MLLM과 범용 컴퓨터 비전 MLLM(CV-MLLM)을 비교한다. RS-MLLM은 도메인 특화 설정, 특히 원격 탐사 시각적 그라운딩(visual grounding)과 고해상도 시각적 질의응답(VQA)에서 경쟁력을 유지한다. 더 주목할 점은, 범용 CV-MLLM이 원격 탐사 특화 미세조정 없이도 여러 RSISU 태스크에서 이러한 특화 모델과 동등하거나 그 이상의 성능을 낼 수 있다는 것이다. 이러한 결과는 범용 CV-MLLM의 강한 전이 가능성을 보여 주며, 현재 RS-MLLM이 다양한 RSISU 태스크 전반에서 이를 일관되게 능가하지는 못함을 시사한다. 현재 MLLM은 공간적·관계적 추론, 세밀한 시각 이해, 지시 다양성, 이질적 태스크 형식 간 일반화에서도 한계에 직면한다. 이러한 발견을 바탕으로, 신뢰할 수 있는 평가, 멀티모달 및 고해상도 추론, 효율적 배포, 도구 증강 원격 탐사 에이전트를 향한 향후 방향을 개괄한다. 본 서베이는 RSISU를 위한 견고하고 일반화 가능하며 실용적인 MLLM 개발을 위한 체계적인 참고 자료를 제공한다.
각 답변을 뒷받침하는 정확한 문서 영역을 찾는 명시적 시각 그라운딩(grounding)을 갖춘 효율적인 멀티모달 문서 질의응답은 여전히 해결되지 않은 과제이다. 현재 접근법은 대규모 주석 데이터셋이 필요하고 최적화 정체에 이르는 지도 미세조정(SFT), 그리고 명확한 이점 없이 장황한 중간 추적(trace)에 의존하여 추론 토큰 비용을 부풀리는 추론 중심 강화학습(RL)으로 나뉜다. 우리는 Perception-RFT를 제안한다. 이는 멀티모달 문서 QA에 Group Relative Policy Optimization(GRPO)을 적용하는 학습 프레임워크로, 중간 추론 토큰을 우회하여 시각 특징을 구조화된 그라운딩 출력과 직접 정렬한다. 추론의 필요성을 엄밀히 평가하기 위해 동일한 보상 설정 하에서 추론 변형을 구성한다. 추론이 활성화된 모델은 학습 중 추론 추적을 억제하며 4B 매개변수 규모에서 직접 지각(perception) 기반 정책으로 수렴하고, 쿼리당 추론 토큰 길이를 60% 이상 줄이는 반면, 추론 활성화 RL은 지각 전용 학습보다 성능이 낮다. Qwen3-VL-4B 최적화 동역학에 대한 세밀한 분석을 통해, 텍스트 도메인 사후 학습에서 확인된 SFT 포화와 cold-start RL 불안정성이 멀티모달로 확장됨을 확인하고, 공동 RL 최적화 하에서 두 분포 외(OOD) 벤치마크(4,828 샘플)에서 의미론적 견고성과 기하학적 정밀도 사이의 선택적 trade-off인 Grounding Divergence를 새롭게 규명한다. 또한 초기 SFT→RL 전환이 65% 적은 학습 데이터로 동등한 정밀도를 달성함을 보인다.
검증 가능한 보상 강화학습(RLVR)은 다중모달 추론을 이끌지만, 답변 수준의 정확성이 비전-언어 모델이 예측을 시각적 증거에 그라운딩(grounding)한다는 것을 보장하지는 않는다. 기존 시각 개입 방법들은 원본 이미지와 수정된 이미지에서의 정책(policy) 행동을 대비하지만, 관측된 효과가 아니라 개입 유형에 따라 지도(supervision)를 부여한다. 이 가정은 성립하지 않는다. 동일한 연산자(operator)가 샘플마다 이질적인 결과를 만든다. 우리는 연산자 조건 정규화를 샘플 단위·결과 조건 지도로 대체하는 민감도-불변성 시각 정렬(Sensitivity-Invariance Visual Alignment) 프레임워크 SIVA-RL을 제안한다. SIVA-RL은 토큰 정렬된, 거리 제약 기반의 이미지 내 PatchSwap을 통해 국소화된 개입을 구성한다. 고정(frozen) 감사(audit) 정책이 각 클린-개입 쌍을 점수화하고, 관측된 보상(reward) 감소가 소프트 라우팅 가중치가 된다. 보상 감소가 큰 쌍은 민감도 정렬을, 감소가 작은 쌍은 클린 기준 불변성 정렬을 주도하며, 모호한 쌍은 가중치를 낮춘다. 이 설계는 개입 구성과 지도 할당을 분리하며 GRPO 및 DAPO 백본 모두와 호환된다. 수학, 논리, 시각 의존 과제에 걸친 9개의 다중모달 추론 벤치마크(benchmark)에서 SIVA-RL은 모든 설정에서 동일 조건의 강화학습 베이스라인 대비 3B 및 7B 모델을 개선한다. 시각 의존 추론에서 8.79퍼센트포인트 향상을, GRPO 및 DAPO 기반 4가지 구성 전체에서 최대 14.9% 상대적 전체 개선을 달성한다.