arXiv:1912.00076

OptiBox: Breaking the Limits of Proposals for Visual Grounding

Zicong Fan, Si Yi Meng, Leonid Sigal, James J. Little

제출 2019-11-29

원문 초록

The problem of language grounding has attracted much attention in recent years due to its pivotal role in more general image-lingual high level reasoning tasks (e.g., image captioning, VQA). Despite the tremendous progress in visual grounding, the performance of most approaches has been hindered by the quality of bounding box proposals obtained in the early stages of all recent pipelines. To address this limitation, we propose a general progressive query-guided bounding box refinement architecture (OptiBox) that leverages global image encoding for added context. We apply this architecture in the context of the GroundeR model, first introduced in 2016, which has a number of unique and appealing properties, such as the ability to learn in the semi-supervised setting by leveraging cyclic language-reconstruction. Using GroundeR + OptiBox and a simple semantic language reconstruction loss that we propose, we achieve state-of-the-art grounding performance in the supervised setting on Flickr30k Entities dataset. More importantly, we are able to surpass many recent fully supervised models with only 50% of training data and perform competitively with as low as 3%.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13636v1cs.CV공통 태그 Visual Grounding, Visual Question Answering (VQA)

원격 탐사 시각적 질의응답에서 답변-그라운딩 일관성 벤치마킹

Benchmarking Answer-Grounding Consistency in Remote Sensing Visual Question Answering

그라운디드 원격 탐사 시각적 질의응답(grounded remote sensing visual question answering)에서 모델은 텍스트 답변을 생성하고 이미지 내 관련 객체를 그라운딩(grounding) 근거로 식별합니다. 기존 평가는 답변의 정확성과 위치 특정(localization) 품질을 측정하지만, 답변-그라운딩 일관성을 직접적으로 평가하지는 않습니다. 본 연구에서는 근거 지지(evidence support), 즉 그라운딩 근거가 모델 자신의 답변을 뒷받침하는지 여부를 통해 이러한 일관성을 평가하는 답변-근거 지지 프로토콜(AESP)을 제안합니다. AESP는 존재 유무, 개수 세기, 비교 질문에 대해 태스크별 규칙을 적용합니다. 나아가 질문, 참조 답변, 모든 관련 객체 수준 주석을 포함하는 15,027개 샘플로 구성된 Grounded Remote Sensing Visual Question Answering(G-RSVQA) 벤치마크를 구축합니다. 7개의 그라운디드 비전-언어(vision-language) 모델에 대한 실험 결과, 세 가지 질문 유형 모두에서 근거 지지 실패가 나타남을 확인했습니다. 근거 평가 부분집합에서 정답의 최대 50.82%는 제공된 그라운딩 근거에 의해 뒷받침되지 않았습니다.

arXiv:2605.12882v2cs.CL공통 태그 Visual Grounding, Visual Question Answering (VQA)

CiteVQA: 신뢰 가능한 문서 지능을 위한 근거 귀속 벤치마킹

CiteVQA: Benchmarking Evidence Attribution for Trustworthy Document Intelligence

멀티모달 대규모 언어 모델(MLLM)은 문서 이해(document understanding) 능력을 크게 향상시켰지만, 현재의 Doc-VQA 평가는 최종 답변만 채점하고 이를 뒷받침하는 근거(evidence)는 검증하지 않는다. 이러한 답변 전용(answer-only) 방식은 중요한 실패 유형을 숨긴다: 모델이 정답에 도달하더라도 잘못된 구절(passage)에 근거를 두는 경우가 있으며, 이는 모든 결론이 특정 소스 영역까지 추적 가능해야 하는 법률, 금융, 의료와 같은 고위험 영역에서 중대한 위험이 된다. 이를 해결하기 위해 우리는 CiteVQA를 소개한다. 이는 모델이 각 답변과 함께 요소 수준(element-level)의 바운딩 박스(bounding-box) 인용을 반환하도록 요구하고, 둘을 함께 평가하는 벤치마크이다. CiteVQA는 7개 도메인과 2개 언어에 걸친 711개의 PDF에서 추출한 1,897개의 질문으로 구성되며, 문서당 평균 40.6페이지를 포함한다. 충실도(fidelity)와 확장성(scalability)을 보장하기 위해, 정답 인용(ground-truth citation)은 마스킹 제거(masking ablation)를 통해 핵심 근거를 식별하고 다단계 품질 관리(multi-stage quality control)를 적용하는 자동화 파이프라인을 통해 생성된다. 우리 평가의 핵심은 엄격한 귀속 정확도(Strict Attributed Accuracy, SAA)로, 답변과 인용된 영역이 모두 정확한 경우에만 예측을 인정한다. 20개의 MLLM을 감사(audit)한 결과, 모델이 정답을 내면서도 잘못된 영역을 인용하는 광범위한 귀속 환각(Attribution Hallucination) 현상이 드러났다. 가장 강력한 시스템(Gemini-3.1-Pro-Preview)조차 SAA가 76.0에 불과했고, 가장 강력한 오픈소스 MLLM은 단 22.5에 그쳤다. 결론적으로, 신뢰 가능한 문서 지능을 향해 CiteVQA는 답변 전용 평가가 간과하는 신뢰성 격차(reliability gap)를 드러내며, 이를 해소하는 데 필요한 도구를 제공한다. 저장소는 https://github.com/opendatalab/CiteVQA 에서 확인할 수 있다.

arXiv:2606.12590v2cs.CV공통 태그 Visual Grounding, Visual Question Answering (VQA)

의료 대규모 비전-언어 모델에서의 세분화된 선호 최적화 분석 및 개선

Analyzing and Improving Fine-grained Preference Optimization in Medical LVLMs

선호 최적화(preference optimization)는 의료 대규모 비전-언어 모델(LVLM)의 사후학습(post-training)에 점점 더 널리 사용되고 있으나, 임상적 정확성을 정의하는 단위보다 훨씬 거친 단위(granularity)에서 동작합니다. 한 응답이 다른 응답보다 임상적으로 더 나은지 여부는 통상적으로 해부학적 좌우 구분(laterality)이나 병변 속성과 같은 소수의 결정적인 어구, 그리고 각 어구가 질문이 다루는 이미지 영역에 의해 뒷받침되는지 여부에 달려 있습니다. 반면 직접 선호 최적화(DPO) 및 그 변형들은 비교를 단일 응답 수준의 스칼라로 축소하므로, 어떤 토큰(token)이 임상적 의미를 담고 있는지를 구조적으로 표현할 수 없는 목적 함수입니다. 본 연구에서는 이러한 불일치가 치명적임을 보입니다. 비교 대상 목적 함수 중 응답 수준 DPO는 임상적 정확성을 결정짓는 어구에 가장 낮은 보상(reward)을 부여하며, 선호 응답을 지도학습 기준(supervised reference)으로 대체할 경우 모델(model)이 보상 해킹 지름길로 악용하는 문체적 격차가 발생하여 선호 정확도는 높아지지만 임상적 정확도는 향상되지 않습니다. 임상적 비교에서 전체 피드백을 포착하기 위해, 본 논문에서는 세분화된 정규화 의료 선호 최적화(FiRe-MPO)를 제안합니다. 선호 쌍은 모델 자체 생성물을 최소한으로 편집하여 선호 응답과 거부 응답이 임상적으로 결정적인 구간(span)에서만 차이 나도록 구성되며, 각 응답은 뒷받침하는 시각적 근거를 감춘 병변 손상 이미지와 짝지어집니다. 구간 단위로 국소화된 보상은 희소(sparse)하므로, 양방향 토큰 단위 KL 정규화기를 통해 최적화를 안정화합니다. 의료 시각적 질문 답변(VQA) 및 판독문 생성 전반에 걸쳐, FiRe-MPO는 의료 특화 및 범용으로 널리 사용되는 두 가지 LVLM에서 DPO, RRPO 및 경쟁 세분화 목적 함수들의 성능을 능가하는 동시에, 시각적 그라운딩(grounding)을 강화하고 대안 대비 의료 어구에 더 많은 보상을 부여합니다.

arXiv:2609.27890v1cs.CV공통 태그 Image Captioning, Visual Grounding

RelCheck: VLM 환각 보정을 위한 이중 증거 공간 그라운딩

RelCheck: Dual-Evidence Spatial Grounding for VLM Hallucination Correction

멀티모달 대규모 언어 모델(MLLM)은 입력 이미지와 일치하지 않는 텍스트를 자주 생성한다. 객체 및 속성 수준의 환각은 상당한 관심을 받아 왔지만, 관계적 환각(객체 간 공간적 또는 상호작용적 관계에 대한 부정확한 기술)은 기존 사후(post-hoc) 보정 방법으로는 대부분 다루어지지 않았다. 우리는 RelCheck를 제안한다. 이는 학습 없이 동작하는 사후 보정 파이프라인으로, 객체 수준 시각적 그라운딩을 이중 관계 증거로 보강한다: RelTR에서 얻은 학습된 장면 그래프(scene-graph) 트리플과 바운딩 박스(bounding-box) 기하에서 도출한 결정적 공간 술어(spatial predicates)이다. 이들은 Woodpecker 스타일 객체 주장(claim) 층과 결합하여 3층 시각 지식 베이스를 형성하며, 언어 모델 보정기가 이를 사용해 환각 텍스트를 재작성한다. LLaVA v1 13B에서 평가한 결과, RelCheck는 MME 환각 점수 총합 630.0을 달성했으며, Woodpecker 스타일 기준선의 585.0 대비 우수하다. position 하위 과제에서 가장 큰 향상(+31.7점, accuracy+가 0.367에서 0.600으로 개선)을 보였다. 4가지 구성 ablation이 두 관계 층이 독립적으로 기여함을 확인한다(McNemar p = 0.025). 이러한 결과는 구조화된 관계 증거가 현재 MLLM이 가장 취약한 공간 추론 하위 과제에서 사후 환각 보정을 유의미하게 개선함을 보여준다.

arXiv:2609.28222v1cs.CV공통 태그 Image Captioning, Visual Grounding

3D 비전-언어에서 정렬에서 융합으로

From Alignment to Fusion in 3D Vision-Language

통합 3D 비전-언어 시스템은 인스턴스 분할(instance segmentation)부터 언어 유도 추론(language-guided reasoning)에 이르는 작업을 지원하면서, 상호 보완적인 기하(geometry), 스케일(scale), 외형(appearance) 단서를 결합해야 한다. 기존 방법들은 종종 포인트 클라우드(point cloud), 복셀 그리드(voxel grid), 다중 뷰(multi-view) 이미지를 독립적으로 처리한다. 이러한 이질적 표현을 직접 결합하면 상당한 특징 불일치가 해소되지 않은 채 남을 수 있으며, 이후 제약 없는 적응(unconstrained adaptation)은 내부 기하를 왜곡할 수 있다. 우리는 먼저 세 표현 간 쌍별 코사인 정렬(triple pairwise cosine alignment)을 적용해 세그먼트 수준(segment-level) 대응을 확립한 다음, 프롬프트 유도 쿼리 디코더(prompt-guided query decoder)로 작업 조건화(task-conditioned) 특징을 검색하는 정렬 후 융합(align-then-fuse) 프레임워크를 제안한다. 융합 전에, 표현별 쿼리 특징은 특수 직교군(special orthogonal group)으로 제약된 학습 가능 매핑으로 변환된다. 이 매핑들은 각 표현 내에서 내적(inner product)과 유클리드 거리(Euclidean distance)를 보존하여, 내부 기하를 임의로 왜곡하지 않으면서 통제된 표현별 재매개변수화(re-parameterisation)를 허용한다. 변환된 특징은 이후 하류 작업(downstream task) 감독 하에 Adaptive Fusion을 통해 결합된다. 실험은 인스턴스 분할, 시각적 그라운딩(visual grounding), 질의 응답(question answering), 밀집 캡셔닝(dense captioning)을 위한 8개 데이터셋을 다룬다. PQ3D와 비교하여, 모델은 ScanNet200에서 평균 정밀도(average precision)를 3.2포인트 향상시키고 ScanRefer, Nr3D, Sr3D, Multi3DRefer에서 각각 그라운딩 정확도(grounding accuracy)를 2.9, 10.6, 4.6, 4.1포인트 향상시키며, ScanQA, SQA3D, Scan2Cap에서도 성능을 개선한다. Ablation은 정렬과 직교 재매개변수화의 상호 보완적 역할 및 Adaptive Fusion의 효과를 추가로 뒷받침한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.