You Only Look & Listen Once: Towards Fast and Accurate Visual Grounding
원문 초록
Visual Grounding (VG) aims to locate the most relevant region in an image, based on a flexible natural language query but not a pre-defined label, thus it can be a more useful technique than object detection in practice. Most state-of-the-art methods in VG operate in a two-stage manner, wherein the first stage an object detector is adopted to generate a set of object proposals from the input image and the second stage is simply formulated as a cross-modal matching problem that finds the best match between the language query and all region proposals. This is rather inefficient because there might be hundreds of proposals produced in the first stage that need to be compared in the second stage, not to mention this strategy performs inaccurately. In this paper, we propose an simple, intuitive and much more elegant one-stage detection based method that joints the region proposal and matching stage as a single detection network. The detection is conditioned on the input query with a stack of novel Relation-to-Attention modules that transform the image-to-query relationship to an relation map, which is used to predict the bounding box directly without proposing large numbers of useless region proposals. During the inference, our approach is about 20x ~ 30x faster than previous methods and, remarkably, it achieves 18% ~ 41% absolute performance improvement on top of the state-of-the-art results on several benchmark datasets. We release our code and all the pre-trained models at https://github.com/openblack/rvg.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FII-CenterNet: An Anchor-Free Detector With Foreground Attention for Traffic Object Detection
도메인이 중요한 이유: 수중 객체 검출 및 어노테이션 품질의 도메인 인식 벤치마킹
Why Domain Matters: Domain-Aware Benchmarking of Underwater Object Detection and Annotation Quality
수중 물체 탐지는 도메인 변화의 영향을 크게 받으며, 성능은 위치, 서식지, 배치 조건에 따라 크게 달라질 수 있다. 그러나 탐지기 성능은 일반적으로 특정 환경에서의 실패를 가리는 종합 지표로 평가되며, 기존 도메인 일반화 벤치마크는 실제 조건을 반영하지 못하는 합성 변형에 의존하는 경우가 많다. 이러한 한계를 해결하기 위해 우리는 외관, 장면 구성, 획득 기하를 기준으로 수중 이미지를 특성화하여 도메인 레이블을 부여하는 프레임워크를 도입한다. 이 프레임워크를 사용하여, 도메인 요인이 수중 물체 탐지 데이터셋에서의 사람의 주석 품질과 딥러닝 기반 탐지기 성능에 어떻게 영향을 미치는지에 대한 최초의 체계적 연구를 수행했으며, 도메인에 따른 상당한 불일치를 밝혀냈다. 물리적으로 의미 있는 도메인 레이블을 도입함으로써, 도메인 변화는 우리가 특성화하고, 측정하고, 벤치마크하고, 대응할 수 있는 대상이 된다. 우리는 이 프레임워크가 데이터 수집과 주석 작업을 안내하고, 더 유익한 벤치마크를 설계하며, 다양한 수중 환경에서 탐지기의 견고성을 평가하는 데 어떻게 활용될 수 있는지 강조한다.
위치뿐만 아니라 존재 여부도 파악하기: 열린 집합 원격 탐사 시각적 그라운딩을 위한 앵커 탐침 지식 증류
Knowing Whether, Not Just Where: Anchor-Probing Distillation for Open-Set Remote Sensing Visual Grounding
원격 탐사(remote sensing)에서의 열린 집합(open-set) 시각적 그라운딩(visual grounding)은 질의된 객체가 어디에 위치하는지뿐만 아니라, 영상이 해당 질의에 대한 충분한 근거를 전혀 제공하지 않는지 여부까지 모델이 판단하도록 요구합니다. 그러나 기존의 닫힌 집합(closed-set) 그라운딩 모델은 존재하지 않는 객체에 대해서도 그럴듯한 경계 상자(bounding box)를 반환하는 경향이 있어, 위치 추정(localization) 신뢰도와 진정한 시각적 지지(Visual Support)를 모호하게 만듭니다. 본 논문에서는 열린 집합 그라운딩을 시각적 지지 학습으로 재구성하는 교사-학생(teacher-student) 프레임워크인 AnchorProbe-Distill(APD)을 소개합니다. APD는 지지되는 질의는 일관된 공간적 앵커(spatial anchor)를 유도해야 하는 반면, 지지되지 않거나 불일치하는 질의는 불안정하거나 오해의 소지가 있는 위치 추정 패턴을 생성하는 경향이 있다는 통찰에 기반합니다. 이에 따라 APD-T는 원래 질의(Original Query)를 기준 앵커(Reference Anchor)로 사용하여 질의 섭동(query perturbation)을 해석합니다. 즉 의미 보존 질의(Semantic-Preserving Queries)는 어노테이션된 타깃을 유지하고, 인접 범주 모호 질의(Near-Category Ambiguous Queries)는 신뢰할 수 있는 대안 앵커를 형성하는지 혹은 기준 앵커로 축퇴되는지에 따라 해결되며, 원거리 범주 반사실적 질의(Far-Category Counterfactual Queries)는 거부(rejection) 감독 신호를 제공합니다. 이러한 기준 인식 추론은 APD-S로 지식 증류(distillation)되어, 단일 영상-질의 쌍으로부터 통합된 위치 추정 및 거부를 가능하게 합니다. 실험 결과, APD를 통해 도출된 모델은 부재한 타깃을 거부하는 동시에 존재하는 타깃의 위치 추정 성능도 향상시킴을 보여줍니다.
CoEvolve: 양방향 상태 정밀화를 통한 구성 기반 편집 시각적 그라운딩
CoEvolve: Construct-to-Edit Visual Grounding with Bidirectional State Refinement
시각적 그라운딩(visual grounding)은 언어로 기술된 객체를 경계 상자(bounding box)로 위치를 특정합니다. 대부분의 멀티모달 그라운딩 모델은 대상 식별, 공간 추론, 경계 추정을 하나의 최종 예측으로 압축합니다. 자유 형식의 근거 제시(free-form rationales)는 언어적으로 추론을 명시화하지만, 측정 가능하고 편집 가능한 공간 상태를 반드시 드러내지는 않습니다. 따라서 중간 위치 추정 오류를 진단하고 수정하기 어려워, 잘못된 영역 선택과 부정확한 경계가 최종 상자에 그대로 남게 됩니다. 본 연구에서는 그라운딩을 명시적 상태 구성과 상태 편집으로 분리하는 '구성 기반 편집(construct-to-edit)' 프레임워크인 CoEvolve를 소개합니다. 영역 진화 강화(Region-Evolution Reinforcement, RER)는 그라운딩 분석을 점진적인 의미-공간 궤적으로 체계화하며, 각 추론 단계에서 명시적인 후보 영역을 확정합니다. 양방향 디노이징 정밀화기(Bidirectional Denoising Refiner, BDR)는 추론 텍스트를 고정된 의미적 컨텍스트로 취급하고, 양방향 동일 위치 재구성을 통해 궤적의 좌표 필드를 정밀화합니다. 기하 및 행동 수준의 목표는 신뢰할 수 있는 후보를 통합하고 정확한 입력을 보존하거나 어노테이션에 맞게 교정하기 위한 목표 기하학 및 편집 선호도 신호를 제공합니다. 평가는 자연 이미지 및 원격 탐사 그라운딩을 포괄합니다. 9B 백본을 사용하는 CoEvolve는 그라운딩 정확도에서 최대 241B 매개변수 규모의 모델과 대등한 성능을 보입니다. 제어된 노이즈 주입 환경에서 단 한 번의 BDR 패스만으로 평균 상자 중첩도(mean box overlap)가 27%p 이상 향상되어, 상당한 위치 추정 오류로부터 강력하게 복구됨을 입증합니다. 상태-출처 비교는 명시적 상태 구성과 출처 맞춤형 편집의 상호보완성을 더욱 뒷받침합니다. 프로젝트는 https://sundongwei.github.io/CoEvolve_Project/ 에서 확인할 수 있습니다.
Pro-Bench: 실세계 이종 환경 전반의 프롬프트 강건 오픈어휘 시각적 그라운딩
Pro-Bench: Prompt-Robust Open-Vocabulary Visual Grounding Across Real-World Heterogeneous Environments
오픈어휘 시각적 그라운딩(visual grounding)은 사전 정의된 지각 분류체계(taxonomy)에 의존하지 않고 자연어 쿼리로부터 과제 관련 개체의 위치를 특정함으로써 로봇이 작업할 수 있게 한다. 그러나 기존 벤치마크는 대부분 짧은 카테고리 라벨과 웹에서 수집한 이미지에 의존하여, 오픈어휘 모델이 실제 배포 환경에서 다양한 쿼리와 시각적 조건 하에 견고하게 그라운딩할 수 있는지는 불분명하다. 본 논문은 이종의 실세계 환경에서 오픈어휘 시각적 그라운딩을 위한 프롬프트 조건 벤치마크인 Pro-Bench를 제안한다. Pro-Bench는 독립적인 로봇 도메인(지하, 산업, 실내, 실외, 도시)의 $13k+$ RGB 프레임, $74.5k$ 수동 인스턴스 어노테이션, 범주적·속성·관계·affordance·상태·부분-전체·부정·합성 의미를 아우르는 $515$개 타깃 쿼리를 포함한다. $16$개 오픈어휘 모델 구성을 엄격한 제로샷 추론으로 벤치마킹하여 IoU 임곗값별 위치 특정 정확도, end-to-end 추론 지연, 프롬프트에 따른 성능 변동, 타깃 복구 일관성을 측정했다. 결과에 따르면 프롬프트 강건성은 아키텍처에 강하게 의존한다. 대부분의 모델 구성($10/16$)은 짧은 카테고리 라벨에서 최고 성능을 보이는 반면, 자유 형식 쿼리가 최고 정확도를 내는 경우는 하나뿐이다. 또한 유사한 집계 mAP가 쿼리 재표현에 따른 일관된 타깃 복구의 상당한 차이를 가릴 수 있다. Pro-Bench는 이러한 격차를 체계적으로 평가할 수 있게 하며 프롬프트 강건 시각적 그라운딩을 지원한다. Pro-Bench: https://pro-bench.github.io/.
RelCheck: VLM 환각 보정을 위한 이중 증거 공간 그라운딩
RelCheck: Dual-Evidence Spatial Grounding for VLM Hallucination Correction
멀티모달 대규모 언어 모델(MLLM)은 입력 이미지와 일치하지 않는 텍스트를 자주 생성한다. 객체 및 속성 수준의 환각은 상당한 관심을 받아 왔지만, 관계적 환각(객체 간 공간적 또는 상호작용적 관계에 대한 부정확한 기술)은 기존 사후(post-hoc) 보정 방법으로는 대부분 다루어지지 않았다. 우리는 RelCheck를 제안한다. 이는 학습 없이 동작하는 사후 보정 파이프라인으로, 객체 수준 시각적 그라운딩을 이중 관계 증거로 보강한다: RelTR에서 얻은 학습된 장면 그래프(scene-graph) 트리플과 바운딩 박스(bounding-box) 기하에서 도출한 결정적 공간 술어(spatial predicates)이다. 이들은 Woodpecker 스타일 객체 주장(claim) 층과 결합하여 3층 시각 지식 베이스를 형성하며, 언어 모델 보정기가 이를 사용해 환각 텍스트를 재작성한다. LLaVA v1 13B에서 평가한 결과, RelCheck는 MME 환각 점수 총합 630.0을 달성했으며, Woodpecker 스타일 기준선의 585.0 대비 우수하다. position 하위 과제에서 가장 큰 향상(+31.7점, accuracy+가 0.367에서 0.600으로 개선)을 보였다. 4가지 구성 ablation이 두 관계 층이 독립적으로 기여함을 확인한다(McNemar p = 0.025). 이러한 결과는 구조화된 관계 증거가 현재 MLLM이 가장 취약한 공간 추론 하위 과제에서 사후 환각 보정을 유의미하게 개선함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.