위치뿐만 아니라 존재 여부도 파악하기: 열린 집합 원격 탐사 시각적 그라운딩을 위한 앵커 탐침 지식 증류
Knowing Whether, Not Just Where: Anchor-Probing Distillation for Open-Set Remote Sensing Visual Grounding
한국어 초록
원격 탐사(remote sensing)에서의 열린 집합(open-set) 시각적 그라운딩(visual grounding)은 질의된 객체가 어디에 위치하는지뿐만 아니라, 영상이 해당 질의에 대한 충분한 근거를 전혀 제공하지 않는지 여부까지 모델이 판단하도록 요구합니다. 그러나 기존의 닫힌 집합(closed-set) 그라운딩 모델은 존재하지 않는 객체에 대해서도 그럴듯한 경계 상자(bounding box)를 반환하는 경향이 있어, 위치 추정(localization) 신뢰도와 진정한 시각적 지지(Visual Support)를 모호하게 만듭니다. 본 논문에서는 열린 집합 그라운딩을 시각적 지지 학습으로 재구성하는 교사-학생(teacher-student) 프레임워크인 AnchorProbe-Distill(APD)을 소개합니다. APD는 지지되는 질의는 일관된 공간적 앵커(spatial anchor)를 유도해야 하는 반면, 지지되지 않거나 불일치하는 질의는 불안정하거나 오해의 소지가 있는 위치 추정 패턴을 생성하는 경향이 있다는 통찰에 기반합니다. 이에 따라 APD-T는 원래 질의(Original Query)를 기준 앵커(Reference Anchor)로 사용하여 질의 섭동(query perturbation)을 해석합니다. 즉 의미 보존 질의(Semantic-Preserving Queries)는 어노테이션된 타깃을 유지하고, 인접 범주 모호 질의(Near-Category Ambiguous Queries)는 신뢰할 수 있는 대안 앵커를 형성하는지 혹은 기준 앵커로 축퇴되는지에 따라 해결되며, 원거리 범주 반사실적 질의(Far-Category Counterfactual Queries)는 거부(rejection) 감독 신호를 제공합니다. 이러한 기준 인식 추론은 APD-S로 지식 증류(distillation)되어, 단일 영상-질의 쌍으로부터 통합된 위치 추정 및 거부를 가능하게 합니다. 실험 결과, APD를 통해 도출된 모델은 부재한 타깃을 거부하는 동시에 존재하는 타깃의 위치 추정 성능도 향상시킴을 보여줍니다.
원문 초록
Open-set visual grounding in remote sensing requires models to determine not only where a queried object is located, but also whether the image provides sufficient evidence for the query at all. Existing closed-set grounding models, however, tend to return plausible boxes even for absent objects, blurring localization confidence with genuine Visual Support. We introduce AnchorProbe-Distill (APD), a teacher-student framework that recasts open-set grounding as Visual Support learning. APD builds on the insight that supported queries should induce coherent spatial anchors, whereas unsupported or mismatched queries tend to produce unstable or misleading localization patterns. APD-T therefore uses the Original Query as a Reference Anchor to interpret query perturbations: Semantic-Preserving Queries retain the annotated target, Near-Category Ambiguous Queries are resolved according to whether they form a reliable alternative anchor or collapse onto the Reference Anchor, and Far-Category Counterfactual Queries provide rejection supervision. This reference-aware reasoning is distilled into APD-S, enabling unified localization and rejection from a single image--query pair. Experiments show that APD enables the resulting model to reject absent targets while also improving its localization of present targets.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CoEvolve: 양방향 상태 정밀화를 통한 구성 기반 편집 시각적 그라운딩
CoEvolve: Construct-to-Edit Visual Grounding with Bidirectional State Refinement
시각적 그라운딩(visual grounding)은 언어로 기술된 객체를 경계 상자(bounding box)로 위치를 특정합니다. 대부분의 멀티모달 그라운딩 모델은 대상 식별, 공간 추론, 경계 추정을 하나의 최종 예측으로 압축합니다. 자유 형식의 근거 제시(free-form rationales)는 언어적으로 추론을 명시화하지만, 측정 가능하고 편집 가능한 공간 상태를 반드시 드러내지는 않습니다. 따라서 중간 위치 추정 오류를 진단하고 수정하기 어려워, 잘못된 영역 선택과 부정확한 경계가 최종 상자에 그대로 남게 됩니다. 본 연구에서는 그라운딩을 명시적 상태 구성과 상태 편집으로 분리하는 '구성 기반 편집(construct-to-edit)' 프레임워크인 CoEvolve를 소개합니다. 영역 진화 강화(Region-Evolution Reinforcement, RER)는 그라운딩 분석을 점진적인 의미-공간 궤적으로 체계화하며, 각 추론 단계에서 명시적인 후보 영역을 확정합니다. 양방향 디노이징 정밀화기(Bidirectional Denoising Refiner, BDR)는 추론 텍스트를 고정된 의미적 컨텍스트로 취급하고, 양방향 동일 위치 재구성을 통해 궤적의 좌표 필드를 정밀화합니다. 기하 및 행동 수준의 목표는 신뢰할 수 있는 후보를 통합하고 정확한 입력을 보존하거나 어노테이션에 맞게 교정하기 위한 목표 기하학 및 편집 선호도 신호를 제공합니다. 평가는 자연 이미지 및 원격 탐사 그라운딩을 포괄합니다. 9B 백본을 사용하는 CoEvolve는 그라운딩 정확도에서 최대 241B 매개변수 규모의 모델과 대등한 성능을 보입니다. 제어된 노이즈 주입 환경에서 단 한 번의 BDR 패스만으로 평균 상자 중첩도(mean box overlap)가 27%p 이상 향상되어, 상당한 위치 추정 오류로부터 강력하게 복구됨을 입증합니다. 상태-출처 비교는 명시적 상태 구성과 출처 맞춤형 편집의 상호보완성을 더욱 뒷받침합니다. 프로젝트는 https://sundongwei.github.io/CoEvolve_Project/ 에서 확인할 수 있습니다.
원격탐사에서 방향 객체 시각적 그라운딩을 위한 통합 프레임워크 및 데이터셋
A Unified Framework and Dataset for Oriented Object Visual Grounding in Remote Sensing
원격탐사 영상에서의 visual grounding은 지시 표현(referring expression)으로 기술된 객체를 찾는 것을 목표로 한다. 대부분의 기존 방법은 수평 경계 상자(bounding box)를 예측하며, 이는 임의 방향을 가진 객체에 대해 종종 부정확하다. 이 한계를 해결하기 위해 세 가지 상보적 설계를 갖춘 방향 객체 visual grounding용 모델 계열 O²-VG를 제안한다. 구체적으로 O²-VG-Trans는 방향 객체 visual grounding을 위한 교차 모달리티 트랜스포머이며, 모델 계열을 위한 강력한 판별(discriminative) 기반을 마련한다. 이를 바탕으로 O²-VG-Uni는 특정 텍스트 프롬프트 없이 가능한 전경 객체에 대한 범용 방향 proposal을 예측하며, 캐시된 proposal 임베딩을 통한 객체 검색(retrieval)도 지원한다. 이러한 범용 방향 proposal을 입력 프롬프트로 사용하는 O²-VG-VLM은 자回归적(autoregressive) 비전-언어 모델로, 멀티 토큰 예측(multi-token prediction)을 통해 방향 상자 토큰 블록을 병렬로 생성한다. 또한 원격탐사 영상에서 방향 객체 visual grounding을 위한 데이터셋 DIOR-R-RSVG를 구축하였으며, 학습 및 평가를 위해 영상, 표현, 방향 상자 삼元组(triplet)을 제공한다. O²-VG 계열은 판별적 트랜스포머와 생성형 비전-언어 모델을 아우르는 유연한 프레임워크를 제공하며, 여러 벤치마크에서 우수한 성능을 달성한다. 코드는 https://github.com/wokaikaixinxin/ai4rs 에서 이용할 수 있다.
RSAJEV: JEV 기반 원격 탐사 분류에서 은밀한 환각 제거를 위한 학습 불필요 기권 프로토타입 메모리
RSAJEV: Training-Free Abstaining Prototype Memory for Eliminating Silent Hallucination in JEV-Based Remote Sensing Classification
멀티모달 대규모 언어 모델(MLLM)을 활용한 원격 탐사 영상의 장면 분류(scene classification)는 단일 순전파(single-forward-pass) 결정 문제로 정식화됩니다. 즉, 후보 클래스 이름은 프롬프트 내에 알파벳 옵션으로 주어지고, 등록된 답변 슬롯은 프롬프트에 조건화되며, 언어 모델링 헤드로 문자 토큰의 점수를 매겨 분류를 판독합니다. 본 논문에서는 이러한 문자 바인딩이 학습(training) 어휘 내에서는 매우 효과적이지만(UCM에서 97.71% OA), 어휘 외(out-of-vocabulary) 상황에서는 불규칙하게 작동함을 보입니다. 4개의 교차 데이터셋 방향에 걸친 제로 적응(zero-adaptation) 정확도는 7.35%에서 96.40% 사이로 요동치며, 어휘 외 가중치 환경에서는 오픈셋(open-set) 평가 시 신뢰도가 역전되어 본 적 없는 클래스에 본 적 있는 클래스보다 더 높은 신뢰도를 부여하는 실패(AUROC 0.38)를 보이며, 저자들은 이를 '은밀한 환각(silent hallucination)'이라 명명합니다. 본 논문에서는 슬롯 표현을 유지하면서 판독부를 검색 기반 프로토타입 매칭을 수행하는 학습 불필요 기권 프로토타입 메모리인 RSAJEV로 대체합니다. 동일한 프롬프트 하에서 클래스당 K개의 참조 이미지를 슬롯 표현을 통해 프로토타입으로 캐싱하며, 분류는 축소-마할라노비스(shrinkage-Mahalanobis) 기하학적 보정으로 개선된 프로토타입 대상 최근접 이웃 검색이 됩니다. 이러한 판독 방식은 기계적으로 검색-증강 생성(RAG)과 동형(isomorphic)이지만 판별적 결정에 작용하며, MLLM 슬롯 표현을 위한 최초의 검색 기반 판독부입니다. 이 검색 판독 방식은 클래스당 16개의 참조 영상과 그래디언트(gradient) 업데이트 없이 UCM 교차 데이터셋 게이트에서 89.43%, AID에서 96.90%에 도달합니다. 또한 두 데이터셋의 오픈셋 평가에서 ID 특성 점수(ID-ness scores)는 0.91-0.99 AUROC를 달성하여 4개의 모든 오픈셋 설정에서 기호적 신뢰도(0.38-0.96)를 능가하고, 보정 가능한 기권 채널을 복원하며, 캐시된 행렬의 오프라인 재점수화를 통해 추가적인 추론(inference) 비용 없이 클래스 추가/제거를 지원합니다.
원격 탐사 시각적 질의응답에서 답변-그라운딩 일관성 벤치마킹
Benchmarking Answer-Grounding Consistency in Remote Sensing Visual Question Answering
그라운디드 원격 탐사 시각적 질의응답(grounded remote sensing visual question answering)에서 모델은 텍스트 답변을 생성하고 이미지 내 관련 객체를 그라운딩(grounding) 근거로 식별합니다. 기존 평가는 답변의 정확성과 위치 특정(localization) 품질을 측정하지만, 답변-그라운딩 일관성을 직접적으로 평가하지는 않습니다. 본 연구에서는 근거 지지(evidence support), 즉 그라운딩 근거가 모델 자신의 답변을 뒷받침하는지 여부를 통해 이러한 일관성을 평가하는 답변-근거 지지 프로토콜(AESP)을 제안합니다. AESP는 존재 유무, 개수 세기, 비교 질문에 대해 태스크별 규칙을 적용합니다. 나아가 질문, 참조 답변, 모든 관련 객체 수준 주석을 포함하는 15,027개 샘플로 구성된 Grounded Remote Sensing Visual Question Answering(G-RSVQA) 벤치마크를 구축합니다. 7개의 그라운디드 비전-언어(vision-language) 모델에 대한 실험 결과, 세 가지 질문 유형 모두에서 근거 지지 실패가 나타남을 확인했습니다. 근거 평가 부분집합에서 정답의 최대 50.82%는 제공된 그라운딩 근거에 의해 뒷받침되지 않았습니다.
LEGO-OPD: 다중모달 온-정책 증류를 위한 요인화된 교사 모델 결합
LEGO-OPD: Factorized Teacher Composition for Multimodal On-Policy Distillation
다중모달 온-정책 증류(Multimodal On-Policy Distillation, OPD)는 언어 모델의 강력한 추론 능력을 보존하면서 시각적 그라운딩(visual grounding)을 향상시키는 것을 목표로 합니다. 최근의 다중 교사(multi-teacher) 접근 방식은 대규모 언어 모델(LLM)과 비전-언어 모델(VLM) 교사를 결합하여 상호 보완적인 지도 신호를 제공합니다. 그러나 VLM의 전체 예측 분포를 직접 사용하면 시각적 그라운딩 신호가 VLM 자체의 언어 사전 분포와 뒤얽혀, 그라운딩 정보가 독립적으로 전이되지 못하게 됩니다. 반대로 시각적 지도 신호의 강도를 높이면 인지 성능은 향상될 수 있으나, 시각적 증거를 과도하게 강조하여 언어 추론 성능을 저하시킬 수 있습니다. 이러한 트레이드오프를 해결하기 위해, 본 연구에서는 언어 전문가(Language Expert)와 그라운딩 전문가(Grounding expert)의 요인들을 하나의 교사 분포로 선택 결합하는 다중모달 OPD 방법인 LEGO-OPD를 제안합니다. 일반화된 베이시안(Bayesian) 정식화 아래에서, 언어 전문가는 후보 토큰에 대한 사전 분포(prior)를 제공하고, 그라운딩 전문가는 전체 예측 분포를 전이하는 대신 이 사전 분포를 업데이트하는 시각적 가능도(likelihood)를 제공합니다. 이러한 요인화된 결합을 통해 언어 추론과 시각적 그라운딩을 독립적으로 제어할 수 있습니다. 나아가 각 디코딩 접두 문맥(prefix)에서 시각적 가능도가 언어 사전 분포를 얼마나 강하게 업데이트해야 하는지 결정하는 적응형 보정(adaptive calibration)을 도입합니다. 구체적으로 LEGO-OPD는 그라운딩 전문가의 이미지 유도 예측 변화(prediction shift)를 접두 문맥 의존적인 기준점으로 활용하여, 시각적 지도의 부족과 과도함을 모두 방지합니다. Qwen3 모델을 사용한 실험 결과, LEGO-OPD는 다중모달 및 텍스트 전용 추론 태스크 모두에서 평가된 단일 및 다중 교사 OPD 베이스라인보다 일관되게 우수한 성능을 보였습니다. 또한 초기 학생(student) 모델의 텍스트 전용 추론 능력을 보존하면서 시각적 인지 능력을 향상시킵니다.
Where-OPD: 합성 장면을 활용한 MLLM의 공간 유도 온-정책 자기 증류
Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes
온-정책(on-policy) 자기 증류는 특권 정보(privileged information)를 제공받는 동결되거나 지수이동평균(EMA)이 적용된 자기 자신을 통해 학생 모델을 지도함으로써 언어 모델의 추론 능력을 향상시키는 효과적인 접근법으로 최근 부상했습니다. 그러나 이를 멀티모달 대규모 언어 모델(MLLM)에 적용하는 연구는 아직 미개척 상태로 남아 있습니다. 최근 접근법들은 질문에 해당하는 이미지 크롭과 같은 특권 시각 정보를 활용하여 미세 지각 능력을 향상시키지만, 이러한 성능 향상은 시각적 줌(zooming) 효과를 얻을 수 있는 태스크에만 국한되며 사람이 주석을 단 그라운딩(grounding) 데이터나 외부 교사 모델을 필요로 합니다. 본 연구에서는 질의와 관련된 시각적 요소를 식별하는 텍스트 기반의 공간적 그라운딩 안내(guidance)를 교사 모델에 제공하는 새로운 방식의 MLLM용 온-정책 자기 증류를 제안합니다. 객체 식별 정보와 공간 좌표를 자동으로 얻을 수 있는 절차적으로 생성된 장면을 활용하여, 확장 가능하고 주석이 필요 없는 사후 학습(post-training)을 실현합니다. 교사 모델은 이러한 공간적 안내를 활용하여 여러 관련 이미지 영역의 증거를 찾아 통합하며, 학생 모델은 이미지와 질문만을 바탕으로 그 결과를 재현하도록 학습합니다. 본 접근법은 여러 모델에 걸쳐 개수 세기, 문서 및 차트 이해 벤치마크에서 지속적으로 성능을 향상시킵니다. 특히 사후 학습에 합성 장면만을 사용함에도 불구하고, 개선된 성능이 실제 환경의 지각 벤치마크로 전이되어 CVBench, V*, ZoomBench, BLINK, HR-Bench, MME-RealWorld 전반에서 평균 성능이 3.23점 향상되었습니다. 이러한 결과는 공간적으로 그라운딩된 특권 정보가 온-정책 자기 증류를 통해 더 넓은 범위의 지각 능력을 유도할 수 있으며, 사후 학습에 사용된 태스크 및 데이터 분포를 넘어 상당한 수준의 합성-실제(synthetic-to-real) 전이를 가능하게 함을 보여줍니다. 프로젝트 페이지: https://github.com/sirkosophia/Where-OPD
토론
이 논문과 연결된 포럼 글이 아직 없습니다.