원격 탐사 시각적 질의응답에서 답변-그라운딩 일관성 벤치마킹
Benchmarking Answer-Grounding Consistency in Remote Sensing Visual Question Answering
한국어 초록
그라운디드 원격 탐사 시각적 질의응답(grounded remote sensing visual question answering)에서 모델은 텍스트 답변을 생성하고 이미지 내 관련 객체를 그라운딩(grounding) 근거로 식별합니다. 기존 평가는 답변의 정확성과 위치 특정(localization) 품질을 측정하지만, 답변-그라운딩 일관성을 직접적으로 평가하지는 않습니다. 본 연구에서는 근거 지지(evidence support), 즉 그라운딩 근거가 모델 자신의 답변을 뒷받침하는지 여부를 통해 이러한 일관성을 평가하는 답변-근거 지지 프로토콜(AESP)을 제안합니다. AESP는 존재 유무, 개수 세기, 비교 질문에 대해 태스크별 규칙을 적용합니다. 나아가 질문, 참조 답변, 모든 관련 객체 수준 주석을 포함하는 15,027개 샘플로 구성된 Grounded Remote Sensing Visual Question Answering(G-RSVQA) 벤치마크를 구축합니다. 7개의 그라운디드 비전-언어(vision-language) 모델에 대한 실험 결과, 세 가지 질문 유형 모두에서 근거 지지 실패가 나타남을 확인했습니다. 근거 평가 부분집합에서 정답의 최대 50.82%는 제공된 그라운딩 근거에 의해 뒷받침되지 않았습니다.
원문 초록
In grounded remote sensing visual question answering, a model produces a textual answer and identifies relevant objects in the image as grounding evidence. Existing evaluations measure answer correctness and localization quality, but do not directly assess answer-grounding consistency. We propose the Answer-Evidence Support Protocol (AESP) to assess this consistency through evidence support: whether the grounding evidence supports the model's own answer. AESP applies task-specific rules to existence, counting, and comparison questions. We further construct the Grounded Remote Sensing Visual Question Answering (G-RSVQA) benchmark, containing 15,027 samples with questions, reference answers, and all related object-level annotations. Experiments on seven grounded vision--language models reveal failures of evidence support across all three question types. Up to 50.82% of correct answers in the evidence evaluation subset are not supported by the provided grounding evidence.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
위치뿐만 아니라 존재 여부도 파악하기: 열린 집합 원격 탐사 시각적 그라운딩을 위한 앵커 탐침 지식 증류
Knowing Whether, Not Just Where: Anchor-Probing Distillation for Open-Set Remote Sensing Visual Grounding
원격 탐사(remote sensing)에서의 열린 집합(open-set) 시각적 그라운딩(visual grounding)은 질의된 객체가 어디에 위치하는지뿐만 아니라, 영상이 해당 질의에 대한 충분한 근거를 전혀 제공하지 않는지 여부까지 모델이 판단하도록 요구합니다. 그러나 기존의 닫힌 집합(closed-set) 그라운딩 모델은 존재하지 않는 객체에 대해서도 그럴듯한 경계 상자(bounding box)를 반환하는 경향이 있어, 위치 추정(localization) 신뢰도와 진정한 시각적 지지(Visual Support)를 모호하게 만듭니다. 본 논문에서는 열린 집합 그라운딩을 시각적 지지 학습으로 재구성하는 교사-학생(teacher-student) 프레임워크인 AnchorProbe-Distill(APD)을 소개합니다. APD는 지지되는 질의는 일관된 공간적 앵커(spatial anchor)를 유도해야 하는 반면, 지지되지 않거나 불일치하는 질의는 불안정하거나 오해의 소지가 있는 위치 추정 패턴을 생성하는 경향이 있다는 통찰에 기반합니다. 이에 따라 APD-T는 원래 질의(Original Query)를 기준 앵커(Reference Anchor)로 사용하여 질의 섭동(query perturbation)을 해석합니다. 즉 의미 보존 질의(Semantic-Preserving Queries)는 어노테이션된 타깃을 유지하고, 인접 범주 모호 질의(Near-Category Ambiguous Queries)는 신뢰할 수 있는 대안 앵커를 형성하는지 혹은 기준 앵커로 축퇴되는지에 따라 해결되며, 원거리 범주 반사실적 질의(Far-Category Counterfactual Queries)는 거부(rejection) 감독 신호를 제공합니다. 이러한 기준 인식 추론은 APD-S로 지식 증류(distillation)되어, 단일 영상-질의 쌍으로부터 통합된 위치 추정 및 거부를 가능하게 합니다. 실험 결과, APD를 통해 도출된 모델은 부재한 타깃을 거부하는 동시에 존재하는 타깃의 위치 추정 성능도 향상시킴을 보여줍니다.
위성 영상을 활용한 건물 피해 평가 과제 재고
Revisiting the Task of Building Damage Assessment by Satellite Imaging
지진, 열대성 폭풍, 홍수와 같은 자연재해는 건물에 광범위한 피해를 입히며, 신속하고 신뢰할 수 있는 피해 지도는 긴급 대응을 안내하는 데 필수적입니다. 위성 영상으로부터 이 작업을 자동화하는 건물 피해 평가(BDA, building damage assessment)는 원격 탐사, 컴퓨터 비전(CV), 머신러닝의 교차점에서 활발한 연구 주제가 되었으며, 특히 지도 기반 심층 학습(deep learning) 방법이 기존의 수작업 특징 기반 접근법보다 우수한 성능을 보이는 것으로 입증된 이후 더욱 주목받고 있습니다. 그러나 10년간의 활발한 연구와 여러 대규모 데이터셋(dataset)의 공개에도 불구하고, 이 분야는 공통된 기반이 부족한 실정입니다. 본 챕터에서는 데이터, 평가(evaluation), 방법이라는 세 가지 축을 중심으로 BDA 과제를 근본적인 원리(first principles)에서 재고합니다. 먼저 후보 과제 정식화를 명확히 하고, 재난 전 영상의 누락을 허용하는 센서 불가지론적(sensor-agnostic) 인스턴스 기반 정의를 제안합니다. 그런 다음 센싱 양식(modality), 시간적 구성, 지리적 적용 범위라는 축을 따라 기존 데이터셋을 검토합니다. 평가 측면에서는 주로 단일 종합 점수에 의존하는 기존 관행이 이론적으로 취약함을 보이고, 더 유용한 정보를 제공하는 순위 기반 다중 점수 프로토콜의 기반을 마련합니다. 나아가 과제 특화 심층 신경망부터 최근의 지구 관측 파운데이션 모델에 이르는 방법론을 검토하며, 미확인 재난 및 지역에 대한 일반화가 여전히 미해결 과제로 남아 있음을 확인합니다. 마지막으로 교차 검증(cross-validation), 챌린지, 개발자와 사용자 간의 신뢰를 구축하도록 설계된 비공개 데이터 공유 설정을 포함하여, 이러한 요소들이 BDA 챌린지 조직에 어떻게 정보를 제공할 수 있는지 논의합니다.
CCRV-Bench: 비전-언어 모델의 인과적 추론에 대한 제약 기반 평가
CCRV-Bench: Constraint-Based Evaluation of Causal Reasoning in Vision-Language Models
비전-언어 모델(VLM)은 시각 작업에서 뛰어난 성능을 입증해 왔으나, 시각적 인과 추론 능력에 대해서는 여전히 신뢰할 수 있는 평가가 부족합니다. 기존 평가는 모델이 시각적 증거에 기반해 인과 추론을 수행하는지, 아니면 지름길 학습(shortcut learning)을 위한 통계적 상관관계에 의존하는지 구분하기 어려워 실제 능력을 과대평가할 가능성이 있습니다. 본 논문에서는 단일 이미지 물리적 시나리오를 위한 제약 기반 시각 인과 추론 벤치마크인 CCRV-Bench를 제안합니다. 인과 관계 발견, 상태 예측, 인과적 진단, 개입-결과 예측의 네 가지 인과 작업 차원을 평가하는 직교 프레임워크를 구축합니다. 또한 작업에 필요한 물리적 상식을 보존하면서 지름길 단서를 줄이기 위해 개체 기호화, 공간적 그라운딩(spatial grounding), 사실적 적대적 제약 및 미니멀리스트 출력 제약을 도입합니다. 14개 멀티모달 모델에 대한 실험 결과, 제약 민감도는 작업 및 모델에 따라 다른 것으로 나타났습니다. 4가지 인과 작업 중 개입-결과 예측이 가장 큰 평균 유효 성능 저하를 보였고, 공간적 그라운딩이 평균적으로 가장 치명적인 제약이었으며, 사실적 적대적 제약은 평가된 모든 모델의 DCR을 향상시켰습니다. 이러한 결과는 제약이 없는 상태의 성능이 제약 조건 하에서의 강건성을 결정하지 않으며, 단일 종합 점수가 인과 식별, 공간적 그라운딩, 제약 준수 표현에서의 뚜렷한 실패를 가릴 수 있음을 보여줍니다. CCRV-Bench는 통제된 제약 조건에서 이미지 기반 인과 추론을 진단하기 위한 표준화된 프레임워크를 제공합니다. 코드는 https://github.com/0815linyuan/CCRVBench 에서 확인할 수 있습니다.
WeaveAgent: 초고해상도 원격 탐사 영상을 위한 2단계 도구 라우팅 에이전트
WeaveAgent: A Two-Stage Tool-Routing Agent for Ultra-High-Resolution Remote Sensing Imagery
문제. 모호한 사용자 의도를 가진 초고해상도(UHR) 원격 탐사에는 두 가지 병목 현상이 있습니다. 시각적 토큰(token) 비용이 크며, 도구 호출이 형식 측면에서 신뢰할 수 있어야 한다는 점입니다(사전학습된 모델은 제로샷(zero-shot) 환경에서 도구 호출을 전혀 생성하지 못함). 방법. 2단계 도구 라우팅 에이전트(agent)인 WeaveAgent는 라우팅과 시각적 인식을 분리합니다. 1단계(Stage A)는 라우팅 우선 방식으로, 호출 생성은 유도되는 것이 아니라 학습(training)됩니다. 2단계(Stage B)는 조건부로 실행됩니다. 내부적(intrinsic) 질의는 시각적 답변 단계로 들어가며(전체 장면 썸네일 사용, 선택적 고정 예산이자 약 5k 토큰 압축 인터페이스로서 WeaveEarth 스타일의 증거 보드 활용), 외부적(extrinsic) 질의는 원본 전체 해상도 영상에서 도구 호출을 실행하고 관찰 마스킹된 두 번째 턴에서 도구 관찰 결과를 바탕으로 답변합니다. 학습: 정렬 SFT 후 보상(reward) R_WA2 하에서 GRPO를 적용합니다. 결과. 정렬 SFT는 외부적 라우팅을 0%에서 80.75%(323/400)로 끌어올리며, GRPO는 도구 선택을 유지하면서 9건의 내부적 오호출 생성을 억제합니다. 학습된 2B 시스템은 전반적으로 제로샷 8B 기준선(baseline)을 능가하지 못하지만(0.263 대 0.250), 이는 진단적 기여에 해당합니다. 오라클 귀인 분석은 두 가지 복구 요소를 구분합니다. 관찰 결과를 컨텍스트에 로드하면 마커가 없는 교차 모드 반환에서 외부적 답변 정확도가 0.025에서 0.425로 향상되며, 2턴 SFT 단계는 약간의 라우팅 비용을 대가로 0.518까지 9.3포인트를 추가로 향상시킵니다. +/- 이미지 절제 연구(ablation)는 호출 생성 억제가 시각적으로 그라운딩(grounding)되어 있음을 보여주며, 질의 레지스터 매트릭스는 LLM으로 재작성된 질의가 학습된 체크포인트의 성능을 2~11포인트 떨어뜨림을 나타냅니다. 범위. 모든 학습 및 평가는 5,000 / 3,273 / 1,000개 레코드로 구성된 VagueUHR 말뭉치를 사용합니다(내부적 600개 + 도구 요구 400개; 기본 데이터는 합성을 시딩하며 최적화에는 사용되지 않음). 단일 패스 증거 구성은 RTX 4090에서 이미지당 7.31초로 실행됩니다. 코드, 데이터 및 평가 프로토콜이 공개될 예정입니다.
CoEvolve: 양방향 상태 정밀화를 통한 구성 기반 편집 시각적 그라운딩
CoEvolve: Construct-to-Edit Visual Grounding with Bidirectional State Refinement
시각적 그라운딩(visual grounding)은 언어로 기술된 객체를 경계 상자(bounding box)로 위치를 특정합니다. 대부분의 멀티모달 그라운딩 모델은 대상 식별, 공간 추론, 경계 추정을 하나의 최종 예측으로 압축합니다. 자유 형식의 근거 제시(free-form rationales)는 언어적으로 추론을 명시화하지만, 측정 가능하고 편집 가능한 공간 상태를 반드시 드러내지는 않습니다. 따라서 중간 위치 추정 오류를 진단하고 수정하기 어려워, 잘못된 영역 선택과 부정확한 경계가 최종 상자에 그대로 남게 됩니다. 본 연구에서는 그라운딩을 명시적 상태 구성과 상태 편집으로 분리하는 '구성 기반 편집(construct-to-edit)' 프레임워크인 CoEvolve를 소개합니다. 영역 진화 강화(Region-Evolution Reinforcement, RER)는 그라운딩 분석을 점진적인 의미-공간 궤적으로 체계화하며, 각 추론 단계에서 명시적인 후보 영역을 확정합니다. 양방향 디노이징 정밀화기(Bidirectional Denoising Refiner, BDR)는 추론 텍스트를 고정된 의미적 컨텍스트로 취급하고, 양방향 동일 위치 재구성을 통해 궤적의 좌표 필드를 정밀화합니다. 기하 및 행동 수준의 목표는 신뢰할 수 있는 후보를 통합하고 정확한 입력을 보존하거나 어노테이션에 맞게 교정하기 위한 목표 기하학 및 편집 선호도 신호를 제공합니다. 평가는 자연 이미지 및 원격 탐사 그라운딩을 포괄합니다. 9B 백본을 사용하는 CoEvolve는 그라운딩 정확도에서 최대 241B 매개변수 규모의 모델과 대등한 성능을 보입니다. 제어된 노이즈 주입 환경에서 단 한 번의 BDR 패스만으로 평균 상자 중첩도(mean box overlap)가 27%p 이상 향상되어, 상당한 위치 추정 오류로부터 강력하게 복구됨을 입증합니다. 상태-출처 비교는 명시적 상태 구성과 출처 맞춤형 편집의 상호보완성을 더욱 뒷받침합니다. 프로젝트는 https://sundongwei.github.io/CoEvolve_Project/ 에서 확인할 수 있습니다.
낮은 그라운딩 점수가 비근거적 심판관을 의미하지는 않는다: 멀티모달 감독에서의 지각 가능성 교란 요인 식별
A Low Grounding Score Is Not an Ungrounded Judge: Identifying the Perceptibility Confound in Multimodal Oversight
모델 심판관(judge)은 이제 대규모로 멀티모달 시스템을 감독하며, 학습 데이터를 필터링하고, 출력을 선택하고, 멀티모달 추론 모델을 형성하는 보상을 제공한다. 심판관을 신뢰한다는 것은 먼저 그것이 자신의 근거(evidence)를 실제로 사용하는지 확인하는 것을 의미하며, 이 검증 자체도 면밀히 검토할 가치가 있다. 따라서 우리는 시각적 그라운딩(visual grounding)에 대한 반사실적(counterfactual) 프로브가 주장하는 바를 실제로 측정하는지 질문한다. 이 프로브는 정답(ground truth)이 뒤바뀌도록 이미지를 편집하고, 추론 과정(reasoning trace)은 고정한 채, 판정(verdict)이 그에 따라 바뀌는지를 묻는다. 우리는 이를 판정 그라운딩 점수(Verdict Grounding Score)로 공식화하고, 이 점수가 일반적으로 해석되는 방식대로 해석될 수 없음을 보인다. 판정은 심판관의 의사결정과 관련된 해석(reading)에 도달하는 편집에만 반응하므로, 이 점수는 편집의 지각 가능성(perceptibility)에 의해 상한이 정해진다. 그리고 편집이 속성(attribute)을 더 읽기 쉽게 만들지 않는 한, 오차는 한쪽으로 편향되어(one-sided) 있다: 이 점수는 심판관을 실제보다 덜 근거한(grounded) 것처럼 보이게 만들 수만 있다. 따라서 실제로 발생하는 실패는 오경보(false alarm)이며, 이는 감사자(auditor)가 사용 가능한 감독자(overseer)를 폐기하게 만든다. 우리가 명시하는 가정 하에서, 이 누락된 값(missing quantity)이 단순히 상한만 정해지는 것이 아니라 동일한 감사 프로토콜(audit protocol)이 이미 수집하는 세 가지 값으로부터 식별 가능(identified)함을 보이며, 이를 통해 오경보율(false-alarm rate)이 단순한 우려 사항이 아니라 직접 측정 가능한 값이 된다. 아홉 개의 심판관을 감사한 결과, 우리의 전체 주요 풀(primary pool)에서 예측된 순서(ordering)가 엄격하게 성립함을 확인했으며, 그곳의 일반적인 심판관은 자신이 원래 해결할 수 있는 속성을 가진 편집 중 약 절반에만 반응했다. 보수적인 기각 임계값(rejection threshold)을 적용하면 여러 셀(cell)이 명백한 오경보로 확정(certify)되는데, 가장 명확한 사례는 주입된 오류를 거의 매번 탐지하면서도 마치 이미지를 전혀 사용하지 않은 것처럼 점수가 매겨지는 심판관이다. 이로부터 도출되는 규칙은 이미지 측(image-side) 반사실적 점수를 절대 단독으로 보고해서는 안 된다는 것이다. 편집되지 않은 이미지에 대한 탐지 프로브(detection probe)가 그 점수의 상한을 정하고, 오경보를 확정하며, 추가 실행 비용이 전혀 들지 않는다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Under review at ICASSP 2027. Code available at https://github.com/pingggg516/AESP-Evaluation