원격탐사에서 방향 객체 시각적 그라운딩을 위한 통합 프레임워크 및 데이터셋
A Unified Framework and Dataset for Oriented Object Visual Grounding in Remote Sensing
한국어 초록
원격탐사 영상에서의 visual grounding은 지시 표현(referring expression)으로 기술된 객체를 찾는 것을 목표로 한다. 대부분의 기존 방법은 수평 경계 상자(bounding box)를 예측하며, 이는 임의 방향을 가진 객체에 대해 종종 부정확하다. 이 한계를 해결하기 위해 세 가지 상보적 설계를 갖춘 방향 객체 visual grounding용 모델 계열 O²-VG를 제안한다. 구체적으로 O²-VG-Trans는 방향 객체 visual grounding을 위한 교차 모달리티 트랜스포머이며, 모델 계열을 위한 강력한 판별(discriminative) 기반을 마련한다. 이를 바탕으로 O²-VG-Uni는 특정 텍스트 프롬프트 없이 가능한 전경 객체에 대한 범용 방향 proposal을 예측하며, 캐시된 proposal 임베딩을 통한 객체 검색(retrieval)도 지원한다. 이러한 범용 방향 proposal을 입력 프롬프트로 사용하는 O²-VG-VLM은 자回归적(autoregressive) 비전-언어 모델로, 멀티 토큰 예측(multi-token prediction)을 통해 방향 상자 토큰 블록을 병렬로 생성한다. 또한 원격탐사 영상에서 방향 객체 visual grounding을 위한 데이터셋 DIOR-R-RSVG를 구축하였으며, 학습 및 평가를 위해 영상, 표현, 방향 상자 삼元组(triplet)을 제공한다. O²-VG 계열은 판별적 트랜스포머와 생성형 비전-언어 모델을 아우르는 유연한 프레임워크를 제공하며, 여러 벤치마크에서 우수한 성능을 달성한다. 코드는 https://github.com/wokaikaixinxin/ai4rs 에서 이용할 수 있다.
원문 초록
Visual grounding in remote sensing images aims to locate objects described by referring expressions. Most existing methods predict horizontal bounding boxes, which are often inaccurate for objects with arbitrary orientations. To address this limitation, we introduce O$^2$-VG, a family of models for oriented object visual grounding with three complementary designs. Specifically, O$^2$-VG-Trans is a cross-modality transformer for oriented object visual grounding. It establishes a strong discriminative foundation for the model family. Building upon it, O$^2$-VG-Uni predicts universal oriented proposals for possible foreground objects without specific text prompts. It also supports object retrieval through cached proposal embeddings. Using these universal oriented proposals as input prompts, O$^2$-VG-VLM is an autoregressive vision-language model. It generates oriented box token blocks in parallel through multi-token prediction. In addition, we construct DIOR-R-RSVG, a dataset for oriented object visual grounding in remote sensing images. It provides image, expression, and oriented box triplets for training and evaluation. Together, the O$^2$-VG family provides a flexible framework that spans discriminative transformers and generative vision-language models. It achieves superior performance across multiple benchmarks. Code is available at https://github.com/wokaikaixinxin/ai4rs.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.28230v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
위치뿐만 아니라 존재 여부도 파악하기: 열린 집합 원격 탐사 시각적 그라운딩을 위한 앵커 탐침 지식 증류
Knowing Whether, Not Just Where: Anchor-Probing Distillation for Open-Set Remote Sensing Visual Grounding
원격 탐사(remote sensing)에서의 열린 집합(open-set) 시각적 그라운딩(visual grounding)은 질의된 객체가 어디에 위치하는지뿐만 아니라, 영상이 해당 질의에 대한 충분한 근거를 전혀 제공하지 않는지 여부까지 모델이 판단하도록 요구합니다. 그러나 기존의 닫힌 집합(closed-set) 그라운딩 모델은 존재하지 않는 객체에 대해서도 그럴듯한 경계 상자(bounding box)를 반환하는 경향이 있어, 위치 추정(localization) 신뢰도와 진정한 시각적 지지(Visual Support)를 모호하게 만듭니다. 본 논문에서는 열린 집합 그라운딩을 시각적 지지 학습으로 재구성하는 교사-학생(teacher-student) 프레임워크인 AnchorProbe-Distill(APD)을 소개합니다. APD는 지지되는 질의는 일관된 공간적 앵커(spatial anchor)를 유도해야 하는 반면, 지지되지 않거나 불일치하는 질의는 불안정하거나 오해의 소지가 있는 위치 추정 패턴을 생성하는 경향이 있다는 통찰에 기반합니다. 이에 따라 APD-T는 원래 질의(Original Query)를 기준 앵커(Reference Anchor)로 사용하여 질의 섭동(query perturbation)을 해석합니다. 즉 의미 보존 질의(Semantic-Preserving Queries)는 어노테이션된 타깃을 유지하고, 인접 범주 모호 질의(Near-Category Ambiguous Queries)는 신뢰할 수 있는 대안 앵커를 형성하는지 혹은 기준 앵커로 축퇴되는지에 따라 해결되며, 원거리 범주 반사실적 질의(Far-Category Counterfactual Queries)는 거부(rejection) 감독 신호를 제공합니다. 이러한 기준 인식 추론은 APD-S로 지식 증류(distillation)되어, 단일 영상-질의 쌍으로부터 통합된 위치 추정 및 거부를 가능하게 합니다. 실험 결과, APD를 통해 도출된 모델은 부재한 타깃을 거부하는 동시에 존재하는 타깃의 위치 추정 성능도 향상시킴을 보여줍니다.
CoEvolve: 양방향 상태 정밀화를 통한 구성 기반 편집 시각적 그라운딩
CoEvolve: Construct-to-Edit Visual Grounding with Bidirectional State Refinement
시각적 그라운딩(visual grounding)은 언어로 기술된 객체를 경계 상자(bounding box)로 위치를 특정합니다. 대부분의 멀티모달 그라운딩 모델은 대상 식별, 공간 추론, 경계 추정을 하나의 최종 예측으로 압축합니다. 자유 형식의 근거 제시(free-form rationales)는 언어적으로 추론을 명시화하지만, 측정 가능하고 편집 가능한 공간 상태를 반드시 드러내지는 않습니다. 따라서 중간 위치 추정 오류를 진단하고 수정하기 어려워, 잘못된 영역 선택과 부정확한 경계가 최종 상자에 그대로 남게 됩니다. 본 연구에서는 그라운딩을 명시적 상태 구성과 상태 편집으로 분리하는 '구성 기반 편집(construct-to-edit)' 프레임워크인 CoEvolve를 소개합니다. 영역 진화 강화(Region-Evolution Reinforcement, RER)는 그라운딩 분석을 점진적인 의미-공간 궤적으로 체계화하며, 각 추론 단계에서 명시적인 후보 영역을 확정합니다. 양방향 디노이징 정밀화기(Bidirectional Denoising Refiner, BDR)는 추론 텍스트를 고정된 의미적 컨텍스트로 취급하고, 양방향 동일 위치 재구성을 통해 궤적의 좌표 필드를 정밀화합니다. 기하 및 행동 수준의 목표는 신뢰할 수 있는 후보를 통합하고 정확한 입력을 보존하거나 어노테이션에 맞게 교정하기 위한 목표 기하학 및 편집 선호도 신호를 제공합니다. 평가는 자연 이미지 및 원격 탐사 그라운딩을 포괄합니다. 9B 백본을 사용하는 CoEvolve는 그라운딩 정확도에서 최대 241B 매개변수 규모의 모델과 대등한 성능을 보입니다. 제어된 노이즈 주입 환경에서 단 한 번의 BDR 패스만으로 평균 상자 중첩도(mean box overlap)가 27%p 이상 향상되어, 상당한 위치 추정 오류로부터 강력하게 복구됨을 입증합니다. 상태-출처 비교는 명시적 상태 구성과 출처 맞춤형 편집의 상호보완성을 더욱 뒷받침합니다. 프로젝트는 https://sundongwei.github.io/CoEvolve_Project/ 에서 확인할 수 있습니다.
방향성 선박 검출을 위한 스트립 합성곱과 방향 인식 배제 손실
Strip Convolution and Direction-Aware Exclusion Loss for Oriented Ship Detection
초고해상도(VHR) 원격탐사 영상에서의 방향성 선박 검출은 길쭉한 선체 기하와 복잡한 항만 장면에서의 밀집된 목표 분포로 인해 여전히 어려운 과제이다. 기존 방법들은 일반적으로 기하 표현과 중복 억제를 각각 따로 다룬다. 이 문제들을 함께 해결하기 위해, 우리는 두 가지 상보적 구성 요소를 갖춘 방향성 선박 검출기를 제안한다. C3k2_Strip 모듈은 직교 스트립 합성곱을 사용하여 길쭉한 선체 구조를 더 잘 포착하고, Class-Aware Direction-Aware Exclusion Loss(CA-DAEL)는 클래스, 방향, 신뢰도 단서를 이용해 중복 예측을 억제한다. HRSC2016과 DIOR-R에서의 실험은 각각 78.45% 및 53.71%의 mAP50:95를 달성하며, 파라미터는 2.91M에 불과하다. HRSC2016에서 제안 방법은 YOLOv11-OBB 기준선 대비 mAP50:95를 6.32 percentage points 향상시켜, 정확한 방향성 선박 검출에서의 효과를 보여준다.
LOGOS: 항공 장면에서 언어 안내 기반 방향성 객체 검출
LOGOS: Language-guided Oriented Object Detection in Aerial Scenes
위성 및 항공 영상과 같은 지리공간 장면에서의 객체 검출(object detection)은 다양한 방향과 밀도를 가진 객체들, 그리고 원격 탐사 영상에 내재된 복잡한 배경으로 인해 상당한 어려움을 수반한다. 방향성 객체 검출을 위한 기존 방법들은 각도 불연속성, 고정된 쿼리 크기, 희소하거나 혼잡한 장면 처리의 비효율성 등의 문제를 해결하는 데 어려움을 겪어왔다. 본 논문에서는 텍스트 프롬프트를 활용하여 항공 장면에서의 방향성 객체 검출을 안내하는 새로운 트랜스포머 기반 접근법인 LOGOS를 제안한다. 특히, 제안하는 접근법은 프롬프트 변조 콘텐츠 쿼리(prompt-modulated content queries)를 통합하여 제공된 텍스트에 기반해 모델의 초점을 동적으로 조정함으로써, 복잡한 환경에서의 객체 검출 정확도를 향상시킨다. 실증적으로, DOTA 데이터셋에 대한 광범위한 실험을 통해 LOGOS가 특히 밀집 배치 및 회전된 객체 시나리오에서 기존 최첨단 방법들을 능가함을 입증한다. 본 접근법은 원격 탐사 응용 분야에서 방향성 객체 검출의 견고성과 확장성을 향상시키는 데 있어 중요한 진전을 제공한다.
Promptable Concept Segmentation from Above: Evaluating Zero-Shot Textual and Visual Prompting of SAM 3 in Remote Sensing
원격 탐사 시각적 질의응답에서 답변-그라운딩 일관성 벤치마킹
Benchmarking Answer-Grounding Consistency in Remote Sensing Visual Question Answering
그라운디드 원격 탐사 시각적 질의응답(grounded remote sensing visual question answering)에서 모델은 텍스트 답변을 생성하고 이미지 내 관련 객체를 그라운딩(grounding) 근거로 식별합니다. 기존 평가는 답변의 정확성과 위치 특정(localization) 품질을 측정하지만, 답변-그라운딩 일관성을 직접적으로 평가하지는 않습니다. 본 연구에서는 근거 지지(evidence support), 즉 그라운딩 근거가 모델 자신의 답변을 뒷받침하는지 여부를 통해 이러한 일관성을 평가하는 답변-근거 지지 프로토콜(AESP)을 제안합니다. AESP는 존재 유무, 개수 세기, 비교 질문에 대해 태스크별 규칙을 적용합니다. 나아가 질문, 참조 답변, 모든 관련 객체 수준 주석을 포함하는 15,027개 샘플로 구성된 Grounded Remote Sensing Visual Question Answering(G-RSVQA) 벤치마크를 구축합니다. 7개의 그라운디드 비전-언어(vision-language) 모델에 대한 실험 결과, 세 가지 질문 유형 모두에서 근거 지지 실패가 나타남을 확인했습니다. 근거 평가 부분집합에서 정답의 최대 50.82%는 제공된 그라운딩 근거에 의해 뒷받침되지 않았습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.