Metric-aligned Sample Selection and Critical Feature Sampling for Oriented Object Detection
원문 초록
Arbitrary-oriented object detection is a relatively emerging but challenging task. Although remarkable progress has been made, there still remain many unsolved issues due to the large diversity of patterns in orientation, scale, aspect ratio, and visual appearance of objects in aerial images. Most of the existing methods adopt a coarse-grained fixed label assignment strategy and suffer from the inconsistency between the classification score and localization accuracy. First, to align the metric inconsistency between sample selection and regression loss calculation caused by fixed IoU strategy, we introduce affine transformation to evaluate the quality of samples and propose a distance-based label assignment strategy. The proposed metric-aligned selection (MAS) strategy can dynamically select samples according to the shape and rotation characteristic of objects. Second, to further address the inconsistency between classification and localization, we propose a critical feature sampling (CFS) module, which performs localization refinement on the sampling location for classification task to extract critical features accurately. Third, we present a scale-controlled smooth $L_1$ loss (SC-Loss) to adaptively select high quality samples by changing the form of regression loss function based on the statistics of proposals during training. Extensive experiments are conducted on four challenging rotated object detection datasets DOTA, FAIR1M-1.0, HRSC2016, and UCAS-AOD. The results show the state-of-the-art accuracy of the proposed detector.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Arbitrary-Oriented Object Detection in Remote Sensing Images Based on Polar Coordinates
FII-CenterNet: An Anchor-Free Detector With Foreground Attention for Traffic Object Detection
방향성 선박 검출을 위한 스트립 합성곱과 방향 인식 배제 손실
Strip Convolution and Direction-Aware Exclusion Loss for Oriented Ship Detection
초고해상도(VHR) 원격탐사 영상에서의 방향성 선박 검출은 길쭉한 선체 기하와 복잡한 항만 장면에서의 밀집된 목표 분포로 인해 여전히 어려운 과제이다. 기존 방법들은 일반적으로 기하 표현과 중복 억제를 각각 따로 다룬다. 이 문제들을 함께 해결하기 위해, 우리는 두 가지 상보적 구성 요소를 갖춘 방향성 선박 검출기를 제안한다. C3k2_Strip 모듈은 직교 스트립 합성곱을 사용하여 길쭉한 선체 구조를 더 잘 포착하고, Class-Aware Direction-Aware Exclusion Loss(CA-DAEL)는 클래스, 방향, 신뢰도 단서를 이용해 중복 예측을 억제한다. HRSC2016과 DIOR-R에서의 실험은 각각 78.45% 및 53.71%의 mAP50:95를 달성하며, 파라미터는 2.91M에 불과하다. HRSC2016에서 제안 방법은 YOLOv11-OBB 기준선 대비 mAP50:95를 6.32 percentage points 향상시켜, 정확한 방향성 선박 검출에서의 효과를 보여준다.
원격탐사에서 방향 객체 시각적 그라운딩을 위한 통합 프레임워크 및 데이터셋
A Unified Framework and Dataset for Oriented Object Visual Grounding in Remote Sensing
원격탐사 영상에서의 visual grounding은 지시 표현(referring expression)으로 기술된 객체를 찾는 것을 목표로 한다. 대부분의 기존 방법은 수평 경계 상자(bounding box)를 예측하며, 이는 임의 방향을 가진 객체에 대해 종종 부정확하다. 이 한계를 해결하기 위해 세 가지 상보적 설계를 갖춘 방향 객체 visual grounding용 모델 계열 O²-VG를 제안한다. 구체적으로 O²-VG-Trans는 방향 객체 visual grounding을 위한 교차 모달리티 트랜스포머이며, 모델 계열을 위한 강력한 판별(discriminative) 기반을 마련한다. 이를 바탕으로 O²-VG-Uni는 특정 텍스트 프롬프트 없이 가능한 전경 객체에 대한 범용 방향 proposal을 예측하며, 캐시된 proposal 임베딩을 통한 객체 검색(retrieval)도 지원한다. 이러한 범용 방향 proposal을 입력 프롬프트로 사용하는 O²-VG-VLM은 자回归적(autoregressive) 비전-언어 모델로, 멀티 토큰 예측(multi-token prediction)을 통해 방향 상자 토큰 블록을 병렬로 생성한다. 또한 원격탐사 영상에서 방향 객체 visual grounding을 위한 데이터셋 DIOR-R-RSVG를 구축하였으며, 학습 및 평가를 위해 영상, 표현, 방향 상자 삼元组(triplet)을 제공한다. O²-VG 계열은 판별적 트랜스포머와 생성형 비전-언어 모델을 아우르는 유연한 프레임워크를 제공하며, 여러 벤치마크에서 우수한 성능을 달성한다. 코드는 https://github.com/wokaikaixinxin/ai4rs 에서 이용할 수 있다.
QwenVLConnector: 세밀한 임상 지각과 텍스트 생성을 위한 빠르고 통합된 의료 VLM 챗봇
QwenVLConnector: A Fast, Unified Medical VLM Chatbot for Fine-Grained Clinical Perception and Text Generation
대부분의 의료 비전-언어 모델(VLM)은 개방형 보고서 생성과 VQA에는 뛰어나지만, 통합된 인터페이스 안에서 구조화된 세밀한 임상 지각을 지원하는 데는 한계가 있다. 본 논문은 QwenVLConnector를 제안한다. 이는 Qwen2.5-VL 기반 의료 챗봇으로, 분류, 다중 레이블 분류, 텍스트화된 검출, 계수, 회귀, 자유 형식 보고서 생성을 단일 next-token 목표 아래 하나로 통합한다. 핵심 구성요소는 경량의 밀집 다층 Connector로, 저수준·고수준 시각 특징을 집계하고 사전학습된 vision Merger를 통해 정렬한 뒤, 시퀀스 길이를 늘리지 않고 최종 시각 표현과 융합한다. 이 설계는 효율성을 유지하면서 시각 토큰을 상보적인 공간·의미 단서로 풍부하게 한다. FLARE-2D에서 QwenVLConnector는 검출 F1을 0.55에서 0.85로 개선하고, 단일 레이블 분류를 0.37에서 0.51로 높이며, Qwen2.5-VL 기준선 대비 보고서 생성 GREEN을 최대 18.3점 향상시킨다. 또한 보고서 생성을 위한 멀티모달 문맥 내 학습(ICL)을 탐구하여, 모델 매개변수를 갱신하지 않고도 추가 개선을 보였다. 전반적으로 QwenVLConnector는 구조화된 의료 지각과 개방형 임상 텍스트 생성을 결합하는 통합적이고 효율적인 프레임워크를 제공한다. 코드는 https://github.com/plnguyen2908/QwenConnector 에서 확인할 수 있다.
기하와 의미의 결합: 시각 검출 작업에서 의미 기반 경계 상자 최적화를 위한 분수 차수 그래디언트 안정화
Geometry Meets Semantics: Fractional Gradient Stabilization for Semantic-Driven Bounding Box Optimization in Visual Detection Tasks
경계 상자는 시각 검출 작업에서 객체 위치 추정에 필수적이다. 그중 방향 경계 상자(oriented bounding box)는 시각 검출 작업에서 널리 사용되며, 보다 정밀한 방향 표현을 제공한다. 일반적으로 IoU 기반 손실은 상자 회귀(box regression) 최적화에 널리 채택된다. 그러나 우리는 IoU 기반 상자 최적화가 두 가지 핵심 문제를 겪는다는 것을 관찰했다: (1) 기하학적 속성에만 의존하고 의미론적 단서(semantic cues)를 무시한다; (2) 방향 최적화가 불안정한 그래디언트로 인해 방향 수렴 과정에서 진동을 일으킨다. 본 논문에서는 그래디언트 안정화와 함께 통합된 의미-기하 학습을 달성하기 위해 Fractional Semantic IoU 손실을 제안한다. 먼저, IoU 최적화를 안내하기 위한 의미 유사도 지표를 설계하고, 적응형 그래디언트 게이팅(adaptive gradient gating) 메커니즘을 갖춘 Semantic IoU 손실(SIoU loss)을 구축한다. 다음, 방향 상자 최적화에서 그래디언트 불안정성 문제를 재검토하고 SIoU 손실을 분수 차수(fractional-order) 형식으로 확장하여 Fractional Semantic IoU 손실(FrSIoU loss)을 구축한다. FrSIoU 손실은 경계 상자 최적화 과정에서 비정상적인 그래디언트를 정규화하기 위해 과거 IoU 상태를 누적한다. 광범위한 실험은 본 접근법이 다양한 경계 상자 표현과 여러 시각 검출 작업에서 안정적인 성능 향상을 달성함을 보여준다. 코드는 GitHub에서 제공될 예정이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.