arXiv:2510.25257v2 cs.CV

RT-DETRv4: 비전 파운데이션 모델을 활용하여 손쉽게 발전시키는 실시간 객체 검출

RT-DETRv4: Painlessly Furthering Real-Time Object Detection with Vision Foundation Models

Zijun Liao, Yian Zhao, Xin Shan, Yu Yan, Chang Liu, Lei Lu, Xiangyang Ji, Jie Chen

제출 2025-10-29

한국어 초록

실시간 객체 검출은 정교하게 설계된 아키텍처와 최적화 전략을 통해 상당한 발전을 이루어 왔다. 그러나 경량 네트워크 설계를 통한 고속 추론 추구는 흔히 특징 표현의 저하를 초래하며, 이는 추가적인 성능 향상과 실제 온디바이스 배포를 저해한다. 본 논문에서는 비전 파운데이션 모델(Vision Foundation Models, VFMs)의 빠르게 발전하는 능력을 활용하여 경량 객체 검출기를 개선하는, 비용 효율적이며 적응성이 높은 증류(distillation) 프레임워크를 제안한다. VFM과 자원이 제한된 검출기 사이의 상당한 아키텍처 및 학습 목표 차이를 고려할 때, 안정적이고 과제에 부합하는 의미적 전이(semantic transfer)를 달성하는 것은 어려운 문제이다. 이를 해결하기 위해, 한편으로는 VFM의 고수준 표현을 검출기의 깊은 레이어에 통합할 수 있도록 하는 심층 의미 주입기(Deep Semantic Injector, DSI) 모듈을 도입한다. 다른 한편으로는, 그래디언트 노름 비율에 기반하여 의미적 전이의 강도를 동적으로 조정하는 그래디언트 기반 적응형 변조(Gradient-guided Adaptive Modulation, GAM) 전략을 설계한다. 배포 및 추론 오버헤드를 증가시키지 않으면서도, 본 접근법은 다양한 DETR 기반 모델 전반에서 손쉽게 두드러지고 일관된 성능 향상을 제공하며, 이는 실시간 검출에 대한 실용적 유용성을 뒷받침한다. 새로운 모델 패밀리인 RT-DETRv4는 COCO에서 최첨단 성능을 달성하여, 각각 273/169/124/78 FPS의 속도에서 49.8/53.7/55.4/57.0의 AP 점수를 기록한다. 코드는 https://github.com/RT-DETRs/RT-DETRv4 에서 공개되어 있다.

원문 초록

Real-time object detection has achieved substantial progress through meticulously designed architectures and optimization strategies. However, the pursuit of high-speed inference via lightweight network designs often leads to degraded feature representation, which hinders further performance improvements and practical on-device deployment. In this paper, we propose a cost-effective and highly adaptable distillation framework that harnesses the rapidly evolving capabilities of Vision Foundation Models (VFMs) to enhance lightweight object detectors. Given the significant architectural and learning objective disparities between VFMs and resource-constrained detectors, achieving stable and task-aligned semantic transfer is challenging. To address this, on one hand, we introduce a \textbf{Deep Semantic Injector (DSI)} module that facilitates the integration of high-level representations from VFMs into the deep layers of the detector. On the other hand, we devise a \textbf{Gradient-guided Adaptive Modulation (GAM)} strategy, which dynamically adjusts the intensity of semantic transfer based on gradient norm ratios. Without increasing deployment and inference overhead, our approach painlessly delivers striking and consistent performance gains across diverse DETR-based models, underscoring its practical utility for real-time detection. Our new model family, RT-DETRv4, achieves state-of-the-art results on COCO, attaining AP scores of $49.8/53.7/55.4/57.0$ at corresponding speeds of $273/169/124/78$ FPS. Code is publicly available at https://github.com/RT-DETRs/RT-DETRv4.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2510.25257v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13535v1cs.CV공통 태그 Object Detection, Knowledge Distillation

위치뿐만 아니라 존재 여부도 파악하기: 열린 집합 원격 탐사 시각적 그라운딩을 위한 앵커 탐침 지식 증류

Knowing Whether, Not Just Where: Anchor-Probing Distillation for Open-Set Remote Sensing Visual Grounding

원격 탐사(remote sensing)에서의 열린 집합(open-set) 시각적 그라운딩(visual grounding)은 질의된 객체가 어디에 위치하는지뿐만 아니라, 영상이 해당 질의에 대한 충분한 근거를 전혀 제공하지 않는지 여부까지 모델이 판단하도록 요구합니다. 그러나 기존의 닫힌 집합(closed-set) 그라운딩 모델은 존재하지 않는 객체에 대해서도 그럴듯한 경계 상자(bounding box)를 반환하는 경향이 있어, 위치 추정(localization) 신뢰도와 진정한 시각적 지지(Visual Support)를 모호하게 만듭니다. 본 논문에서는 열린 집합 그라운딩을 시각적 지지 학습으로 재구성하는 교사-학생(teacher-student) 프레임워크인 AnchorProbe-Distill(APD)을 소개합니다. APD는 지지되는 질의는 일관된 공간적 앵커(spatial anchor)를 유도해야 하는 반면, 지지되지 않거나 불일치하는 질의는 불안정하거나 오해의 소지가 있는 위치 추정 패턴을 생성하는 경향이 있다는 통찰에 기반합니다. 이에 따라 APD-T는 원래 질의(Original Query)를 기준 앵커(Reference Anchor)로 사용하여 질의 섭동(query perturbation)을 해석합니다. 즉 의미 보존 질의(Semantic-Preserving Queries)는 어노테이션된 타깃을 유지하고, 인접 범주 모호 질의(Near-Category Ambiguous Queries)는 신뢰할 수 있는 대안 앵커를 형성하는지 혹은 기준 앵커로 축퇴되는지에 따라 해결되며, 원거리 범주 반사실적 질의(Far-Category Counterfactual Queries)는 거부(rejection) 감독 신호를 제공합니다. 이러한 기준 인식 추론은 APD-S로 지식 증류(distillation)되어, 단일 영상-질의 쌍으로부터 통합된 위치 추정 및 거부를 가능하게 합니다. 실험 결과, APD를 통해 도출된 모델은 부재한 타깃을 거부하는 동시에 존재하는 타깃의 위치 추정 성능도 향상시킴을 보여줍니다.

arXiv:2609.26590v2cs.CV공통 태그 Object Detection, Knowledge Distillation

GTR: 효율적인 밀집 예측을 위한 게이트 토큰 순환

GTR: Gated Token Recurrence for Efficient Dense Prediction

셀프 어텐션 기반 비전 백본은 밀집 예측에서 우수한 성능을 보이지만, 전역 소프트맥스 어텐션의 이차 계산 비용은 이미지 해상도가 커질수록 효율성을 제한한다. 본 연구는 게이트 선형 어텐션, 교대하는 공간 스캔 방향, 공간적으로 강화된 SwiGLU 블록을 결합한 소프트맥스 없는 순환 비전 백본인 Gated Token Recurrence(GTR)를 제안한다. GTR은 마스크드 토큰 예측이나 중간 층 지도 없이, 선형 투영과 제곱 $\ell_2$ 손실을 통한 최종 층 패치-토큰 정렬만으로 검출 특화 DINOv3 교사 모델로부터 지식 증류된다. Objects365 검출기 사전학습을 적용한 GTR-L은 RTX~4090에서 컴파일된 FP16 실행 하에 배치 1 중앙값 지연 1.908\,ms로 COCO \texttt{val2017}에서 box AP 58.9를 달성한다. 동일 백본은 인스턴스 분할, 자세 추정, 방향 검출, 의미 분할, 단안 깊이 추정으로도 전이된다. 격리된 커널 벤치마크에서, 우리의 특화 chunkwise CUDA 연산자는 RTX~4090에서 1.6K 토큰 기준 FLA v0.5.0보다 $4.0\times$ 빠르다. DRIVE AGX Thor에서의 TensorRT 엣지 배포는 평가한 모델 전반에 걸쳐 배치 1 중앙값 지연 2.282--8.769\,ms를 달성한다. 이 결과는 순환 토큰 혼합이 고해상도 밀집 예측과 엣지 배포에서 전역 소프트맥스 어텐션에 대한 효율적인 대안이 될 수 있음을 보여준다. Project page: https://intellindust-ai-lab.github.io/projects/GTR/

arXiv:2609.24872v1cs.CV공통 태그 Object Detection, Knowledge Distillation

DTKDP: 경량화 지향 SAR 선박 검출을 위한 이중 교사 지식 증류 및 가지치기 프레임워크

DTKDP: A Dual Teacher Knowledge Distillation and Pruning Framework for Lightweight Oriented SAR Ship Detection

2단계 지향 검출기는 합성 aperture radar(SAR) 선박 검출에서 높은 위치 정확도를 달성하지만, 큰 백본, 특징 피라미드, proposal 모듈, 그리고 무거운 관심 영역(RoI) head가 배포를 방해한다. 기존 경량 SAR 선박 검출기는 일반적으로 proposal 수준의 정밀한 회전 위치 보정(refinement)이 부족한 1단계 프레임워크를 사용한다. 본 논문은 경량화 지향 SAR 선박 검출을 위한 이중 교사 지식 증류 및 가지치기(DTKDP) 프레임워크를 제안한다. DTKDP는 합성곱, 정규화, 선형 층에 학습 가능한 게이트를 도입하여 합성곱 채널과 RoI-head 뉴런을 가지치기한다. 회전 proposal 정렬(RPA)은 교사가 생성한 공유 회전 proposal 공간에서 교사와 학생(student)의 예측을 증류하며, 이중 교사 방식은 동종(homogeneous) 주 교사의 분류 및 회귀(regression) 지도와 이종(heterogeneous) 보조 교사의 보완적 분류 단서를 결합한다. SAR Ship Detection Dataset(SSDD) 및 Rotated Ship Detection Dataset in SAR Images(RSDD-SAR)에서의 실험은 DTKDP가 ResNet-50 백본을 갖춘 Oriented Region-based Convolutional Neural Network(Oriented R-CNN)와 RoI Transformer의 파라미터를 87.5–91.8% 줄이고 부동소수점 연산(FLOPs)을 75.6–79.9% 줄임을 보여준다. 평균 정밀도(AP) 및 mean average precision(mAP) 측면에서, 그 결과로 얻은 Oriented R-CNN-slim과 RoI Transformer-slim은 전체 규모 대응 모델에 근접한 정확도를 유지한다. $\mathrm{AP}_{50}$, $\mathrm{AP}_{75}$, $\mathrm{mAP}_{50:75}$, $\mathrm{mAP}_{50:95}$에 대한 상대 변화는 2.38% 감소에서 0.65% 개선까지 범위에 있다. RTMDet-tiny와 비교하면 두 데이터셋 모두에서 네 가지 지표를 0.52–27.55% 개선하며, 대표적인 지식 증류 방법들을 일관되게 능가하여 유리한 정확도–효율 트레이드오프를 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.