arXiv:2209.03603

nVFNet-RDC: Replay and Non-Local Distillation Collaboration for Continual Object Detection

Jinxiang Lai, Wenlong Liu, Jun Liu

제출 2022-09-08

원문 초록

Continual Learning (CL) focuses on developing algorithms with the ability to adapt to new environments and learn new skills. This very challenging task has generated a lot of interest in recent years, with new solutions appearing rapidly. In this paper, we propose a nVFNet-RDC approach for continual object detection. Our nVFNet-RDC consists of teacher-student models, and adopts replay and feature distillation strategies. As the 1st place solutions, we achieve 55.94% and 54.65% average mAP on the 3rd CLVision Challenge Track 2 and Track 3, respectively.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28358v1cs.AR공통 태그 Object Detection, Continual Learning

MicroQonv: 학습 및 추론에서 효율적인 마이크로스케일링을 위한 합성곱 텐서 재구성

MicroQonv: Reshaping Convolution Tensors for Efficient Microscaling in Training and Inference

마이크로스케일링(microscaling) 양자화(quantization) 기법은 완전 정밀도(full-precision)에 가까운 정확도를 유지하면서 신경망(neural network) 파라미터를 8비트 이하로 표현하기 위해 점점 더 널리 사용되고 있습니다. 그러나 이러한 방법을 합성곱(convolution) 계층에 효율적으로 적용하는 것은 간단하지 않습니다. 순진한(naive) 접근법은 완전 정밀도 가중치와 활성화를 연산 장치로 전송하고 각 텐서(tensor)를 두 번 양자화하여 예상보다 훨씬 더 많은 메모리 이동을 초래합니다. 추가적인 오버헤드는 양자화 전에 적용되는 im2col 변환으로 인해 크기가 크게 증가하는 활성화 텐서에서 발생합니다. 우리는 각 텐서를 한 번만 양자화하고, 변형된 버전의 im2col인 channel-batch-first im2col을 적용하기 전에 활성화 텐서를 양자화함으로써 합성곱 계층의 순전파 및 역전파 연산과 마이크로스케일링을 결합하는 방법인 MicroQonv를 제안합니다. MicroQonv는 무시할 수 있는 수준의 정확도 손실만으로 가중치와 기울기(gradient)에 대한 양자화 비용을 $\times2$배, 활성화에 대해서는 최대 $\times9$배 줄입니다. 완전 정밀도 대상과 비교하여 메모리 이동과 스토리지를 최대 $\times7.53$배 줄입니다. 이러한 방식으로 MicroQonv는 최첨단 객체 검출(object detection) 모델인 YOLOV8nano에서 마이크로스케일링 양자화된 활성화 메모리 이동을 $\times3.5$배, YOLOV26nano에서는 $\times2.2$배 감소시킵니다. 또한 엣지 환경의 연속 학습(continual learning)을 위한 양자화 잠재 리플레이(quantized latent replay) 전략에서 4비트 마이크로스케일링을 가능하게 하여 정확도를 +5.7%에서 +11%까지 향상시킵니다.

arXiv:2607.23981v1cs.CV공통 태그 object-detection, Continual Learning

오픈 월드 객체 검출을 위한 멀티모달 의미-확률적 객체성

Multimodal Semantic-Probabilistic Objectness for Open World Object Detection

오픈 월드 객체 검출(OWOD)은 검출기가 알려진 범주를 인식하고, 보지 못한 범주의 이름 없는 객체를 발견하며, 새로 주석이 달린 클래스를 점진적으로 학습해야 한다. PROB는 디코더-쿼리 공간에서 클래스에 구애받지 않는 확률적 객체성(objectness)을 모델링하여 미지 객체 발견을 개선한다. 그러나 시각적 객체성만으로는 객체 같은 쿼리가 어려운 알려진 인스턴스, 보지 못한 범주의 객체, 또는 배경 잡음에 해당하는지 판별할 수 없어, 알려진-미지(known-unknown) 결정 경계가 모호해진다. 우리는 MSPO를 제안한다. 이는 PROB에 작업 인식(task-aware) 알려진 범주 언어 사전(prior)을 보강하는 경량 의미 보정(semantic calibration) 프레임워크로, 검출기 아키텍처와 점진적 학습 프로토콜은 그대로 유지한다. 현재 알려진 각 범주에 대해 MSPO는 범주 속성, 시각적 외형, 전형적인 장면, 기능적 용도를 포괄하는 확장 텍스트 설명을 구성하고, 고정(frozen) CLIP 텍스트 인코더로 이를 인코딩한다. 디코더 쿼리 특징은 동일한 의미 공간으로 투영되어, 현재 알려진 범주 의미로부터의 지지(support)를 추정한다. 이 의미적 증거는 PROB의 시각적 객체성과 융합되어, OWOD를 개방 어휘(open-vocabulary) 분류로 바꾸지 않고 알려진/미지 예측을 보정한다. 중요하게, MSPO는 미래 범주 이름을 절대 사용하지 않으며, 평가 동안 모든 보지 못한 범주는 이름 없는 상태로 유지된다. M-OWODB 및 S-OWODB에서의 실험은 MSPO가 강력한 PROB 기준선의 주요 집계 지표를 개선하면서 경쟁력 있는 미지 재현율을 유지함을 보여준다. 또한 초기 미지 혼동 지표를 개선하고 PASCAL VOC 최종 mAP를 최대 2.7 포인트 향상시킨다. 이러한 결과는 표준 OWOD 설정에서 알려진 범주 언어 의미가 확률적 객체성에 대한 효과적인 보정 신호를 제공함을 보여준다.

arXiv:2607.21243v1cs.CV공통 태그 object-detection, Object Detection

탐지기는 잘못된 것을 학습한다: 물리적으로 실현 가능한 공격에 대항하는 단축 경로 저항적 적대적 학습

Detectors Learn the Wrong Thing: Shortcut-Resistant Adversarial Training Against Physically Realizable Attacks

AI 기반 시각 지각 시스템이 지능형 교통 인프라 및 자율주행 차량 관련 응용에 점점 더 배치되고 있다. 그러나 물리적으로 실현 가능한 적대적 외형은 이러한 안전성(safety)에 중요한 시스템에 상당한 신뢰성 과제를 제기한다. 적대적 학습(adversarial training)은 효과적이지만, 적대적 텍스처와 양성 person 인스턴스 간의 반복적 공발생은 탐지기가 텍스처 자체를 객체 존재의 증거로 취급하게 만들어 패치 텍스처 단축 경로(shortcut)를 형성할 수 있다. 탐지기는 그러면 텍스처를 대상에 대한 증거로 취급하여, 텍스처만 있는 입력에서 오탐을 유발하고 교차 공격 일반화를 약화시킬 수 있다. 우리는 탐지기가 적대적 텍스처를 독립적인 판단 단서로 사용하는 것을 방지하는 인스턴스 수준 대조(contrastive) 적대적 학습 프레임워크인 InsCAT를 제안한다. SICA는 적대적 person 특징(feature)을 대응하는 clean 특징과 정렬하고 텍스처만 있는 음성(negative) 샘플과 분리하며, ROPO와 Guard는 온라인 공격 압력을 유지하고 학습을 조율한다. 렌더링된 nuScenes, INRIAPerson, 인쇄 의류, 세 가지 탐지기 계열에서 독립적으로 생성된 8개의 공격 텍스처를 평가한다. InsCAT은 렌더링된 nuScenes에서 평균 공격 AP 82.3%를 달성하여, 가장 강한 기준선보다 11.1포인트 높다. AT-Mix 대비 텍스처 FPR은 46.9%에서 7.3%로 감소한다. 물리적 테스트는 F1 점수 96.6%와 FPR 1.8%를 산출한다. 별도로 학습된 탐지기에서의 일관된 성능 향상은 직접 추론으로 아키텍처 전반에 걸친 적용 가능성을 보여준다. 결과는 견고한(robust) 물리적 탐지가 대상 관련 증거를 보존하면서 적대적 텍스처가 독립적인 판단 단서가 되는 것을 방지하는 데 달려 있음을 보여준다.

arXiv:2607.14560v1cs.CV공통 태그 Object Detection, Continual Learning

장기 증분 3D 객체 검출에서 모델 망각 주기의 돌파

Breaking the Model Forgetting Cycle in Long-Incremental 3D Object Detection

증분 3D 객체 검출은 검출기가 순차적으로 도착하는 데이터에 대해 새로운 객체 클래스를 학습하면서 이전에 학습한 클래스를 기억해야 한다. 이전 방법들은 주로 의사 레이블링(pseudo-labeling)에 기반하여 짧은 증분 단계에서는 합리적인 성능을 보이지만, 긴 증분 시퀀스를 다룰 때 여전히 심각한 모델 망각을 겪는다. 우리는 이 실패를 조사하여 해로운 자기 강화 주기를 밝혀냈다: 새 클래스의 데이터 분포 이동(distribution shift)이 구 클래스에 대한 모델 망각을 유발하고, 이는 다시 의사 레이블링의 누적 오류를 만들어 모델 저하를 악화시킨다. 이 문제를 해결하기 위해 인간의 학습 과정에서 영감을 얻어 Learning-Dynamics-driven Memory and Review(LDMR) 프레임워크를 제안한다. LDMR은 주기적인 학습 체크포인트에서 클래스별 검출 품질을 모니터링하고, 이러한 학습 역학(learning-dynamics) 신호를 이용해 두 가지 혁신적 메커니즘을 구동한다. 즉, (i) 각 증분 단계를 여러 하위 단계의 학습으로 나누고 가장 많이 잊힌 객체의 기억에 집중하는 인간과 유사한 단계 내 복습(intra-stage review), (ii) 장면 학습 가능성(scene learnability)과 다양성(diversity)을 함께 고려하여 연속된 두 단계 간 지식을 전달하기 위해 메모리 뱅크를 진화시키는 장면 인식(scene-aware) 단계 간 메모리 진화(cross-stage memory evolution)이다. SUN RGB-D 및 ScanNetV2 실내 벤치마크에서 여러 장기 증분 프로토콜에 걸친 광범위한 실험을 통해 LDMR이 모델 망각을 실질적으로 완화하고 모든 baseline을 뚜렷한 마진으로 능가함을 보였다. 코드는 https://github.com/qianpeisheng/LDMR 에서 이용할 수 있다.

arXiv:2607.13452v1cs.CV공통 태그 Object Detection, Continual Learning

점진적 객체 검출을 위한 공생 기반 지식 증류

Symbiosis-Inspired Knowledge Distillation for Incremental Object Detection

점진적 객체 검출(IOD)은 이전에 습득한 지식을 유지하면서 검출기를 새로운 범주로 확장하는 것을 목표로 한다. 기존 방법들은 종종 클래스 점진적 학습 관점을 채택하여 결정 경계를 선명히 하기 위해 특징 공간을 분리한다. 그러나 이러한 분리 지향 패러다임은 공동 출현과 가림이 공유 표현으로부터 이익을 얻는 공간적·의미적 종속성을 도입하는 객체 검출에서의 객체 공생을 간과할 수 있다. 이러한 종속성을 무시하면 공유 표현이 왜곡되고, 기존 클래스와 새 클래스 간 혼동이 심화되며, 치명적 망각이 가속된다. 이를 해결하기 위해, 우리는 두 가지 보완적 수준에서 객체 공생을 명시적으로 활용하는 공생 기반 지식 증류(SIKD)를 제안한다. 공간 공생 지식 증류(SpSD)는 기존 모델이 새 작업의 객체에 높은 겹침으로 반응하는 공생 영역에 초점을 맞춘다. 이는 일반화 가능한 기존 클래스 단서를 보존하고, 클래스별 바이어스와 중복을 억제하며, 슬롯 정렬된 감독으로 대응되는 공간 위치에서 정제된 증거를 새 모델로 증류한다. 의미 공생 지식 증류(SeSD)는 기존 클래스에 대한 신뢰도 가중 프로토타입을 형성하고 기존 클래스 로짓에 대한 클래스 간 소프트 순위를 정렬하여 클래스 수준 구조를 유지하며, 이는 적응 과정 동안 의미 토폴로지를 안정화한다. 광범위한 실험은 제안 방법의 효과와 우수성을 입증한다.

arXiv:2607.10605v1cs.CV공통 태그 object-detection, Object Detection

심층 학습을 활용한 드론 기반 실시간 엔드투엔드 사람 탐지 프레임워크

End-to-End Real-Time Drone-Based Person Detection Framework Using Deep Learning

최근 몇 년간 무인 항공기(UAV) 또는 드론은 보안, 수색 및 구조(SAR), 국경 감시 등의 분야에서 빠르게 활용되고 있다. 기존의 모니터링 프레임워크는 고도 변화로 인해 대상이 큰 스케일 변동을 겪을 때 탐지 일관성을 유지하는 데 어려움을 겪는 경우가 많아, 중요한 정보 공백이 발생한다. 이 문제를 해결하기 위해 본 연구는 무선 실시간 드론 영상 피드를 통해 대상을 탐지하는 통합 실시간 탐지 파이프라인을 제안한다. YOLOv8-nano 아키텍처를 기반으로 다양한 비행 고도에서의 탐지 성능을 파악하기 위해 광범위한 비행 실험을 수행하였다. VisDrone2019 데이터셋으로 학습한 YOLOv8-nano 모델은 정밀도, 재현율, mAP, mAP50:95에서 각각 57.4%, 41%, 44.8%, 20.3%를 달성하였다. 실제 환경에서의 시연을 통해, 해당 알고리즘은 16~25미터 고도 구간에서 거의 완전한 탐지 신뢰도를 달성하며 탐지 프레임 레이트가 지속적으로 41 FPS 이상을 유지하고 최대 50 FPS에 도달함이 확인되었다. 본 연구의 목표는 무선 전송을 통해 항공 플랫폼에서 실시간 사람 탐지를 가능하게 하는 것이다. 이 접근 방식은 다양한 스케일의 대상 식별과 항공 관측 중 근사 정확한 위치 추정이라는 이중 과제를 효과적으로 해결한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.