Technical Report for ICCV 2021 Challenge SSLAD-Track3B: Transformers Are Better Continual Learners
원문 초록
In the SSLAD-Track 3B challenge on continual learning, we propose the method of COntinual Learning with Transformer (COLT). We find that transformers suffer less from catastrophic forgetting compared to convolutional neural network. The major principle of our method is to equip the transformer based feature extractor with old knowledge distillation and head expanding strategies to compete catastrophic forgetting. In this report, we first introduce the overall framework of continual learning for object detection. Then, we analyse the key elements' effect on withstanding catastrophic forgetting in our solution. Our method achieves 70.78 mAP on the SSLAD-Track 3B challenge test set.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
위치뿐만 아니라 존재 여부도 파악하기: 열린 집합 원격 탐사 시각적 그라운딩을 위한 앵커 탐침 지식 증류
Knowing Whether, Not Just Where: Anchor-Probing Distillation for Open-Set Remote Sensing Visual Grounding
원격 탐사(remote sensing)에서의 열린 집합(open-set) 시각적 그라운딩(visual grounding)은 질의된 객체가 어디에 위치하는지뿐만 아니라, 영상이 해당 질의에 대한 충분한 근거를 전혀 제공하지 않는지 여부까지 모델이 판단하도록 요구합니다. 그러나 기존의 닫힌 집합(closed-set) 그라운딩 모델은 존재하지 않는 객체에 대해서도 그럴듯한 경계 상자(bounding box)를 반환하는 경향이 있어, 위치 추정(localization) 신뢰도와 진정한 시각적 지지(Visual Support)를 모호하게 만듭니다. 본 논문에서는 열린 집합 그라운딩을 시각적 지지 학습으로 재구성하는 교사-학생(teacher-student) 프레임워크인 AnchorProbe-Distill(APD)을 소개합니다. APD는 지지되는 질의는 일관된 공간적 앵커(spatial anchor)를 유도해야 하는 반면, 지지되지 않거나 불일치하는 질의는 불안정하거나 오해의 소지가 있는 위치 추정 패턴을 생성하는 경향이 있다는 통찰에 기반합니다. 이에 따라 APD-T는 원래 질의(Original Query)를 기준 앵커(Reference Anchor)로 사용하여 질의 섭동(query perturbation)을 해석합니다. 즉 의미 보존 질의(Semantic-Preserving Queries)는 어노테이션된 타깃을 유지하고, 인접 범주 모호 질의(Near-Category Ambiguous Queries)는 신뢰할 수 있는 대안 앵커를 형성하는지 혹은 기준 앵커로 축퇴되는지에 따라 해결되며, 원거리 범주 반사실적 질의(Far-Category Counterfactual Queries)는 거부(rejection) 감독 신호를 제공합니다. 이러한 기준 인식 추론은 APD-S로 지식 증류(distillation)되어, 단일 영상-질의 쌍으로부터 통합된 위치 추정 및 거부를 가능하게 합니다. 실험 결과, APD를 통해 도출된 모델은 부재한 타깃을 거부하는 동시에 존재하는 타깃의 위치 추정 성능도 향상시킴을 보여줍니다.
GRAFT: 지속적 교사 지식 증류를 통한 응집형 파운데이션 모델의 점진적 확장
GRAFT: Growing Agglomerative Foundation Models via Continual Teacher Distillation
DINOv2, SigLIP2, MASt3R와 같은 비전 파운데이션 모델들은 서로 다른 사전학습(pre-training) 목표를 통해 상호보완적인 능력을 발전시키지만, 이들의 지식은 개별적이고 특화된 모델 전반에 여전히 분산되어 있습니다. 다중 교사 지식 증류(multi-teacher knowledge distillation)는 이러한 능력들을 단일 응집형 백본(backbone)으로 통합하는 경로를 제공하지만, 기존 접근 방식들은 고정된 교사 집합을 가정하며, 새로운 교사를 통합하려면 전체 교사 집합에 대해 비용이 많이 드는 결합 증류를 반복해야 합니다. 본 논문에서는 통합 백본이 개방형 파운데이션 모델 시퀀스로부터 능력을 점진적으로 습득할 수 있도록 하는 지속적 다중 교사 증류 프레임워크인 GRAFT를 소개합니다. 새로운 교사가 추가되면 GRAFT는 이전에 증류된 모델을 교사로 취급하여 학습된 능력을 보존하는 동시에, 현재의 학생 모델은 이전 모델과 새로 들어온 교사 모두로부터 공동으로 학습합니다. 나아가 이종 교사들의 호환되지 않는 표현 기하구조를 조율하기 위해, 공유 인코더에 대한 독립적인 판독 권한을 각 교사에 부여하는 교사별 판독 토큰(Teacher Specific Readout Tokens)과 함께, 원시 특징(feature) 값 대신 이미지-텍스트 유사도 구조를 매칭하여 비전-언어 교사를 정렬하는 기하학 불가지론적 관계 손실(Geometry Agnostic Relational Loss)을 도입합니다. 본 연구는 이미지 이해, 2D 조밀 예측, 3D 인간 자세 추정, 3D 비전, 비전-언어 등 5개 도메인을 통합하는 단일의 지속적 확장 가능 백본인 GRAFT 모델을 제공하며, 전체 재증류 대신 단 한 번의 증류 비용만으로 각각의 새로운 능력을 습득하면서 이들 전반에 걸쳐 강력한 성능을 발휘합니다.
GTR: 효율적인 밀집 예측을 위한 게이트 토큰 순환
GTR: Gated Token Recurrence for Efficient Dense Prediction
셀프 어텐션 기반 비전 백본은 밀집 예측에서 우수한 성능을 보이지만, 전역 소프트맥스 어텐션의 이차 계산 비용은 이미지 해상도가 커질수록 효율성을 제한한다. 본 연구는 게이트 선형 어텐션, 교대하는 공간 스캔 방향, 공간적으로 강화된 SwiGLU 블록을 결합한 소프트맥스 없는 순환 비전 백본인 Gated Token Recurrence(GTR)를 제안한다. GTR은 마스크드 토큰 예측이나 중간 층 지도 없이, 선형 투영과 제곱 $\ell_2$ 손실을 통한 최종 층 패치-토큰 정렬만으로 검출 특화 DINOv3 교사 모델로부터 지식 증류된다. Objects365 검출기 사전학습을 적용한 GTR-L은 RTX~4090에서 컴파일된 FP16 실행 하에 배치 1 중앙값 지연 1.908\,ms로 COCO \texttt{val2017}에서 box AP 58.9를 달성한다. 동일 백본은 인스턴스 분할, 자세 추정, 방향 검출, 의미 분할, 단안 깊이 추정으로도 전이된다. 격리된 커널 벤치마크에서, 우리의 특화 chunkwise CUDA 연산자는 RTX~4090에서 1.6K 토큰 기준 FLA v0.5.0보다 $4.0\times$ 빠르다. DRIVE AGX Thor에서의 TensorRT 엣지 배포는 평가한 모델 전반에 걸쳐 배치 1 중앙값 지연 2.282--8.769\,ms를 달성한다. 이 결과는 순환 토큰 혼합이 고해상도 밀집 예측과 엣지 배포에서 전역 소프트맥스 어텐션에 대한 효율적인 대안이 될 수 있음을 보여준다. Project page: https://intellindust-ai-lab.github.io/projects/GTR/
MicroQonv: 학습 및 추론에서 효율적인 마이크로스케일링을 위한 합성곱 텐서 재구성
MicroQonv: Reshaping Convolution Tensors for Efficient Microscaling in Training and Inference
마이크로스케일링(microscaling) 양자화(quantization) 기법은 완전 정밀도(full-precision)에 가까운 정확도를 유지하면서 신경망(neural network) 파라미터를 8비트 이하로 표현하기 위해 점점 더 널리 사용되고 있습니다. 그러나 이러한 방법을 합성곱(convolution) 계층에 효율적으로 적용하는 것은 간단하지 않습니다. 순진한(naive) 접근법은 완전 정밀도 가중치와 활성화를 연산 장치로 전송하고 각 텐서(tensor)를 두 번 양자화하여 예상보다 훨씬 더 많은 메모리 이동을 초래합니다. 추가적인 오버헤드는 양자화 전에 적용되는 im2col 변환으로 인해 크기가 크게 증가하는 활성화 텐서에서 발생합니다. 우리는 각 텐서를 한 번만 양자화하고, 변형된 버전의 im2col인 channel-batch-first im2col을 적용하기 전에 활성화 텐서를 양자화함으로써 합성곱 계층의 순전파 및 역전파 연산과 마이크로스케일링을 결합하는 방법인 MicroQonv를 제안합니다. MicroQonv는 무시할 수 있는 수준의 정확도 손실만으로 가중치와 기울기(gradient)에 대한 양자화 비용을 $\times2$배, 활성화에 대해서는 최대 $\times9$배 줄입니다. 완전 정밀도 대상과 비교하여 메모리 이동과 스토리지를 최대 $\times7.53$배 줄입니다. 이러한 방식으로 MicroQonv는 최첨단 객체 검출(object detection) 모델인 YOLOV8nano에서 마이크로스케일링 양자화된 활성화 메모리 이동을 $\times3.5$배, YOLOV26nano에서는 $\times2.2$배 감소시킵니다. 또한 엣지 환경의 연속 학습(continual learning)을 위한 양자화 잠재 리플레이(quantized latent replay) 전략에서 4비트 마이크로스케일링을 가능하게 하여 정확도를 +5.7%에서 +11%까지 향상시킵니다.
ACLArena: 다단계 사후 학습에서의 에이전트 지속 학습
ACLArena: Agent Continue Learning in Multi-stage Post-training
산업 배포를 위한 범용 에이전트를 구축하려면 여러 역량을 통합해야 하며, 각 역량은 일반적으로 서로 다른 학습 단계에서 습득된다. 그러나 현재 에이전트 지속 학습(Agent Continual Learning, ACL)에 대해 잘 정립된 방법론은 없으며, 기존 통합 패러다임 간 트레이드오프에 대한 이해도 부족하다. 이 공백을 메우기 위해 ACL을 포괄적으로 연구·분석·평가하기 위한 프레임워크인 ACLArena를 제안한다. 우리는 먼저 순차적 학습 파이프라인을 구축하고, 모델 수준과 토큰 수준이라는 두 상보적 관점에서 망각과 일반화의 메커니즘을 설명하는 심층 분석을 수행한다. 이 분석을 바탕으로, 다중 교사 온-정책 지식 증류, 자기 증류 기반 미세조정, 모델 병합을 체계적으로 비교하여 이전에 학습한 역량을 회복하면서 새로 습득한 역량을 보존하는 능력을 평가한다. 광범위한 실험을 통해 단계 간 역량이 어떻게 전이되는지에 대한 상세한 이해를 얻는다. 마지막으로, 고품질 궤적에 대한 오프라인 리플레이와 강화학습(RL)을 통해 각각 특화된 다중 LoRA 전문가의 라우팅 네트워크를 결합한 새로운 ACL 방법론을 제안하여, 여러 도메인에 걸친 학습 능력을 크게 향상시킨다. 추론 및 에이전트적 과업 4가지에 대한 포괄적 실험을 도메인 내 및 도메인 외 설정 모두에서 평가한 결과, 우리 분석의 가치와 접근법의 효과가 입증된다.
DTKDP: 경량화 지향 SAR 선박 검출을 위한 이중 교사 지식 증류 및 가지치기 프레임워크
DTKDP: A Dual Teacher Knowledge Distillation and Pruning Framework for Lightweight Oriented SAR Ship Detection
2단계 지향 검출기는 합성 aperture radar(SAR) 선박 검출에서 높은 위치 정확도를 달성하지만, 큰 백본, 특징 피라미드, proposal 모듈, 그리고 무거운 관심 영역(RoI) head가 배포를 방해한다. 기존 경량 SAR 선박 검출기는 일반적으로 proposal 수준의 정밀한 회전 위치 보정(refinement)이 부족한 1단계 프레임워크를 사용한다. 본 논문은 경량화 지향 SAR 선박 검출을 위한 이중 교사 지식 증류 및 가지치기(DTKDP) 프레임워크를 제안한다. DTKDP는 합성곱, 정규화, 선형 층에 학습 가능한 게이트를 도입하여 합성곱 채널과 RoI-head 뉴런을 가지치기한다. 회전 proposal 정렬(RPA)은 교사가 생성한 공유 회전 proposal 공간에서 교사와 학생(student)의 예측을 증류하며, 이중 교사 방식은 동종(homogeneous) 주 교사의 분류 및 회귀(regression) 지도와 이종(heterogeneous) 보조 교사의 보완적 분류 단서를 결합한다. SAR Ship Detection Dataset(SSDD) 및 Rotated Ship Detection Dataset in SAR Images(RSDD-SAR)에서의 실험은 DTKDP가 ResNet-50 백본을 갖춘 Oriented Region-based Convolutional Neural Network(Oriented R-CNN)와 RoI Transformer의 파라미터를 87.5–91.8% 줄이고 부동소수점 연산(FLOPs)을 75.6–79.9% 줄임을 보여준다. 평균 정밀도(AP) 및 mean average precision(mAP) 측면에서, 그 결과로 얻은 Oriented R-CNN-slim과 RoI Transformer-slim은 전체 규모 대응 모델에 근접한 정확도를 유지한다. $\mathrm{AP}_{50}$, $\mathrm{AP}_{75}$, $\mathrm{mAP}_{50:75}$, $\mathrm{mAP}_{50:95}$에 대한 상대 변화는 2.38% 감소에서 0.65% 개선까지 범위에 있다. RTMDet-tiny와 비교하면 두 데이터셋 모두에서 네 가지 지표를 0.52–27.55% 개선하며, 대표적인 지식 증류 방법들을 일관되게 능가하여 유리한 정확도–효율 트레이드오프를 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.