Adaptive Instance Distillation for Object Detection in Autonomous Driving
원문 초록
In recent years, knowledge distillation (KD) has been widely used to derive efficient models. Through imitating a large teacher model, a lightweight student model can achieve comparable performance with more efficiency. However, most existing knowledge distillation methods are focused on classification tasks. Only a limited number of studies have applied knowledge distillation to object detection, especially in time-sensitive autonomous driving scenarios. In this paper, we propose Adaptive Instance Distillation (AID) to selectively impart teacher's knowledge to the student to improve the performance of knowledge distillation. Unlike previous KD methods that treat all instances equally, our AID can attentively adjust the distillation weights of instances based on the teacher model's prediction loss. We verified the effectiveness of our AID method through experiments on the KITTI and the COCO traffic datasets. The results show that our method improves the performance of state-of-the-art attention-guided and non-local distillation methods and achieves better distillation results on both single-stage and two-stage detectors. Compared to the baseline, our AID led to an average of 2.7% and 2.1% mAP increases for single-stage and two-stage detectors, respectively. Furthermore, our AID is also shown to be useful for self-distillation to improve the teacher model's performance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Snow Removal for LiDAR Point Clouds with Spatio-temporal Conditional Random Fields
RCFusion: Fusing 4-D Radar and Camera With Bird’s-Eye View Features for 3-D Object Detection
Real-time Collision Risk Estimation based on Stochastic Reachability Spaces
위치뿐만 아니라 존재 여부도 파악하기: 열린 집합 원격 탐사 시각적 그라운딩을 위한 앵커 탐침 지식 증류
Knowing Whether, Not Just Where: Anchor-Probing Distillation for Open-Set Remote Sensing Visual Grounding
원격 탐사(remote sensing)에서의 열린 집합(open-set) 시각적 그라운딩(visual grounding)은 질의된 객체가 어디에 위치하는지뿐만 아니라, 영상이 해당 질의에 대한 충분한 근거를 전혀 제공하지 않는지 여부까지 모델이 판단하도록 요구합니다. 그러나 기존의 닫힌 집합(closed-set) 그라운딩 모델은 존재하지 않는 객체에 대해서도 그럴듯한 경계 상자(bounding box)를 반환하는 경향이 있어, 위치 추정(localization) 신뢰도와 진정한 시각적 지지(Visual Support)를 모호하게 만듭니다. 본 논문에서는 열린 집합 그라운딩을 시각적 지지 학습으로 재구성하는 교사-학생(teacher-student) 프레임워크인 AnchorProbe-Distill(APD)을 소개합니다. APD는 지지되는 질의는 일관된 공간적 앵커(spatial anchor)를 유도해야 하는 반면, 지지되지 않거나 불일치하는 질의는 불안정하거나 오해의 소지가 있는 위치 추정 패턴을 생성하는 경향이 있다는 통찰에 기반합니다. 이에 따라 APD-T는 원래 질의(Original Query)를 기준 앵커(Reference Anchor)로 사용하여 질의 섭동(query perturbation)을 해석합니다. 즉 의미 보존 질의(Semantic-Preserving Queries)는 어노테이션된 타깃을 유지하고, 인접 범주 모호 질의(Near-Category Ambiguous Queries)는 신뢰할 수 있는 대안 앵커를 형성하는지 혹은 기준 앵커로 축퇴되는지에 따라 해결되며, 원거리 범주 반사실적 질의(Far-Category Counterfactual Queries)는 거부(rejection) 감독 신호를 제공합니다. 이러한 기준 인식 추론은 APD-S로 지식 증류(distillation)되어, 단일 영상-질의 쌍으로부터 통합된 위치 추정 및 거부를 가능하게 합니다. 실험 결과, APD를 통해 도출된 모델은 부재한 타깃을 거부하는 동시에 존재하는 타깃의 위치 추정 성능도 향상시킴을 보여줍니다.
도메인 변화 환경에서 보행자 검출을 위한 신뢰도 통제 기반 설명가능 인공지능(XAI) 감사
Confidence-Controlled XAI Auditing for Pedestrian Detection under Domain Shift
지능형 차량의 인지 모델에서 설명가능성(explainability)이 점차 요구되고 있으나, 주행 도메인 변화(domain shift) 환경에서도 설명이 충실도(faithfulness)를 유지하는지는 여전히 명확히 밝혀지지 않았습니다. 본 연구는 관심 영역(ROI) 기반 D-Deletion, 고정 신뢰도 3분위수, 순위 기반 검정, 부트스트랩 신뢰구간 및 Holm 교정을 활용하여 PIE 및 JAAD 데이터셋에 걸쳐 고정된 YOLOv8s 보행자 검출기의 사후(post-hoc) 설명을 감사합니다. 감사 결과, 삭제 기반 충실도는 설명 생성 시점의 검출 강도(detection strength)와 강하게 결합되어 있으며(D-RISE의 스피어만 상관계수 0.70~0.82), 이로 인해 단순한 신뢰도 계층화 비교는 신뢰하기 어려움이 드러났습니다. 고정된 f0 빈(bin) 내에서 검출 강도를 통제한 후에도 D-RISE 충실도는 중심 f0 범위에서 도메인에 따라 달라졌으며, PIE가 JAAD보다 더 높은 D-Deletion 및 Holm 보정 유의성을 나타냈습니다. 비섭동(non-perturbative) 기반 EigenCAM 기준선은 D-RISE보다 충실도가 낮았으나 마찬가지로 점수 결합 현상을 보여, 이러한 효과가 D-RISE에만 국한되지 않고 삭제 기반 평가 설정과 연관되어 있음을 시사합니다. 이러한 결과는 도메인 변화 환경의 안전 필수(safety-critical) 인지 시스템에서 신뢰도를 통제한 XAI 감사가 필요함을 시사합니다.
Lang3DSeg: 포인트 트랜스포머 기반의 주석 없는 오픈 보캐블러리 3D 분할
Lang3DSeg: Annotation-Free Open-Vocabulary 3D Segmentation with Point Transformers
정확한 3D 시맨틱 인지는 안전한 자율 주행에 매우 중요합니다. 그러나 지도학습 기반 LiDAR 분할(segmentation)은 닫힌 분류 체계(closed taxonomy)와 포인트별 수동 주석(annotation) 비용에 여전히 얽매여 있습니다. 오픈 보캐블러리(open-vocabulary) 방식은 2D 비전-언어 모델(vision-language model)의 출력을 LiDAR에 투영하고 이를 3D 네트워크로 증류함으로써 이러한 비용을 피합니다. 이러한 방식들은 거의 전적으로 복셀 기반 희소 합성곱(sparse convolution)에 의존하며, 포인트 트랜스포머(point transformer)는 지금까지 3D 데이터가 조밀하고 경계가 제한된 실내 환경으로 국한되어 왔습니다. 본 논문에서는 포인트 트랜스포머를 실외 3D LiDAR의 주석 없는(annotation-free) 오픈 보캐블러리 분할 백본으로 확립하고, 기하학적 사전학습(pre-training) 없이 처음부터 학습(training)하는 Lang3DSeg를 제시합니다. 이러한 학습 패러다임은 2D-to-3D 레이블 투영에 내재된 노이즈를 해결해야만 합니다. 구체적으로 단순한 투영은 깊이 모호성(depth ambiguity)으로 인해 물체 뒤에 있는 포인트에 해당 물체의 시맨틱 레이블이 잘못 할당되는 문제가 자주 발생합니다. 따라서 본 연구에서는 명시적인 클래스 우선순위 규칙을 사용해 마스크를 합성하고, 투영된 각 인스턴스를 깊이 분포의 첫 번째 간극에서 잘라냄으로써(truncate), 정합된 시퀀스 전체에 걸쳐 평균을 내는 대신 투영 오류를 직접적으로 보정합니다. Lang3DSeg는 nuScenes 검증(validation)에서 52.8% mIoU, SemanticKITTI에서 41.4%를 달성하여 두 벤치마크 모두에서 발표된 주석 없는 방법 중 가장 높은 성능을 기록했습니다. 모든 3D 시맨틱 분할은 단일 LiDAR 스윕(sweep)에서 수행되며, 추론(inference)은 비전-언어 모델을 실행하지 않고 실시간으로 동작합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.