Knowledge Distillation for 6D Pose Estimation by Aligning Distributions of Local Predictions
원문 초록
Knowledge distillation facilitates the training of a compact student network by using a deep teacher one. While this has achieved great success in many tasks, it remains completely unstudied for image-based 6D object pose estimation. In this work, we introduce the first knowledge distillation method driven by the 6D pose estimation task. To this end, we observe that most modern 6D pose estimation frameworks output local predictions, such as sparse 2D keypoints or dense representations, and that the compact student network typically struggles to predict such local quantities precisely. Therefore, instead of imposing prediction-to-prediction supervision from the teacher to the student, we propose to distill the teacher's \emph{distribution} of local predictions into the student network, facilitating its training. Our experiments on several benchmarks show that our distillation method yields state-of-the-art results with different compact student models and for both keypoint-based and dense prediction-based architectures.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GRAFT: 지속적 교사 지식 증류를 통한 응집형 파운데이션 모델의 점진적 확장
GRAFT: Growing Agglomerative Foundation Models via Continual Teacher Distillation
DINOv2, SigLIP2, MASt3R와 같은 비전 파운데이션 모델들은 서로 다른 사전학습(pre-training) 목표를 통해 상호보완적인 능력을 발전시키지만, 이들의 지식은 개별적이고 특화된 모델 전반에 여전히 분산되어 있습니다. 다중 교사 지식 증류(multi-teacher knowledge distillation)는 이러한 능력들을 단일 응집형 백본(backbone)으로 통합하는 경로를 제공하지만, 기존 접근 방식들은 고정된 교사 집합을 가정하며, 새로운 교사를 통합하려면 전체 교사 집합에 대해 비용이 많이 드는 결합 증류를 반복해야 합니다. 본 논문에서는 통합 백본이 개방형 파운데이션 모델 시퀀스로부터 능력을 점진적으로 습득할 수 있도록 하는 지속적 다중 교사 증류 프레임워크인 GRAFT를 소개합니다. 새로운 교사가 추가되면 GRAFT는 이전에 증류된 모델을 교사로 취급하여 학습된 능력을 보존하는 동시에, 현재의 학생 모델은 이전 모델과 새로 들어온 교사 모두로부터 공동으로 학습합니다. 나아가 이종 교사들의 호환되지 않는 표현 기하구조를 조율하기 위해, 공유 인코더에 대한 독립적인 판독 권한을 각 교사에 부여하는 교사별 판독 토큰(Teacher Specific Readout Tokens)과 함께, 원시 특징(feature) 값 대신 이미지-텍스트 유사도 구조를 매칭하여 비전-언어 교사를 정렬하는 기하학 불가지론적 관계 손실(Geometry Agnostic Relational Loss)을 도입합니다. 본 연구는 이미지 이해, 2D 조밀 예측, 3D 인간 자세 추정, 3D 비전, 비전-언어 등 5개 도메인을 통합하는 단일의 지속적 확장 가능 백본인 GRAFT 모델을 제공하며, 전체 재증류 대신 단 한 번의 증류 비용만으로 각각의 새로운 능력을 습득하면서 이들 전반에 걸쳐 강력한 성능을 발휘합니다.
GTR: 효율적인 밀집 예측을 위한 게이트 토큰 순환
GTR: Gated Token Recurrence for Efficient Dense Prediction
셀프 어텐션 기반 비전 백본은 밀집 예측에서 우수한 성능을 보이지만, 전역 소프트맥스 어텐션의 이차 계산 비용은 이미지 해상도가 커질수록 효율성을 제한한다. 본 연구는 게이트 선형 어텐션, 교대하는 공간 스캔 방향, 공간적으로 강화된 SwiGLU 블록을 결합한 소프트맥스 없는 순환 비전 백본인 Gated Token Recurrence(GTR)를 제안한다. GTR은 마스크드 토큰 예측이나 중간 층 지도 없이, 선형 투영과 제곱 $\ell_2$ 손실을 통한 최종 층 패치-토큰 정렬만으로 검출 특화 DINOv3 교사 모델로부터 지식 증류된다. Objects365 검출기 사전학습을 적용한 GTR-L은 RTX~4090에서 컴파일된 FP16 실행 하에 배치 1 중앙값 지연 1.908\,ms로 COCO \texttt{val2017}에서 box AP 58.9를 달성한다. 동일 백본은 인스턴스 분할, 자세 추정, 방향 검출, 의미 분할, 단안 깊이 추정으로도 전이된다. 격리된 커널 벤치마크에서, 우리의 특화 chunkwise CUDA 연산자는 RTX~4090에서 1.6K 토큰 기준 FLA v0.5.0보다 $4.0\times$ 빠르다. DRIVE AGX Thor에서의 TensorRT 엣지 배포는 평가한 모델 전반에 걸쳐 배치 1 중앙값 지연 2.282--8.769\,ms를 달성한다. 이 결과는 순환 토큰 혼합이 고해상도 밀집 예측과 엣지 배포에서 전역 소프트맥스 어텐션에 대한 효율적인 대안이 될 수 있음을 보여준다. Project page: https://intellindust-ai-lab.github.io/projects/GTR/
LEAP-NBV: 파운데이션 모델 기반 차기 최적 시점 계획을 위한 경량 엣지 능동 지각
LEAP-NBV: Lightweight Edge Active-Perception for Foundation-Model Next-Best-View Planning
파운데이션 모델(foundation model)은 자율 시스템에 더 뛰어난 지능을 부여하여 시각적 지각을 통한 환경(environment)에 대한 보다 포괄적인 이해를 가능하게 하고 있다. 대표적인 예로 인체 메시 복원(HMR, Human Mesh Recovery)이 있으며, 이는 전술적 임무에 유용하게 활용될 수 있는 타깃의 3D 포즈 및 형태 추정치를 제공한다. 그러나 이러한 모델(model)의 크기와 전력 소모량으로 인해 엣지 플랫폼에서 구동하기 어렵고 실시간 성능이 제한되어 전술적 엣지 배포(edge deployment)의 요구사항을 충족하기 어렵다. 특히 통신이 제한된 환경에서 모바일 로봇이 계산을 외부로 오프로드하지 못하고 온보드 상에서 차기 최적 시점(NBV, Next-Best-View)을 계획해야 하는 능동 지각(active perception)의 경우 더욱 그렇다. 본 논문에서는 엣지 디바이스 온보드에서 파운데이션 모델 기반 차기 최적 시점 계획을 실행하는 경량 능동 지각 프레임워크인 LEAP-NBV를 제안한다. 이를 위해 오프라인 메시 목표 함수를 사용하여 대규모 HMR 교사 모델 제품군을 각각 컴팩트한 32M 학생 모델로 지식 증류(distillation)한 후, 비전 인코더를 FP16으로 양자화(quantization)하고 온디바이스 정확도와 지연 시간을 특성화한다. 차폐 인식 능동 지각 루프 내에서 동일한 홀드아웃 벤치마크(benchmark)를 통해 모든 구성을 평가(evaluation)하고, 전체 엔드투엔드 파이프라인을 NVIDIA Jetson Xavier NX에 배포하여 실제 측정된 온디바이스 지연 시간과 에너지를 보고한다. 지식 증류를 통해 테스트 세트에서 증류되지 않은 학생 모델 대비 프로크루스테스 정렬 평균 정점당 위치 오차(PA-MPVPE)를 6-7 mm 개선한다. 엣지에 최적화된 압축 모델을 선택함으로써 약간의 정확도 손실만으로 HMR 엔진의 속도를 약 12 ms로 끌어올리고, 전체 폐루프를 3.6 FPS 및 프레임당 2.6 J로 구동하여 다운스트림 태스크 품질을 거의 유지하면서도 압축되지 않은 모델 대비 2.0배의 속도 향상과 3.0배 낮은 에너지를 달성한다.
안전한 보행자-차량 상호작용을 위한 경량 보행자 머리 방향 인식 네트워크
Lightweight Pedestrian Head-Orientation Recognition Network for Safe Pedestrian-Vehicle Interaction
보행자 머리 방향 인식은 보행자의 주의를 파악하고 잠재적인 횡단 행동을 예측하는 데 유용한 단서를 제공함으로써 자율주행에서 중요한 역할을 한다. 그러나 실제 교통 상황에서 보행자의 머리 영역이 저해상도로 촬영되는 경우가 많아 신뢰할 수 있는 인식은 여전히 어려운 과제로 남아 있다. 이러한 문제를 해결하기 위해, 우리는 보행자 머리 방향 인식을 위한 경량의 저해상도 머리 방향 합성곱 신경망(Low-Resolution Head Orientation Convolutional Neural Network, LRHO-CNN)을 제안한다. 우리는 여러 공개 데이터셋에서 보행자 머리 이미지를 추출하고 이를 8개의 방향 범주로 수동으로 주석 처리하여 새로운 데이터셋을 구축한다. 수집된 이미지는 데이터 다양성을 높이고 조명 및 이미지 품질의 변화를 더 잘 반영하기 위해 체계적으로 전처리 및 증강된다. 실험 분석에서는 LRHO-CNN을 세 가지 파인튜닝된 기준선 모델인 ResNet-18, ResNet-34, VGG-16과 비교한다. 그 결과 LRHO-CNN이 평가된 모델 중 가장 높은 분류 정확도를 달성함을 보여준다. LRHO-CNN은 JAAD 및 PIE 데이터셋에서 추가로 평가되어 실제 교통 상황에서 보행자 머리 방향을 인식하는 데 효과적임을 입증하며, 후속 보행자 행동 및 의도 예측을 지원할 수 있는 유용한 머리 방향 단서를 제공한다.
YOLOv5-6D: Advancing 6-DoF Instrument Pose Estimation in Variable X-Ray Imaging Geometries
PPR-Net:Point-wise Pose Regression Network for Instance Segmentation and 6D Pose Estimation in Bin-picking Scenarios
토론
이 논문과 연결된 포럼 글이 아직 없습니다.