arXiv:2108.09183

Boosting of Head Pose Estimation by Knowledge Distillation

Andrey Sheka, Victor Samun

제출 2021-08-20

원문 초록

We propose a response-based method of knowledge distillation (KD) for the head pose estimation problem. A student model trained by the proposed KD achieves results better than a teacher model, which is atypical for the response-based method. Our method consists of two stages. In the first stage, we trained the base neural network (NN), which has one regression head and four regression via classification (RvC) heads. We build the convolutional ensemble over the base NN using offsets of face bounding boxes over a regular grid. In the second stage, we perform KD from the convolutional ensemble into the final NN with one RvC head. The KD improves the results by an average of 7.7\% compared to base NN. This feature makes it possible to use KD as a booster and effectively train deeper NNs. NNs trained by our KD method partially improved the state-of-the-art results. KD-ResNet152 has the best results, and KD-ResNet18 has a better result on the AFLW2000 dataset than any previous method.We have made publicly available trained NNs and face bounding boxes for the 300W-LP, AFLW, AFLW2000, and BIWI datasets.Our method potentially can be effective for other regression problems.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02597v1cs.CV공통 태그 Pose Estimation, Knowledge Distillation

GRAFT: 지속적 교사 지식 증류를 통한 응집형 파운데이션 모델의 점진적 확장

GRAFT: Growing Agglomerative Foundation Models via Continual Teacher Distillation

DINOv2, SigLIP2, MASt3R와 같은 비전 파운데이션 모델들은 서로 다른 사전학습(pre-training) 목표를 통해 상호보완적인 능력을 발전시키지만, 이들의 지식은 개별적이고 특화된 모델 전반에 여전히 분산되어 있습니다. 다중 교사 지식 증류(multi-teacher knowledge distillation)는 이러한 능력들을 단일 응집형 백본(backbone)으로 통합하는 경로를 제공하지만, 기존 접근 방식들은 고정된 교사 집합을 가정하며, 새로운 교사를 통합하려면 전체 교사 집합에 대해 비용이 많이 드는 결합 증류를 반복해야 합니다. 본 논문에서는 통합 백본이 개방형 파운데이션 모델 시퀀스로부터 능력을 점진적으로 습득할 수 있도록 하는 지속적 다중 교사 증류 프레임워크인 GRAFT를 소개합니다. 새로운 교사가 추가되면 GRAFT는 이전에 증류된 모델을 교사로 취급하여 학습된 능력을 보존하는 동시에, 현재의 학생 모델은 이전 모델과 새로 들어온 교사 모두로부터 공동으로 학습합니다. 나아가 이종 교사들의 호환되지 않는 표현 기하구조를 조율하기 위해, 공유 인코더에 대한 독립적인 판독 권한을 각 교사에 부여하는 교사별 판독 토큰(Teacher Specific Readout Tokens)과 함께, 원시 특징(feature) 값 대신 이미지-텍스트 유사도 구조를 매칭하여 비전-언어 교사를 정렬하는 기하학 불가지론적 관계 손실(Geometry Agnostic Relational Loss)을 도입합니다. 본 연구는 이미지 이해, 2D 조밀 예측, 3D 인간 자세 추정, 3D 비전, 비전-언어 등 5개 도메인을 통합하는 단일의 지속적 확장 가능 백본인 GRAFT 모델을 제공하며, 전체 재증류 대신 단 한 번의 증류 비용만으로 각각의 새로운 능력을 습득하면서 이들 전반에 걸쳐 강력한 성능을 발휘합니다.

arXiv:2609.26590v2cs.CV공통 태그 Pose Estimation, Knowledge Distillation

GTR: 효율적인 밀집 예측을 위한 게이트 토큰 순환

GTR: Gated Token Recurrence for Efficient Dense Prediction

셀프 어텐션 기반 비전 백본은 밀집 예측에서 우수한 성능을 보이지만, 전역 소프트맥스 어텐션의 이차 계산 비용은 이미지 해상도가 커질수록 효율성을 제한한다. 본 연구는 게이트 선형 어텐션, 교대하는 공간 스캔 방향, 공간적으로 강화된 SwiGLU 블록을 결합한 소프트맥스 없는 순환 비전 백본인 Gated Token Recurrence(GTR)를 제안한다. GTR은 마스크드 토큰 예측이나 중간 층 지도 없이, 선형 투영과 제곱 $\ell_2$ 손실을 통한 최종 층 패치-토큰 정렬만으로 검출 특화 DINOv3 교사 모델로부터 지식 증류된다. Objects365 검출기 사전학습을 적용한 GTR-L은 RTX~4090에서 컴파일된 FP16 실행 하에 배치 1 중앙값 지연 1.908\,ms로 COCO \texttt{val2017}에서 box AP 58.9를 달성한다. 동일 백본은 인스턴스 분할, 자세 추정, 방향 검출, 의미 분할, 단안 깊이 추정으로도 전이된다. 격리된 커널 벤치마크에서, 우리의 특화 chunkwise CUDA 연산자는 RTX~4090에서 1.6K 토큰 기준 FLA v0.5.0보다 $4.0\times$ 빠르다. DRIVE AGX Thor에서의 TensorRT 엣지 배포는 평가한 모델 전반에 걸쳐 배치 1 중앙값 지연 2.282--8.769\,ms를 달성한다. 이 결과는 순환 토큰 혼합이 고해상도 밀집 예측과 엣지 배포에서 전역 소프트맥스 어텐션에 대한 효율적인 대안이 될 수 있음을 보여준다. Project page: https://intellindust-ai-lab.github.io/projects/GTR/

arXiv:2609.27227v1cs.CV공통 태그 regression, Pose Estimation

학습된 관절 운동 제약을 이용한 단안 영상 기반 수술 운동학

Surgical Kinematics from Monocular Video with Learned Articulated Motion Constraints

로봇 수술의 객관적 평가는 기구 운동학을 사용하며, 영상만 이용 가능한 경우 이를 재구성해야 한다. 우리는 단안 영상으로부터 기구의 위치, 방향 및 jaw 각도를 추정하는 운동학 재구성 네트워크를 제안한다. 시각 표현은 고정(frozen) DINOv3 특징에 대한 전역 어텐션 풀링과 파인튜닝된 SAM 3.1 마스크로 얻은 기구 랜드마크에서의 국소 풀링을 결합한다. 공유 트랜스포머 인코더와 시간적 합성곱 헤드는 이 표현을 마스크 기하, 단안 깊이, 및 팔(arm)별 다층 회귀 네트워크의 시각 상태 추정치와 통합한다. 위치 분기는 이동 거리를 보존하기 위해 변위 크기와 방향을 각각 예측한다. 예측된 상태 관측 및 운동 증분에 대해 미분 가능 가중 최소자승법으로 궤적을 맞추며, 누적 예측 회전에 상대적인 쿼터니언 관측을 표현하여 이차 방향 목적함수를 얻는다. 2,802개의 Open-H 에피소드에서 재구성을 평가한다. 주 Open-H 벤치마크에서 LiveMAE와 비교할 때, 본 방법은 경로 길이 평균 절대 오차를 0.45cm에서 0.34cm로 줄이고, 동작 분할을 위한 시간적 평균 평균 정밀도를 44.54%에서 54.44%로 높인다.

arXiv:2609.23974v1cs.AI공통 태그 Pose Estimation, Knowledge Distillation

LEAP-NBV: 파운데이션 모델 기반 차기 최적 시점 계획을 위한 경량 엣지 능동 지각

LEAP-NBV: Lightweight Edge Active-Perception for Foundation-Model Next-Best-View Planning

파운데이션 모델(foundation model)은 자율 시스템에 더 뛰어난 지능을 부여하여 시각적 지각을 통한 환경(environment)에 대한 보다 포괄적인 이해를 가능하게 하고 있다. 대표적인 예로 인체 메시 복원(HMR, Human Mesh Recovery)이 있으며, 이는 전술적 임무에 유용하게 활용될 수 있는 타깃의 3D 포즈 및 형태 추정치를 제공한다. 그러나 이러한 모델(model)의 크기와 전력 소모량으로 인해 엣지 플랫폼에서 구동하기 어렵고 실시간 성능이 제한되어 전술적 엣지 배포(edge deployment)의 요구사항을 충족하기 어렵다. 특히 통신이 제한된 환경에서 모바일 로봇이 계산을 외부로 오프로드하지 못하고 온보드 상에서 차기 최적 시점(NBV, Next-Best-View)을 계획해야 하는 능동 지각(active perception)의 경우 더욱 그렇다. 본 논문에서는 엣지 디바이스 온보드에서 파운데이션 모델 기반 차기 최적 시점 계획을 실행하는 경량 능동 지각 프레임워크인 LEAP-NBV를 제안한다. 이를 위해 오프라인 메시 목표 함수를 사용하여 대규모 HMR 교사 모델 제품군을 각각 컴팩트한 32M 학생 모델로 지식 증류(distillation)한 후, 비전 인코더를 FP16으로 양자화(quantization)하고 온디바이스 정확도와 지연 시간을 특성화한다. 차폐 인식 능동 지각 루프 내에서 동일한 홀드아웃 벤치마크(benchmark)를 통해 모든 구성을 평가(evaluation)하고, 전체 엔드투엔드 파이프라인을 NVIDIA Jetson Xavier NX에 배포하여 실제 측정된 온디바이스 지연 시간과 에너지를 보고한다. 지식 증류를 통해 테스트 세트에서 증류되지 않은 학생 모델 대비 프로크루스테스 정렬 평균 정점당 위치 오차(PA-MPVPE)를 6-7 mm 개선한다. 엣지에 최적화된 압축 모델을 선택함으로써 약간의 정확도 손실만으로 HMR 엔진의 속도를 약 12 ms로 끌어올리고, 전체 폐루프를 3.6 FPS 및 프레임당 2.6 J로 구동하여 다운스트림 태스크 품질을 거의 유지하면서도 압축되지 않은 모델 대비 2.0배의 속도 향상과 3.0배 낮은 에너지를 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.