arXiv:2104.10414

Orderly Dual-Teacher Knowledge Distillation for Lightweight Human Pose Estimation

Zhong-Qiu Zhao, Yao Gao, Yuchen Ge, Weidong Tian

제출 2021-04-21

원문 초록

Although deep convolution neural networks (DCNN) have achieved excellent performance in human pose estimation, these networks often have a large number of parameters and computations, leading to the slow inference speed. For this issue, an effective solution is knowledge distillation, which transfers knowledge from a large pre-trained network (teacher) to a small network (student). However, there are some defects in the existing approaches: (I) Only a single teacher is adopted, neglecting the potential that a student can learn from multiple teachers. (II) The human segmentation mask can be regarded as additional prior information to restrict the location of keypoints, which is never utilized. (III) A student with a small number of parameters cannot fully imitate heatmaps provided by datasets and teachers. (IV) There exists noise in heatmaps generated by teachers, which causes model degradation. To overcome these defects, we propose an orderly dual-teacher knowledge distillation (ODKD) framework, which consists of two teachers with different capabilities. Specifically, the weaker one (primary teacher, PT) is used to teach keypoints information, the stronger one (senior teacher, ST) is utilized to transfer segmentation and keypoints information by adding the human segmentation mask. Taking dual-teacher together, an orderly learning strategy is proposed to promote knowledge absorbability. Moreover, we employ a binarization operation which further improves the learning ability of the student and reduces noise in heatmaps. Experimental results on COCO and OCHuman keypoints datasets show that our proposed ODKD can improve the performance of different lightweight models by a large margin, and HRNet-W16 equipped with ODKD achieves state-of-the-art performance for lightweight human pose estimation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02597v1cs.CV공통 태그 Pose Estimation, Knowledge Distillation

GRAFT: 지속적 교사 지식 증류를 통한 응집형 파운데이션 모델의 점진적 확장

GRAFT: Growing Agglomerative Foundation Models via Continual Teacher Distillation

DINOv2, SigLIP2, MASt3R와 같은 비전 파운데이션 모델들은 서로 다른 사전학습(pre-training) 목표를 통해 상호보완적인 능력을 발전시키지만, 이들의 지식은 개별적이고 특화된 모델 전반에 여전히 분산되어 있습니다. 다중 교사 지식 증류(multi-teacher knowledge distillation)는 이러한 능력들을 단일 응집형 백본(backbone)으로 통합하는 경로를 제공하지만, 기존 접근 방식들은 고정된 교사 집합을 가정하며, 새로운 교사를 통합하려면 전체 교사 집합에 대해 비용이 많이 드는 결합 증류를 반복해야 합니다. 본 논문에서는 통합 백본이 개방형 파운데이션 모델 시퀀스로부터 능력을 점진적으로 습득할 수 있도록 하는 지속적 다중 교사 증류 프레임워크인 GRAFT를 소개합니다. 새로운 교사가 추가되면 GRAFT는 이전에 증류된 모델을 교사로 취급하여 학습된 능력을 보존하는 동시에, 현재의 학생 모델은 이전 모델과 새로 들어온 교사 모두로부터 공동으로 학습합니다. 나아가 이종 교사들의 호환되지 않는 표현 기하구조를 조율하기 위해, 공유 인코더에 대한 독립적인 판독 권한을 각 교사에 부여하는 교사별 판독 토큰(Teacher Specific Readout Tokens)과 함께, 원시 특징(feature) 값 대신 이미지-텍스트 유사도 구조를 매칭하여 비전-언어 교사를 정렬하는 기하학 불가지론적 관계 손실(Geometry Agnostic Relational Loss)을 도입합니다. 본 연구는 이미지 이해, 2D 조밀 예측, 3D 인간 자세 추정, 3D 비전, 비전-언어 등 5개 도메인을 통합하는 단일의 지속적 확장 가능 백본인 GRAFT 모델을 제공하며, 전체 재증류 대신 단 한 번의 증류 비용만으로 각각의 새로운 능력을 습득하면서 이들 전반에 걸쳐 강력한 성능을 발휘합니다.

arXiv:2610.01707v1cs.CV공통 태그 Segmentation, Knowledge Distillation

MEGA: 공간 시각 증류를 통한 3D 가우시안 스플래팅 기반 객체 수준 메시 추출

MEGA: Object-Level Mesh Extraction from 3D Gaussian Splatting via Spatial Visual Distillation

3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS) 기반의 메시 추출은 3D 가우시안에 정확한 기하학적 구조를 부여하여 명시적이고 정밀한 3D 점유 공간(occupancy)을 표현하는 것을 목표로 합니다. 그러나 기존 방법들은 주로 장면 수준의 메시 추출에 집중되어 있어 객체 수준의 점유 공간을 표현하지 못하며, 종종 닫히지 않은(non-watertight) 표면을 생성합니다. 이러한 한계를 극복하기 위해, 본 논문에서는 복잡한 3DGS 장면에서 객체 수준의 닫힌(watertight) 메시를 추출하는 '분할 후 메시 생성(segment-then-mesh)' 프레임워크인 MEGA(Mesh Extraction from GAussians)를 제안합니다. MEGA의 핵심은 공간 시각 증류(Spatial Visual Distillation, SVD)와 마스크 기반 신경망 표면 재구성 모듈입니다. SVD는 3DGS 모델을 교사(teacher)로 취급하여 다양한 카메라 포즈를 샘플링하고 분할된 각 객체의 해당 뷰를 렌더링합니다. 이후 이러한 관측 결과는 광도적 감독(photometric supervision)을 통해 메시 재구성 모델을 학습하는 데 사용됩니다. 널리 사용되는 여러 벤치마크에 대한 광범위한 실험을 통해 MEGA가 정확한 객체 수준 3D 점유 공간 복원에서 최고 수준의 성능을 달성함을 입증합니다. 나아가 MEGA는 기하학적 점유 공간을 위한 고품질 객체 수준 메시와 사실적인 렌더링을 위한 3DGS 표현을 결합함으로써 복잡한 물리적 상호작용을 가능하게 합니다.

arXiv:2609.26590v2cs.CV공통 태그 Pose Estimation, Knowledge Distillation

GTR: 효율적인 밀집 예측을 위한 게이트 토큰 순환

GTR: Gated Token Recurrence for Efficient Dense Prediction

셀프 어텐션 기반 비전 백본은 밀집 예측에서 우수한 성능을 보이지만, 전역 소프트맥스 어텐션의 이차 계산 비용은 이미지 해상도가 커질수록 효율성을 제한한다. 본 연구는 게이트 선형 어텐션, 교대하는 공간 스캔 방향, 공간적으로 강화된 SwiGLU 블록을 결합한 소프트맥스 없는 순환 비전 백본인 Gated Token Recurrence(GTR)를 제안한다. GTR은 마스크드 토큰 예측이나 중간 층 지도 없이, 선형 투영과 제곱 $\ell_2$ 손실을 통한 최종 층 패치-토큰 정렬만으로 검출 특화 DINOv3 교사 모델로부터 지식 증류된다. Objects365 검출기 사전학습을 적용한 GTR-L은 RTX~4090에서 컴파일된 FP16 실행 하에 배치 1 중앙값 지연 1.908\,ms로 COCO \texttt{val2017}에서 box AP 58.9를 달성한다. 동일 백본은 인스턴스 분할, 자세 추정, 방향 검출, 의미 분할, 단안 깊이 추정으로도 전이된다. 격리된 커널 벤치마크에서, 우리의 특화 chunkwise CUDA 연산자는 RTX~4090에서 1.6K 토큰 기준 FLA v0.5.0보다 $4.0\times$ 빠르다. DRIVE AGX Thor에서의 TensorRT 엣지 배포는 평가한 모델 전반에 걸쳐 배치 1 중앙값 지연 2.282--8.769\,ms를 달성한다. 이 결과는 순환 토큰 혼합이 고해상도 밀집 예측과 엣지 배포에서 전역 소프트맥스 어텐션에 대한 효율적인 대안이 될 수 있음을 보여준다. Project page: https://intellindust-ai-lab.github.io/projects/GTR/

arXiv:2609.27227v1cs.CV공통 태그 Segmentation, Pose Estimation

학습된 관절 운동 제약을 이용한 단안 영상 기반 수술 운동학

Surgical Kinematics from Monocular Video with Learned Articulated Motion Constraints

로봇 수술의 객관적 평가는 기구 운동학을 사용하며, 영상만 이용 가능한 경우 이를 재구성해야 한다. 우리는 단안 영상으로부터 기구의 위치, 방향 및 jaw 각도를 추정하는 운동학 재구성 네트워크를 제안한다. 시각 표현은 고정(frozen) DINOv3 특징에 대한 전역 어텐션 풀링과 파인튜닝된 SAM 3.1 마스크로 얻은 기구 랜드마크에서의 국소 풀링을 결합한다. 공유 트랜스포머 인코더와 시간적 합성곱 헤드는 이 표현을 마스크 기하, 단안 깊이, 및 팔(arm)별 다층 회귀 네트워크의 시각 상태 추정치와 통합한다. 위치 분기는 이동 거리를 보존하기 위해 변위 크기와 방향을 각각 예측한다. 예측된 상태 관측 및 운동 증분에 대해 미분 가능 가중 최소자승법으로 궤적을 맞추며, 누적 예측 회전에 상대적인 쿼터니언 관측을 표현하여 이차 방향 목적함수를 얻는다. 2,802개의 Open-H 에피소드에서 재구성을 평가한다. 주 Open-H 벤치마크에서 LiveMAE와 비교할 때, 본 방법은 경로 길이 평균 절대 오차를 0.45cm에서 0.34cm로 줄이고, 동작 분할을 위한 시간적 평균 평균 정밀도를 44.54%에서 54.44%로 높인다.

arXiv:2609.23974v1cs.AI공통 태그 Pose Estimation, Knowledge Distillation

LEAP-NBV: 파운데이션 모델 기반 차기 최적 시점 계획을 위한 경량 엣지 능동 지각

LEAP-NBV: Lightweight Edge Active-Perception for Foundation-Model Next-Best-View Planning

파운데이션 모델(foundation model)은 자율 시스템에 더 뛰어난 지능을 부여하여 시각적 지각을 통한 환경(environment)에 대한 보다 포괄적인 이해를 가능하게 하고 있다. 대표적인 예로 인체 메시 복원(HMR, Human Mesh Recovery)이 있으며, 이는 전술적 임무에 유용하게 활용될 수 있는 타깃의 3D 포즈 및 형태 추정치를 제공한다. 그러나 이러한 모델(model)의 크기와 전력 소모량으로 인해 엣지 플랫폼에서 구동하기 어렵고 실시간 성능이 제한되어 전술적 엣지 배포(edge deployment)의 요구사항을 충족하기 어렵다. 특히 통신이 제한된 환경에서 모바일 로봇이 계산을 외부로 오프로드하지 못하고 온보드 상에서 차기 최적 시점(NBV, Next-Best-View)을 계획해야 하는 능동 지각(active perception)의 경우 더욱 그렇다. 본 논문에서는 엣지 디바이스 온보드에서 파운데이션 모델 기반 차기 최적 시점 계획을 실행하는 경량 능동 지각 프레임워크인 LEAP-NBV를 제안한다. 이를 위해 오프라인 메시 목표 함수를 사용하여 대규모 HMR 교사 모델 제품군을 각각 컴팩트한 32M 학생 모델로 지식 증류(distillation)한 후, 비전 인코더를 FP16으로 양자화(quantization)하고 온디바이스 정확도와 지연 시간을 특성화한다. 차폐 인식 능동 지각 루프 내에서 동일한 홀드아웃 벤치마크(benchmark)를 통해 모든 구성을 평가(evaluation)하고, 전체 엔드투엔드 파이프라인을 NVIDIA Jetson Xavier NX에 배포하여 실제 측정된 온디바이스 지연 시간과 에너지를 보고한다. 지식 증류를 통해 테스트 세트에서 증류되지 않은 학생 모델 대비 프로크루스테스 정렬 평균 정점당 위치 오차(PA-MPVPE)를 6-7 mm 개선한다. 엣지에 최적화된 압축 모델을 선택함으로써 약간의 정확도 손실만으로 HMR 엔진의 속도를 약 12 ms로 끌어올리고, 전체 폐루프를 3.6 FPS 및 프레임당 2.6 J로 구동하여 다운스트림 태스크 품질을 거의 유지하면서도 압축되지 않은 모델 대비 2.0배의 속도 향상과 3.0배 낮은 에너지를 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.