PyTorchKR Papers

업데이트된 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2505.07675v4cs.LG공식 코드 · Papers with Code

이중 헤드 최적화를 통한 비전-언어 모델로부터의 단순하면서도 효과적인 준지도 지식 증류

Simple yet Effective Semi-supervised Knowledge Distillation from Vision-Language Models via Dual-Head Optimization

준지도 학습(SSL)은 레이블이 없는 데이터를 활용하여 데이터 부족 문제를 해결하는 실용적 방안으로 부상했다. 최근 방대한 이미지-텍스트 쌍으로 사전 훈련된 비전-언어 모델(VLM)은 뛰어난 일반화 능력 덕분에 SSL 접근법을 능가하는 놀라운 제로샷/퓨샷 성능을 보여 왔다. 이러한 격차는 VLM의 강력한 일반화 능력을 과제별 모델에 어떻게 효과적으로 활용할 수 있는가라는 의문을 제기하게 한다. 지식 증류(KD)는 VLM의 능력을 전달하는 자연스러운 프레임워크를 제공하지만, 지도 손실과 증류 손실 사이에 기울기 충돌이 발생함을 확인하였다. 이 문제를 해결하기 위해, 각각의 신호에 대해 별도의 예측 헤드를 두는 이중 헤드 최적화(Dual-Head Optimization, DHO)를 제안한다. DHO는 기울기 충돌을 완화하여 단일 헤드 KD 기준 모델보다 향상된 특징 학습을 가능하게 하며, 계산 오버헤드가 최소이고 재훈련 없이 테스트 시점에 하이퍼파라미터를 조정할 수 있다는 실용적 이점이 있음을 관찰하였다. 15개 데이터셋에 걸친 광범위한 실험은 DHO가 KD 기준 모델을 일관되게 능가하며, 더 작은 학생 모델로도 교사 모델을 능가하는 경우가 많음을 보여 준다. 또한 DHO는 분포 내 ImageNet 준지도 학습과 ImageNet 변형 전반의 분포 외 일반화 모두에서 새로운 최고 성능을 달성한다. 코드와 모델 체크포인트는 https://github.com/erjui/DHO/tree/main 에 공개되어 있다.