arXiv:2611.23941v1 cs.CV

각도 조건부 증류: 분류기 기하 불일치 극복

Angular Conditional Distillation: Overcoming Classifier Geometry Mismatch

Xuefei Zhang, Ruoqi Wang, Lei Cui

제출 2026-11-19

한국어 초록

분류기 출력은 지식 증류(KD)를 위한 근본적이고 보편적으로 사용 가능한 지식 인터페이스를 제공한다. 그러나 표준 로짓 목적 함수는 전이 가능한 의미적 관계를 아키텍처에 의존적인 매개변수화 아티팩트와 뒤섞어 분류기 기하 불일치를 일으키며, 이로 인해 직접적인 지식 전이가 불안정해진다. 이를 해결하기 위해 우리는 각도 조건부 증류(ACD)를 제안한다. 먼저 각도 좌표 인터페이스(ACI)는 각도 좌표를 사용해 학생 분류기를 재구성하여 크기와 편향의 영향을 억제하고 기하적으로 호환되는 공간을 제공한다. 이어서 스케일 불변 조건부 증류(SICD)는 출력을 표준화하고 조건부 비목표 관계만을 전이하여 전이할 수 없는 절대적 확신도를 걸러 낸다. 함께 사용하면 ACI는 어디에서 전이할지를, SICD는 무엇을 전이할지를 정의한다. 폭넓은 실험에서 ACD는 기존 KD 방법을 능가하는 최고 수준의 성능을 달성한다. 또한 범용 대체 모듈로서 특징 어댑터나 추가적인 추론 시간 비용 없이 기존 증류 파이프라인을 일관되게 개선한다. 코드는 https://github.com/laniusnan/ACD 에서 확인할 수 있다.

원문 초록

Classifier outputs provide a fundamental and univer- sally available knowledge interface for knowledge distil- lation (KD). However, standard logit objectives entangle transferable semantic relations with architecture-dependent parameterization artifacts, causing a classifier geometry mismatch that makes direct knowledge transfer unreliable. To address this, we propose Angular Conditional Distilla- tion (ACD). First, the Angular Coordinate Interface (ACI) reconstructs the student classifier using angular coordi- nates, suppressing magnitude and bias effects to provide a geometry-compatible space. Then, Scale-Invariant Condi- tional Distillation (SICD) standardizes outputs and exclu- sively transfers conditional non-target relations, filtering out untransferable absolute confidence. Together, ACI de- fines where to transfer, while SICD defines what to transfer. Extensive experiments show that ACD achieves state-of-the- art performance over existing KD methods. Moreover, as a universal drop-in replacement, it consistently improves existing distillation pipelines while requiring no feature adapters or additional inference-time cost. Code is avail- able at https://github.com/laniusnan/ACD.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23941v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.