구조적으로 이종인 특징을 위한 코드북 기반 교차 모달 지식 증류
Codebook-Guided Cross-Modal Knowledge Distillation for Structurally Heterogeneous Features
교차 모달 지식 증류(cross-modal knowledge distillation)는 교사 모달리티에서 학생 모달리티로 지식을 전달한다. 기존의 특징 수준 정렬(feature-level alignment) 방법들은 일반적으로 교사와 학생의 특징이 구조적으로 정렬 가능한 표현 공간에 존재한다고 가정한다. 그러나 2D 공간 시각 그리드와 1D 시간 오디오 시퀀스처럼 교차 모달 특징이 구조적으로 이종이며 명확한 단위 수준 대응 관계가 결여된 경우에는 이러한 가정이 성립하지 않아 특징 수준 정렬의 적용 가능성이 제한된다. 이러한 문제를 해결하기 위해, 본 논문에서는 벡터 양자화(vector-quantized) 코드북을 통해 구조적으로 이종인 특징 공간 전반에서 효과적인 지식 전달을 가능하게 하는 교차 모달 증류 프레임워크를 제안한다. 구체적으로, 교사 특징은 본래의 특징 구조와 무관하게 일련의 벡터 형태 코드로 추상화되며, 선택된 코드는 학생 학습을 위한 개념 수준의 앵커(anchor) 역할을 한다. 코드 선택은 태스크 관련성과 학생 호환성 모두에 의해 유도되므로, 학생은 직접적인 단위 수준 특징 정렬 없이도 전달 가능한 교사 지식을 습득할 수 있다. 다양한 교차 모달 증류 시나리오에 걸친 실험 결과는 분류(classification) 및 시맨틱 분할(semantic segmentation) 태스크에서 제안된 프레임워크의 효과를 입증한다.