arXiv:2609.23376v1 cs.MM

소리가 들리면 찾는 것을 도와라: 오픈 보캐블러리 시청각 이벤트 국소화를 위한 직교 지식 증류

If You Hear It, Help Find It: Orthogonal Knowledge Distillation for Open-Vocabulary Audio-Visual Event Localization

Yi Xu, Cheng Chen, Wenzhuo Lei

제출 2026-09-22

한국어 초록

오픈 보캐블러리 시청각 이벤트 국소화(open-vocabulary audio-visual event localization, OV-AVEL)는 비디오, 오디오, 언어로부터 텍스트 질의된 이벤트를 시간에 따라 그라운딩(grounding)합니다. 이 작업에 사용할 수 있는 지도 소스들은 시간적 경계의 신뢰도 면에서 다를 수 있습니다. 비록 설정된 오디오 교사(teacher)가 강력한 사전학습 오디오 모델(model)이며 의미적으로 유익한 정보를 유지함에도 불구하고, OV-AVEBench에서 우리가 구성한 시각 교사는 구성된 오디오 교사보다 더 신뢰할 수 있는 경계 단서를 제공합니다. 이는 시각과 오디오의 보편적 순위라기보다는 특정 설정에 기반한 진단입니다. 우리는 이로 인해 발생하는 과제를 지도 배치(supervision placement)로 공식화합니다. 즉, 어떤 교사 신호가 국소화 결정을 형성할 수 있으며, 어떤 신호가 보조적으로 남아 있어야 하는지에 관한 것입니다. 이러한 관점을 바탕으로, 우리는 신뢰도 인식 비대칭 증류 프레임워크인 OV-OrthKD를 제안합니다. 시각 특징(feature) 전이는 결정과 정렬된 표현을 형성하고, 오디오 특징 전이는 상호 보완적인 보조 부분공간을 풍부하게 하며, 텍스트 프로토타입은 관찰된(seen)/관찰되지 않은(unseen) 범주 의미를 고정하고, 직교성 손실(loss)은 두 교사 특화 투영 간의 방향적 중첩을 제한합니다. 학생(student) 모델은 추론(inference) 시 질의 인식 융합을 통해 두 모달리티를 계속 사용하는 반면, 기본 학습(training) 방식은 세그먼트 로짓(logit) 경로에서 오디오 교사 지도를 제외합니다. OV-AVEBench에서 OV-OrthKD는 0.816의 세그먼트 AP를 달성하고, 공식 미세조정(fine-tuning) 기준선(baseline) 대비 [email omitted] 전체적으로 2.7점, 관찰되지 않은 범주에서 3.4점 향상시킵니다. 경로 할당, 역할 교환, 손상, 전이 분석은 지도 배치가 OV-AVEL을 위한 작업 특화 설계 축임을 일관되게 뒷받침합니다.

원문 초록

Open-vocabulary audio-visual event localization (OV-AVEL) grounds a text-queried event in time from video, audio, and language. The supervision sources available to this task can differ in temporal-boundary reliability: on OV-AVEBench, our configured visual teacher gives more reliable boundary cues than the configured audio teacher, although the latter is a strong pretrained audio model and remains semantically informative. This is a setting-specific diagnostic rather than a universal ranking of vision and audio. We formulate the resulting challenge as supervision placement: which teacher signals may shape the localization decision, and which should remain auxiliary. Based on this view, we propose OV-OrthKD, a reliability-aware asymmetric distillation framework. Visual feature transfer shapes a decision-aligned representation, audio feature transfer enriches a complementary auxiliary subspace, a text prototype anchors seen/unseen category semantics, and an orthogonality loss limits directional overlap between the two teacher-specific projections. The student continues to use both modalities through query-aware fusion at inference, while the default training recipe keeps audio-teacher supervision off the segment-logit path. On OV-AVEBench, OV-OrthKD achieves 0.816 segment AP and improves [email omitted] over the official fine-tuning baseline by 2.7 points overall and 3.4 points on unseen categories. Path-assignment, role-swap, corruption, and transfer analyses consistently support supervision placement as a task-specific design axis for OV-AVEL.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.23376v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.