arXiv:2610.11846v1 cs.CV

복소수 값 융합을 통한 개방형 어휘(Open-Vocabulary) 오디오-비주얼 이벤트 로컬라이제이션

Open-Vocabulary Audio-Visual Event Localization via Complex-Valued Fusion

Anirudh Praveen, Koteswar Rao Jerripothula, Pratik Joshi, Aveen Dayal, Neela Sawant

제출 2026-10-08

저자 비고

arXiv Comments

Accepted to British Machine Vision Conference (BMVC) 2026

한국어 초록

개방형 어휘 오디오-비주얼 이벤트 로컬라이제이션(Open-Vocabulary Audio-Visual Event Localization, OV-AVEL)은 학습 중에 전혀 본 적 없는 클래스를 포함하여 각 비디오 세그먼트에 이벤트 클래스를 레이블링하는 작업이다. 지배적인 파이프라인은 고정된(frozen) 멀티모달 파운데이션 모델(예: ImageBind)을 사용하여 시각 프레임, 오디오 멜-스펙트로그램(mel-spectrogram), 그리고 각 후보 클래스 이름을 공유 공간에 임베딩한 뒤, 각 세그먼트에 대해 각 클래스와의 두 가지 코사인 유사도, 즉 시각-텍스트 유사도와 오디오-텍스트 유사도를 계산한다. 기존 방법들은 이 두 값을 고정된 규칙(기하평균, 가중평균)으로 하나의 스칼라 점수로 축약한 뒤 argmax를 취한다. 반면 본 연구에서는 복소수 값 유사도를 계산하고, 복소수 값 신경망(Complex-Valued Neural Network, CVNN)을 사용하여 이들의 융합을 학습한다. 각 모달리티의 표준 표현은 우리 파이프라인의 실수부가 되며, 짝을 이루는 동반 스트림이 허수부를 제공한다. 우리는 시각 모달리티에 대해 iHSV의 허수부를, 오디오 모달리티에 대해 CycleGAN으로 변환된 위상 스펙트로그램(phase spectrogram)을 이러한 동반 스트림으로 사용한다. 그 결과 두 개의 복소수 유사도가 생성되며, 이들이 다시 융합된다. 비전 인코더와 오디오 인코더는 고정된 상태를 유지하는 반면, 시간적 어텐션(temporal-attention) 블록과 융합 CVNN만 학습된다. 4-스트림 복소수 아키텍처는 두 OV-AVEL 벤치마크 모두에서 새로운 최신 성능(state of the art)을 달성한다. OV-AVEBench의 open(미본 클래스, unseen-class) 분할에서 우리는 Acc/Seg-F1/Event-F1 기준 66.5/59.1/54.1%를 달성했으며(기존에 보고된 파인튜닝 기준선 대비 +1.6/+4.1/+6.6), 본 클래스(seen classes)에 대해서도 일관된 성능 향상을 보였다. 또한 이 과제를 위해 AVE 데이터셋을 수정하였으며, 우리의 아키텍처가 Acc/Seg-F1/Event-F1 기준 60.7/51.9/50.4%를 달성하여 이 데이터셋에서도 최신 OV-AVEL 성능을 기록함을 확인했다. 아울러 기준선 대비 큰 성능 향상을 보이는 2-스트림 대안도 제안한다.

원문 초록

Open-Vocabulary Audio-Visual Event Localization (OV-AVEL) labels each video segment with an event class, including classes that were never seen during training. The dominant pipeline uses a frozen multimodal foundation model (e.g. ImageBind) to embed the visual frame, the audio mel-spectrogram, and each candidate class name into a shared space, then computes two cosine similarities for each segment against each class: visual-text and audio-text. Existing methods then collapse this pair into a single scalar score with a fixed rule (geometric mean, weighted average) before taking the argmax. Instead, we compute complex-valued similarities and learn their fusion using a complex-valued neural network (CVNN). Each modality's standard representation becomes the real part of our pipeline, and a paired companion stream supplies the imaginary part. We use imaginary part of iHSV for visual modality and CycleGAN-translated phase spectrogram for audio modality as these companion streams. This results in two complex similarities, which are then fused. While the vision and audio encoders remain frozen, only the temporal-attention blocks and the fusion CVNN are trained. The four-stream complex architecture sets a new state of the art on both OV-AVEL benchmarks. On the open (unseen-class) split of OV-AVEBench we reach 66.5/59.1/54.1% Acc/Seg-F1/Event-F1 (+1.6/+4.1/+6.6 over the previously reported fine-tuned baseline), with consistent gains for seen classes as well. We also modify AVE dataset for this task and observe that our architecture reaches 60.7/51.9/50.4% Acc/Seg-F1/Event-F1, achieving state-of-the-art OV-AVEL results on it as well. We also propose a two-stream alternative, which also sees great improvements over the baseline.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.11846v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.