arXiv:2608.29121v1 cs.CV

오픈 보캐블러리 시청각 의미론적 분할을 위한 음향 기반 비용 학습

Acoustically Grounded Cost Learning for Open-Vocabulary Audio-Visual Semantic Segmentation

Tianrui Hui, Shaofei Huang, Qisong Han, Yaxiong Wang, Lechao Cheng, Zhedong Zheng, Zhun Zhong, Richang Hong, Meng Wang

제출 2026-08-29

한국어 초록

오픈 보캐블러리 시청각 의미론적 분할(Open-Vocabulary Audio-Visual Semantic Segmentation, OV-AVSS)은 열린 범주의 클래스 집합에서 소리를 내는 객체를 픽셀 단위로 분할하는 것을 목표로 한다. 기존 방식은 클래스에 구애받지 않는(class-agnostic) 전경 정의에 의존하는데, 이는 의미적으로 다양한 객체들을 이종의 양성 집합(positive set)으로 묶어 모델이 불안정한 발음(sounding) 패턴을 학습하고 신뢰할 수 없는 제안(proposal)을 생성하게 만든다. 이를 해결하기 위해, 본 연구에서는 목표를 카테고리 특정적(category-specific)으로 재구성하고, 정적이고 오디오와 무관한 시각-텍스트 사전 지식을 동적인 음향 기반 비용 표현으로 변환하는 새로운 음향 기반 비용 학습(Acoustically Grounded Cost Learning, AGCL) 프레임워크를 제안한다. 범주 내 발음 영역 발견(intra-category soundingness discovery)을 위해, 침습성이 낮은 오디오 주입 메커니즘을 통해 프레임 수준의 발음 영역 강조와 비디오 수준의 시간적 정제를 모두 가능하게 하는 오디오 변조 비용 생성(Audio-Modulated Cost Generation, AMCG) 및 오디오 유도 시간적 집계(Audio-Guided Temporal Aggregation, AGTA) 모듈을 설계한다. 범주 간 방해 요소 식별(inter-category distractor discrimination)을 위해서는 음향적 및 의미적으로 혼동을 주는 음성 카테고리를 선택적으로 패널티화하여 보다 식별력 있는 결정 경계를 학습하는 협력적 방해 요소 마이닝(Synergistic Distractor Mining, SDM) 전략을 도입한다. AVSBench-OV 데이터셋에 대한 광범위한 실험을 통해 제안하는 방법이 기존의 최신(state-of-the-art) 접근법들을 크게 능가하며, 특히 미확인(unseen) 카테고리에서 뛰어난 성능을 보임을 입증한다. 코드는 https://github.com/spyflying/AGCL 에서 확인할 수 있다.

원문 초록

Open-Vocabulary Audio-Visual Semantic Segmentation (OV-AVSS) aims to perform pixel-level segmentation of sound-emitting objects from an open set of categories. The previous method relies on a class-agnostic foreground definition, which groups semantically diverse objects into a heterogeneous positive set, causing the model to learn unstable sounding patterns and produce unreliable proposals. To address this, we reformulate the objective to be category-specific and propose a novel Acoustically Grounded Cost Learning (AGCL) framework to transform the static, audio-agnostic visual-text priors into dynamic, audio-grounded cost representations. For intra-category soundingness discovery, we devise Audio-Modulated Cost Generation (AMCG) and Audio-Guided Temporal Aggregation (AGTA) modules to enable both frame-level sounding region highlighting and video-level temporal refinement with a low-intrusive audio injection mechanism. For inter-category distractor discrimination, we introduce a Synergistic Distractor Mining (SDM) strategy, which selectively penalizes acoustically and semantically confusing negative categories to learn more discriminative decision boundaries. Extensive experiments on the AVSBench-OV dataset demonstrate that our method significantly outperforms previous state-of-the-art approaches, particularly on unseen categories. Code is available at https://github.com/spyflying/AGCL.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.29121v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.