arXiv:2610.07046v1 eess.AS

GIVE-KWS: 노이즈에 강인한 예시 기반 질의 키워드 검출을 위한 시각적 증거의 게이트 주입

GIVE-KWS: Gated Injection of Visual Evidence for Noise-Robust Query-by-Example Keyword Spotting

Ming-Hsiang Hu, Kuan-Tang Huang, Hung-Shin Lee, Berlin Chen

제출 2026-10-05

저자 비고

arXiv Comments

Submitted to ICASSP 2027

한국어 초록

시각적 음성은 잡음에 강인한 키워드 검출(keyword spotting)을 가능하게 할 잠재력을 지니지만, 시각 스트림이 반드시 효과적으로 활용되는 것은 아닙니다. 3개 모달리티(tri-modal) 기반의 예시 기반 질의 키워드 검출(QbyE-KWS) 벤치마크에서, 본 연구는 태스크 학습된 시각 인코더를 갖춘 시스템의 등가 오류율(EER)이 -10 dB 조건에서 텍스트 및 오디오 기반 시스템과 2%포인트 이내로 근접함을 발견하였으며, 이러한 성능 격차가 인코더의 음소 정보 부족과 연관되어 있음을 밝혔습니다. 이에 본 연구는 융합 단계인 GIVE(Gated Injection of Visual Evidence)를 통해 게이트 크로스 어텐션(gated cross-attention)으로 입술 움직임에 질의 오디오를 조건화하는 GIVE-KWS를 제안합니다. 또한 시각적 강인성이 두 가지 상호작용하는 조건, 즉 음소 정보를 포함하는 시각 표상과 오디오 특징의 크기를 재조정(rescaling)하기보다 시각적 증거를 주입하는 융합 방식에 의존함을 보입니다. 음소 정보를 담은 인코더 환경에서 주입 방식은 -10 dB 조건에서 마스킹 방식 대비 4.0~9.3 dB의 유효 SNR 이득을 제공하는 반면, 음소 정보가 부족한 인코더 환경에서는 이러한 이득이 거의 사라집니다. GIVE-KWS는 벤치마크 시스템 대비 미확인 키워드(unseen-keyword) EER을 -10 dB에서 72.9%, 평균적으로 62.8% 감소시킵니다.

원문 초록

Visual speech promises noise-robust keyword spotting, yet a visual stream is not necessarily used. On a tri-modal query-by-example keyword spotting (QbyE-KWS) benchmark, we find that a system with a task-trained visual encoder comes within 2 percentage points of a text-and-audio system in equal error rate (EER) at -10 dB, and link this gap to the encoder's lack of phonemic information. We present GIVE-KWS, whose fusion stage, GIVE (Gated Injection of Visual Evidence), conditions query audio on lip motion through gated cross-attention. We show that visual robustness depends on two interacting conditions: a phoneme-bearing visual representation, and fusion that injects visual evidence rather than rescaling audio features. Under a phoneme-bearing encoder, injection yields an effective SNR gain of 4.0-9.3 dB over masking at -10 dB, whereas under a phoneme-poor one it nearly vanishes. Relative to the benchmark system, GIVE-KWS reduces unseen-keyword EER by 72.9% at -10 dB and 62.8% on average.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.07046v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.