GIVE-KWS: 노이즈에 강인한 예시 기반 질의 키워드 검출을 위한 시각적 증거의 게이트 주입
GIVE-KWS: Gated Injection of Visual Evidence for Noise-Robust Query-by-Example Keyword Spotting
한국어 초록
시각적 음성은 잡음에 강인한 키워드 검출(keyword spotting)을 가능하게 할 잠재력을 지니지만, 시각 스트림이 반드시 효과적으로 활용되는 것은 아닙니다. 3개 모달리티(tri-modal) 기반의 예시 기반 질의 키워드 검출(QbyE-KWS) 벤치마크에서, 본 연구는 태스크 학습된 시각 인코더를 갖춘 시스템의 등가 오류율(EER)이 -10 dB 조건에서 텍스트 및 오디오 기반 시스템과 2%포인트 이내로 근접함을 발견하였으며, 이러한 성능 격차가 인코더의 음소 정보 부족과 연관되어 있음을 밝혔습니다. 이에 본 연구는 융합 단계인 GIVE(Gated Injection of Visual Evidence)를 통해 게이트 크로스 어텐션(gated cross-attention)으로 입술 움직임에 질의 오디오를 조건화하는 GIVE-KWS를 제안합니다. 또한 시각적 강인성이 두 가지 상호작용하는 조건, 즉 음소 정보를 포함하는 시각 표상과 오디오 특징의 크기를 재조정(rescaling)하기보다 시각적 증거를 주입하는 융합 방식에 의존함을 보입니다. 음소 정보를 담은 인코더 환경에서 주입 방식은 -10 dB 조건에서 마스킹 방식 대비 4.0~9.3 dB의 유효 SNR 이득을 제공하는 반면, 음소 정보가 부족한 인코더 환경에서는 이러한 이득이 거의 사라집니다. GIVE-KWS는 벤치마크 시스템 대비 미확인 키워드(unseen-keyword) EER을 -10 dB에서 72.9%, 평균적으로 62.8% 감소시킵니다.
원문 초록
Visual speech promises noise-robust keyword spotting, yet a visual stream is not necessarily used. On a tri-modal query-by-example keyword spotting (QbyE-KWS) benchmark, we find that a system with a task-trained visual encoder comes within 2 percentage points of a text-and-audio system in equal error rate (EER) at -10 dB, and link this gap to the encoder's lack of phonemic information. We present GIVE-KWS, whose fusion stage, GIVE (Gated Injection of Visual Evidence), conditions query audio on lip motion through gated cross-attention. We show that visual robustness depends on two interacting conditions: a phoneme-bearing visual representation, and fusion that injects visual evidence rather than rescaling audio features. Under a phoneme-bearing encoder, injection yields an effective SNR gain of 4.0-9.3 dB over masking at -10 dB, whereas under a phoneme-poor one it nearly vanishes. Relative to the benchmark system, GIVE-KWS reduces unseen-keyword EER by 72.9% at -10 dB and 62.8% on average.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Submitted to ICASSP 2027