한국어 초록
표준 LRS3 벤치마크에서 AVSR(음성-영상 인식)은 1% 미만의 단어 오류율을 달성했지만, 방송 음성에 대한 의존은 이것이 진정한 일반화를 반영하는지, 아니면 단순히 도메인 적응에 그친 것인지 불분명하게 한다. 이 격차를 조사하기 위해 우리는 여섯 가지 조건에서 세 가지 AVSR 아키텍처를 평가한다: 통제된 방송 음성, 고정 문법 발화, 과발음 Lombard 음성, 전문 및 비전문 립스피커의 낭독 음성, 자발적 다자간 영상 대화. 방송 도메인을 넘어서면 시각 전용 성능이 급격히 저하되며, 음성-영상 융합은 주로 Lombard 음성 환경에서 이득을 준다. 시각 이해는 90° 측면(profile) 시야에서 급격히 악화되고, 다중 모달 시스템은 대체로 음향 대체(fallback)에 의존한다. 또한 화자 발음은 사소한 카메라 이동보다 더 결정적이며, LLM 기반 아키텍처는 도메인 외 일반화가 취약하다. 본 연구는 현재 AVSR 연구의 상당한 일반화 격차를 강조한다. 이를 해결하기 위해 AVSR용 새 벤치마크 RoomReader-AV를 소개하고, 포괄적인 다중 조건 평가를 접근 가능하게 하기 위해 통합 데이터 전처리 파이프라인을 공개한다.
원문 초록
While AVSR has achieved sub-1% word error rates on the standard LRS3 benchmark, its reliance on broadcast speech obscures whether this reflects true generalization or just domain adaptation. To investigate this gap, we evaluate three AVSR architectures across six conditions: controlled broadcast speech, fixed-grammar utterances, hyper-articulated Lombard speech, read speech from professional lipspeakers and non-professional speakers, and spontaneous multi-party video conversations. We find that visual-only performance deteriorates rapidly beyond broadcast domains, and audio-video fusion mainly benefits Lombard speech environments. Visual understanding degrades sharply at 90° profile views, with multimodal systems relying largely on acoustic fallback. Additionally, speaker articulation proves more critical than minor camera shifts, and LLM-based architectures suffer from poor out-of-domain generalization. Our work highlights a significant generalization gap in current AVSR research. To address this, we also introduce RoomReader-AV as a new benchmark for AVSR and release a unified data preprocessing pipeline to make comprehensive multi-condition evaluation accessible.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.10366v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.