arXiv:2609.10394v1 eess.AS

Candor-LR: 오디오-비주얼 음성 인식을 위한 이본 대화 데이터셋

Candor-LR: A Dyadic Conversational Dataset for Audio-Visual Speech Recognition

Rishabh Jain, Aristeidis Papadopoulos, Zhaofeng Lin, Naomi Harte

제출 2026-09-09

한국어 초록

현재 LRS3와 같은 오디오-비주얼 음성 인식(AVSR) 벤치마크는 깨끗하고 대본 기반의 연습된 발화에 크게 의존한다. 이들은 겹치는 발화, 자발적 턴 교대, 즉흥적 어휘, 가변적인 음향 조건을 포함하는 자연 대화의 복잡성을 반영하지 못한다. 분야를 현실적인 대화로 이끌기 위해, 1,656건의 자연스러운 이본 화상 회의로 구성된 CANDOR 코퍼스에서 파생된 대화형 벤치마크인 Candor-LR을 제안한다. 맞춤형 데이터 준비 파이프라인을 통해 학습, 검증, 테스트 데이터를 각각 713.5시간, 10.1시간, 60.1시간 규모로 구성한다. Candor-LR에서 사전학습된 AVSR 모델을 평가한 결과, LRS3에 비해 오디오 전용 정확도는 급격히 하락하지만, 시각적 단서가 효과적으로 보상하여 LRS3보다 Candor-LR에서 훨씬 더 큰 성능 향상을 이끈다. 또한 이 코퍼스에서 학습하면 현실적인 대화 데이터가 더 넓은 오디오-비디오 특징을 포착하기 때문에, 깨끗한 조건과 잡음 조건 모두에서 교차 도메인 견고성이 크게 향상된다. 재현성을 보장하기 위해 파이프라인을 오픈소스로 공개하며, Candor-LR을 대화형 AVSR을 위한 도전적인 벤치마크로 확립한다.

원문 초록

Current audio-visual speech recognition (AVSR) benchmarks, like LRS3, rely heavily on clean, scripted and rehearsed speech. They fail to reflect the complexity of natural conversation, which involves overlapping speech, spontaneous turn-taking, unscripted vocabulary and variable acoustic conditions. To shift the field toward realistic dialogue, we introduce Candor-LR, a conversational benchmark derived from the CANDOR corpus of 1,656 natural dyadic videoconferences. Our custom data preparation pipeline yields 713.5, 10.1, and 60.1 hours of training, validation, and test data, respectively. Evaluating pretrained AVSR models on Candor-LR reveals that audio-only accuracy drops sharply compared to LRS3, but visual cues compensate effectively, driving much larger performance gains on Candor-LR than on LRS3. Furthermore, training on this corpus significantly improves cross-domain robustness under both clean and noisy conditions, as its realistic conversational data captures broader audio-video features. We open-source our pipeline to ensure reproducibility, establishing Candor-LR as a challenging benchmark for conversational AVSR.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.10394v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.