arXiv:1802.05521

Deep Learning for Lip Reading using Audio-Visual Information for Urdu Language

M Faisal, Sanaullah Manzoor

제출 2018-02-15

원문 초록

Human lip-reading is a challenging task. It requires not only knowledge of underlying language but also visual clues to predict spoken words. Experts need certain level of experience and understanding of visual expressions learning to decode spoken words. Now-a-days, with the help of deep learning it is possible to translate lip sequences into meaningful words. The speech recognition in the noisy environments can be increased with the visual information [1]. To demonstrate this, in this project, we have tried to train two different deep-learning models for lip-reading: first one for video sequences using spatiotemporal convolution neural network, Bi-gated recurrent neural network and Connectionist Temporal Classification Loss, and second for audio that inputs the MFCC features to a layer of LSTM cells and output the sequence. We have also collected a small audio-visual dataset to train and test our model. Our target is to integrate our both models to improve the speech recognition in the noisy environment

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08112v1cs.CV공통 태그 speech-recognition, Speech Recognition, Lip Reading

VSRo-200: 지도 학습과 멀티모달 강건성 연구를 위한 루마니아어 시각 음성 인식 데이터셋

VSRo-200: A Romanian Visual Speech Recognition Dataset for Studying Supervision and Multimodal Robustness

본 논문에서는 루마니아어 시각 음성 인식(입술 읽기)을 위한 최초의 대규모 데이터셋인 VSRo-200을 소개한다. 이 데이터셋은 실제 팟캐스트 영상 200시간으로 구성된다. 모든 샘플에는 파인튜닝된 루마니아어 자동 음성 인식(ASR) 모델이 생성한 의사 레이블(pseudo-label)이 주석으로 부여되며, 그 중 100시간 분량의 서브셋은 사람이 직접 전사하여 통합 프레임워크 내에서 지도 학습 품질에 대한 통제된 분석을 가능하게 한다. 이 데이터셋을 기반으로 저자원(low-resource) 환경에서의 시각 음성 인식 벤치마크를 구축한다. 우리는 지도 학습 품질의 영향을 체계적으로 연구하며, 고정된 데이터 규모에서는 사람 주석이 더 나은 성능을 제공하지만 의사 레이블은 확장성을 통해 지속적인 성능 향상을 가능하게 함을 보인다. 또한 엄선된 분포 외(OOD) 테스트 셋을 사용하여 도메인 이동(domain shift) 하에서의 강건성을 평가하고, 노이즈 조건에서의 오디오-비주얼 음성 인식(AVSR)을 분석한다. 이 조건에서 멀티모달 융합은 오디오 단독 모델 대비 강건성을 크게 향상시킨다. 마지막으로, VSRo-200에서 학습된 표현이 고립 단어 인식을 위한 LRRo 벤치마크로 효과적으로 전이되어 기존에 보고된 결과를 크게 상회함을 입증한다. 전반적으로 VSRo-200은 저자원 시각 음성 인식에서의 지도 학습, 도메인 일반화, 멀티모달 융합 연구를 위한 새로운 테스트베드를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.