An Empirical Analysis of Deep Audio-Visual Models for Speech Recognition
원문 초록
In this project, we worked on speech recognition, specifically predicting individual words based on both the video frames and audio. Empowered by convolutional neural networks, the recent speech recognition and lip reading models are comparable to human level performance. We re-implemented and made derivations of the state-of-the-art model. Then, we conducted rich experiments including the effectiveness of attention mechanism, more accurate residual network as the backbone with pre-trained weights and the sensitivity of our model with respect to audio input with/without noise.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VSRo-200: 지도 학습과 멀티모달 강건성 연구를 위한 루마니아어 시각 음성 인식 데이터셋
VSRo-200: A Romanian Visual Speech Recognition Dataset for Studying Supervision and Multimodal Robustness
본 논문에서는 루마니아어 시각 음성 인식(입술 읽기)을 위한 최초의 대규모 데이터셋인 VSRo-200을 소개한다. 이 데이터셋은 실제 팟캐스트 영상 200시간으로 구성된다. 모든 샘플에는 파인튜닝된 루마니아어 자동 음성 인식(ASR) 모델이 생성한 의사 레이블(pseudo-label)이 주석으로 부여되며, 그 중 100시간 분량의 서브셋은 사람이 직접 전사하여 통합 프레임워크 내에서 지도 학습 품질에 대한 통제된 분석을 가능하게 한다. 이 데이터셋을 기반으로 저자원(low-resource) 환경에서의 시각 음성 인식 벤치마크를 구축한다. 우리는 지도 학습 품질의 영향을 체계적으로 연구하며, 고정된 데이터 규모에서는 사람 주석이 더 나은 성능을 제공하지만 의사 레이블은 확장성을 통해 지속적인 성능 향상을 가능하게 함을 보인다. 또한 엄선된 분포 외(OOD) 테스트 셋을 사용하여 도메인 이동(domain shift) 하에서의 강건성을 평가하고, 노이즈 조건에서의 오디오-비주얼 음성 인식(AVSR)을 분석한다. 이 조건에서 멀티모달 융합은 오디오 단독 모델 대비 강건성을 크게 향상시킨다. 마지막으로, VSRo-200에서 학습된 표현이 고립 단어 인식을 위한 LRRo 벤치마크로 효과적으로 전이되어 기존에 보고된 결과를 크게 상회함을 입증한다. 전반적으로 VSRo-200은 저자원 시각 음성 인식에서의 지도 학습, 도메인 일반화, 멀티모달 융합 연구를 위한 새로운 테스트베드를 제공한다.
VisualSpeaker: Visually-Guided 3D Avatar Lip Synthesis
Visual Speech Recognition in a Driver Assistance System
네덜란드어 구음장애 연속 발화에 대한 인간과 자동 인식 비교: 사례 연구
Comparing Human and Automatic Recognition of Dutch Dysarthric Continuous Speech: A Case Study
개인화된 구음장애 음성 인식(DSR) 모델 개발을 목표로, 본 연구에서는 중증 구음장애를 가진 단일 화자의 네덜란드어 연속 낭독 발화 및 자발화에 대해 인간 청취자와 세 가지 최신 범용 자동 음성 인식(ASR) 시스템(Whisper-large-V3, Google Chirp 3, Omnilingual)의 인식 성능을 비교하였다. 결과에 따르면 인간 청취자와 세 가지 범용 ASR 시스템 모두 평균 단어 오류율(WER)이 70%를 초과하여, DSR이 인간과 ASR 시스템 모두에게 매우 어려운 과제임을 보여준다. 구음장애 발화에 대한 미세조정은 WER을 크게 감소시켰다. 전체 WER이 여전히 상당히 높지만(>23%), 개인화된 DSR 모델은 인간 청취자를 능가하였으며, 구음장애 화자의 일상 의사소통 지원에 활용 가능한 수준에 점차 가까워지고 있다. 향후 연구는 자발화에서의 개인화 DSR 성능 향상과 낭독 발화에서의 긴 발화 처리에 집중해야 하며, 특정 음소에 대한 심층적인 분석이 필요하다.
ASR을 위한 Speech-LLM 통합의 재고: 인터리빙을 통한 효과적인 음성-텍스트 공동 학습
Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving
음성-LLM(Speech-LLM) 통합은 방대한 텍스트 사전학습(pre-training)을 활용하여 유망한 결과를 보여주었으나, 자동 음성 인식(ASR)에 대한 구체적인 이점은 여전히 불분명하다. 본 연구에서는 지도 ASR 학습(training) 데이터가 증가함에 따라 LLM 사전확률(prior)의 기여도가 덜 뚜렷해지며, 단순한 음성-텍스트 공동 학습은 텍스트 지식을 충분히 활용하지 못한다는 점을 관찰하였다. 이에 따라 연속적인 입력을 수용하는 Speech-LLM 아키텍처를 위해 정렬된 쌍 내에서 단어 및 세그먼트 수준의 음성-텍스트 인터리빙(interleaved) 시퀀스를 구성하는 ASR 지향 사전학습 전략인 JSTIP(Joint Speech-Text Interleaved Pretraining)을 제안한다. 38,000시간의 ASR 데이터에 대한 실험 결과, ASR 전용 및 음성-텍스트 공동 학습 베이스라인 대비 일관된 개체명(entity) 정확도 향상을 보였다. JSTIP은 합성 음성-텍스트 쌍과 비교하여 도메인 전사 텍스트를 사용할 때 동등한 수준의 개체명 인식 성능을 달성하여 도메인 적응을 단순화한다. 텍스트 사전학습 및 도메인 텍스트 데이터의 이점을 바탕으로, JSTIP은 의료 개체명 인식에서 오픈소스 ASR 및 Speech-LLM 시스템과 경쟁력 있는 성능을 보인다. 나아가 제로샷(zero-shot) 음성 질의응답 양상은 인터리빙이 음성-텍스트 모달리티 간극을 줄이고 LLM의 생성적 사전확률을 보존함을 시사하며, 이는 ASR 태스크에서 개체명 성능이 향상된 이유일 가능성이 높다.
이벤트 스트림의 시간 양자화에서 견고성-해상도 트레이드오프
On The Robustness-Resolution Tradeoff In Temporal Quantization Of Event Streams
이벤트 파이프라인은 종종 학습 전에 비동기 타임스탬프를 이산화한다. 이 단계는 무해해 보이지만, 안정성은 시간 해상도에 직접적으로 의존한다. 우리는 표현 수준에서 이러한 의존성을 연구한다. 먼저 경직된 시간 빈ning(hard temporal binning)이 불연속임을 보인다. 경계 근처에서 임의로 작은 타임스탬프 이동만으로도 단위 이벤트 질량이 빈(bin) 사이로 이동할 수 있다. 이어서 비음(nonnegative), 질량 보존(mass-preserving), 해상도 충실(resolution-faithful) 연속 인코더의 한 클래스를 정의하고, 이 클래스에 속하는 모든 인코더의 전역 L1 민감도(sensitivity)가 최소 2/Δ(Δ는 빈 너비)임을 증명한다. 선형 2-bin 보간이 이 한계에 도달한다. 국소 지지(local support)와 1차 모멘트 보존(first-moment preservation) 또한 이를 유일하게 만든다. SHD, N-MNIST, DVS128 Gesture에서의 실험이 분석을 뒷받침한다. 균일한 타임스탬프 예산 전반에서 선형 보간은 평균 표현 drift를 47–72% 낮추면서 clean 정확도는 거의 변하지 않게 유지한다. DVS Gesture에서는 테스트된 모든 예산과 세 개의 시드에 걸쳐 예측 전환(prediction flip)이 0이다. SHD에서는 측정된 drift가 R² = 0.992와 함께 1/Δ를 따른다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.