Incremental Layer-wise Self-Supervised Learning for Efficient Speech Domain Adaptation On Device
원문 초록
Streaming end-to-end speech recognition models have been widely applied to mobile devices and show significant improvement in efficiency. These models are typically trained on the server using transcribed speech data. However, the server data distribution can be very different from the data distribution on user devices, which could affect the model performance. There are two main challenges for on device training, limited reliable labels and limited training memory. While self-supervised learning algorithms can mitigate the mismatch between domains using unlabeled data, they are not applicable on mobile devices directly because of the memory constraint. In this paper, we propose an incremental layer-wise self-supervised learning algorithm for efficient speech domain adaptation on mobile devices, in which only one layer is updated at a time. Extensive experimental results demonstrate that the proposed algorithm obtains a Word Error Rate (WER) on the target domain $24.2\%$ better than supervised baseline and costs $89.7\%$ less training memory than the end-to-end self-supervised learning algorithm.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Fine-Tuning Self-Supervised Learning Models for End-to-End Pronunciation Scoring
Evaluating Variants of wav2vec 2.0 on Affective Vocal Burst Tasks
자기지도 음성 모델을 이용한 L2 발음 편차 측정용 원어민 기준 좌표 기하학
A Native-Reference Coordinate Geometry for L2 Pronunciation Deviation Using Self-Supervised Speech Models
STATERA: 동결된 시간 튜브릿을 활용한 제로샷 Sim-to-Real 기구학 기반 숨겨진 질량 추정
STATERA: Hidden Mass Estimation via Zero-Shot Sim-to-Real Kinematics using Frozen Temporal Tubelets
프레임 수준의 외형을 위해 사전학습(pre-training)된 비전 모델들은 종종 움직임으로부터 숨겨진 물리적 특성을 추론하는 데 어려움을 겪습니다. 본 연구에서는 자기 가림(self-occlusion)으로 인해 표면 단서와 포인트 트래킹의 신뢰성이 떨어지는 짧은 단안(monocular) 비디오로부터 불투명하고 비대칭인 강체의 질량 중심(CoM) 위치를 파악하는 문제를 다룹니다. 우리는 대부분 동결된 가중치와 경량 시간 튜브릿 믹서(temporal tubelet mixer)를 갖춘 사전학습 비디오 백본(V-JEPA)을 활용하여 프레임별 CoM 히트맵과 궤적을 예측하는 STATERA를 제안합니다. 이 태스크를 지원하기 위해 5만 개의 MuJoCo 궤적과 물리적으로 보정된 실제 CoM 정답(ground truth)이 포함된 63개 시퀀스의 실제 환경 테스트 세트로 구성된 HiddenMass 벤치마크를 도입합니다. 시뮬레이션에서 STATERA-50K-Sigma는 정규화된 CoM 오차를 41.7%(DINOv2)에서 25.2%로 개선합니다. 제로샷(zero-shot) sim-to-real 전이에서 우리는 지도 방식의 근본적인 트레이드오프를 관찰했습니다. 위상 인식(phase-aware) 타깃은 양봉(bimodal) 예측을 유도할 수 있는 반면, 위상 무관(phase-agnostic) 타깃은 통계적으로 안전한 중심점(centroid)으로 붕괴될 수 있습니다. 그럼에도 불구하고, 위상 인식 기반의 STATERA-50K-Crescent는 평가된 방법 중 실제 숨겨진 오프셋을 향해 일관된 움직임을 보여준 유일한 방법입니다. 이는 정적 기하학적 중심점에 비해 절대 유클리드 오차를 미세하게 증가시키는 단안 벡터 오버슈트 아티팩트를 유발하지만, 물리적 포착률(physics capture)을 2.6%에서 41.0%로 향상시킵니다. 이러한 결과는 동결된 시간 표현이 숨겨진 매개변수 추정을 위해 시각적 기하 구조로부터 관성 역학을 더 잘 분리할 수 있음을 시사합니다.
TransBERT: 도메인 특화 언어 모델링을 위한 합성 번역 프레임워크
TransBERT: A Framework for Synthetic Translation in Domain-Specific Language Modeling
전문 도메인에서 비영어권 언어 데이터가 부족하다는 점은 효과적인 자연어 처리(NLP) 도구의 개발을 크게 제한한다. 본 논문에서는 오직 합성 번역된 텍스트만을 사용하여 언어 모델을 사전학습하는 새로운 프레임워크인 TransBERT를 제시하고, 확장 가능한 번역 툴킷인 TransCorpus를 함께 소개한다. 프랑스어 생명과학 도메인에 초점을 맞춘 본 접근법은, 합성 번역 데이터만을 활용하여도 다양한 다운스트림 태스크에서 최고 수준(state-of-the-art)의 성능을 달성할 수 있음을 보여준다. 우리는 TransCorpus 툴킷, TransCorpus-bio-fr 코퍼스(36.4GB 분량의 프랑스어 생명과학 텍스트), 이와 연관된 사전학습 언어 모델인 TransBERT-bio-fr, 그리고 사전학습과 미세조정 모두를 위한 재현 가능한 코드를 공개한다. 본 연구의 결과는 자원이 풍부한 번역 방향에서의 합성 번역이, 저자원 언어/도메인 쌍에서 고품질 NLP 자원을 구축하는 데 실효성이 있음을 보여준다.
짧은 구간을 넘어서: 벡터 아카이브로 화자 임베딩 확장
Beyond Short Segments : Expanding Speaker Embeddings with Vector Archives
최신 화자 검증(SV) 시스템은 짧은 발화에서는 화자 고유 정보가 부족해 성능이 크게 저하된다. 이 문제에 대응하기 위해, 짧은 길이 음성에서 특징 추출을 강화하도록 설계한 Vector Archive Mapping ECAPA(VAM-ECAPA)라는 새로운 시스템을 제안한다. 본 시스템의 핵심은 트랜스포머 기반 Vector Archive Mapping with Statistical Pooling(TVAMSP) 모듈로, 정보가 빈약한 특징을 학습 가능한 표준 화자 특성 Vector Archive에 매핑하여 풍부하게 만든다. TVAMSP 모듈을 강력한 WavLM+ECAPA-TDNN 기준선에 통합함으로써, 짧은 구간의 희소 특징을 견고하고 판별력 있는 화자 표현으로 매핑하도록 학습한다. VoxCeleb1 벤치마크 실험에서 제안 VAM-ECAPA는 1초 테스트 구간에서 EER 8.334%라는 매우 경쟁력 있는 성능을 달성했으며, 이는 관례적으로 학습한 기준선 대비 상대 오류 54.8% 감소에 해당한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.