arXiv:1910.00341

Additional Shared Decoder on Siamese Multi-view Encoders for Learning Acoustic Word Embeddings

Myunghun Jung, Hyungjun Lim, Jahyun Goo, Youngmoon Jung, Hoirin Kim

제출 2019-10-01

원문 초록

Acoustic word embeddings --- fixed-dimensional vector representations of arbitrary-length words --- have attracted increasing interest in query-by-example spoken term detection. Recently, on the fact that the orthography of text labels partly reflects the phonetic similarity between the words' pronunciation, a multi-view approach has been introduced that jointly learns acoustic and text embeddings. It showed that it is possible to learn discriminative embeddings by designing the objective which takes text labels as well as word segments. In this paper, we propose a network architecture that expands the multi-view approach by combining the Siamese multi-view encoders with a shared decoder network to maximize the effect of the relationship between acoustic and text embeddings in embedding space. Discriminatively trained with multi-view triplet loss and decoding loss, our proposed approach achieves better performance on acoustic word discrimination task with the WSJ dataset, resulting in 11.1% relative improvement in average precision. We also present experimental results on cross-view word discrimination and word level speech recognition tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.10256v1cs.CL공통 태그 speech-recognition, Speech Recognition

어떤 언어가 Warlpiri에 가장 잘 전이되는가? 저자원 ASR을 위한 유사도 기반 연구

Which Languages Transfer Best to Warlpiri? A Similarity-Based Study for Low-Resource ASR

이 논문은 극도로 저자원인 환경에서 자동 음성 인식(ASR)의 교차 언어 전이를 개선하기 위해 언어 유사도를 활용하는 방법을 탐구한다. 호주 원주민 언어인 Warlpiri는 전사된 음성 데이터가 매우 제한적이어서 전이학습이 필수적이다. 본 연구는 사전학습된 음성 모델에서 도출한 음향 유사도와 유형론, 음소 목록, 문법적·통사적 특징에 기반한 언어학적 유사도를 결합하는 프레임워크를 제안하여, 고자원 소스 언어들의 순위를 산정하고 Warlpiri로의 ASR 전이에서 그 효과를 평가한다. Whisper를 이용한 실험에서 음향적·유형론적으로 유사한 언어들이 단일 언어 및 다국어 기준선을 능가하는 것으로 나타났다. 아삼어(Assamese)와 힌디어(Hindi)는 단어 오류율 및 문자 오류율에서 상당한 감소를 달성하였다. 상관관계 분석 결과, 음향 유사도가 미세조정 성능의 가장 강력한 예측 인자임이 확인되었으며, 음소 목록과 유형론적 유사도는 제로샷 전이를 더 잘 설명하는 것으로 나타났다.

arXiv:2607.10371v1eess.AS공통 태그 speech-recognition, Speech Recognition

GigaAM Multilingual: 저자원 언어를 위한 파운데이션 모델

GigaAM Multilingual: Foundation Model for Underrepresented Languages

최근의 스케일링 성공에도 불구하고, 다국어 자동 음성 인식(ASR) 성능은 여전히 매우 불균등하며, 롱테일 언어들은 심각한 데이터 부족 문제를 겪고 있다. 본 연구는 저자원 중앙아시아 언어(카자흐어, 키르기스어, 우즈베크어)를 위한 강건한 파운데이션 모델 구축의 과제를 다룬다. 우리는 HuBERT 방식의 목표 함수를 사용하여 200만 시간의 오디오로 사전학습된 Conformer 인코더인 GigaAM Multilingual을 제안한다. 핵심적으로, 고자원 언어 편향을 완화하기 위해 사전학습 단계에서 클러스터 수준의 데이터 균형 전략을, 미세조정 단계에서 도메인 인식 샘플링 방법을 도입한다. 통제된 비교 실험에서, 우리의 접근법은 타겟 언어에 대해 강력한 공개 사전학습 인코더(Whisper Large v3, Omnilingual-1B)를 능가하며, 효율성을 유지하면서 자발화에서 상당한 성능 향상을 달성한다. 우리는 파운데이션 인코더와 ASR 모델을 공개하여, 현실적인 데이터 불균형 환경에서의 효과적인 다국어 적응을 위한 검증된 레시피를 제공한다.

arXiv:2607.11163v1cs.CL공통 태그 speech-recognition, Speech Recognition

통합 그래디언트 투영: 다국어 저자원 ASR을 위한 언어 균형 지속 학습

Unified Gradient Projection: Language-Balanced Continual Learning for Multilingual Low-Resource ASR

Whisper와 같은 대규모 사전학습 자동 음성 인식(ASR) 모델은 강력한 다국어 능력을 보인다. 그러나 저자원 언어에 대한 미세조정은 파국적 망각을 유발하는 경우가 많다. 지속 학습이 이 문제를 완화하지만, 기존 방법들은 지배적 언어가 최적화에 바이어스를 주는 다국어 환경에서 태스크 간 간섭을 조절하는 데 어려움을 겪는다. 우리는 통합 투영 공간에서 언어 균형 리플레이로부터의 참조 그래디언트를 사용하여 매개변수 업데이트를 제약하는 통합 그래디언트 투영(UGP)을 제안한다. 투영에서 언어별 기여를 균등화함으로써 UGP는 지배적 언어 바이어스를 줄이고 교차 언어 안정성을 향상시킨다. 나아가 그래디언트 수준의 투영과 데이터 수준의 리플레이를 결합하면 안정성과 가소성 측면에서 상호 보완적인 이점을 얻을 수 있음을 보인다. 다양한 저자원 언어 그룹과 모델 규모에 걸쳐 UGP는 효과적인 적응을 가능하게 하면서 망각을 크게 완화한다. Whisper-large-v3에서는 평균 망각이 거의 0에 가까운 수준을 달성한다.

arXiv:2607.11096v1cs.CV공통 태그 speech-recognition, Decoder

차분 기반 게이팅: U-Net 디코더를 위한 적응적 특징 융합

Difference-Driven Gating: Adaptive Feature Fusion for U-Net Decoder

U-Net 스타일 모델은 다양한 응용 분야에서 널리 사용되어 왔다. 이 모델들의 핵심 단계는 탑다운(top-down) 디코더를 사용하여 저수준 특징을 재구성하는 것이다. 이 재구성에는 고수준 의미 정보와 저수준 세부 정보의 정밀한 융합이 요구된다. 기존의 어텐션 기반 융합 방법들은 일반적으로 탑다운 디코더 특징(전역)만으로부터 어텐션 가중치를 도출하거나, 탑다운 디코더 특징과 바텀업(bottom-up) 인코더 특징 간의 상관관계(지역)로부터 어텐션 가중치를 도출한 뒤, 이 가중치를 사용하여 인코더 특징을 조절한다. 본 연구에서는 두 특징 스트림 간의 차분으로부터 어텐션 가중치를 도출하는 새로운 패러다임을 탐구한다. 이를 위해 두 가지 차분 기반 게이팅 방법을 제안한다: 전역 특징과 지역 특징 간의 절댓값 차분을 직접 사용하여 적응적 게이팅 맵을 생성하는 특징 차분 게이팅(FDG, Feature-difference Gating)과, 정보 엔트로피를 통해 각 스트림의 표현 확실성을 측정하고 부호화된 엔트로피 차분으로부터 어텐션 가중치를 도출하는 엔트로피 차분 게이팅(EDG, Entropy-difference Gating)이다. 두 방법 모두 전역 특징과 지역 특징을 동시에 조절하는 결합된 게이팅 맵을 생성한다. 의료 이미지 분할, 원격 감지 이미지 구름 제거, 음성 분리를 포함한 다양한 태스크에 대한 실험 결과, 두 방법 모두 기존의 어텐션 기반 융합 방법을 능가하였으며, EDG가 더 우수한 성능을 보였다. 이 결과는 U-Net 스타일 구조에서의 다중 스케일 특징 융합을 위한 새로운 패러다임을 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.