arXiv:2304.09585

Multilingual Query-by-Example Keyword Spotting with Metric Learning and Phoneme-to-Embedding Mapping

Paul M. Reuter, Christian Rollwage, Bernd T. Meyer

제출 2023-04-19

원문 초록

In this paper, we propose a multilingual query-by-example keyword spotting (KWS) system based on a residual neural network. The model is trained as a classifier on a multilingual keyword dataset extracted from Common Voice sentences and fine-tuned using circle loss. We demonstrate the generalization ability of the model to new languages and report a mean reduction in EER of 59.2 % for previously seen and 47.9 % for unseen languages compared to a competitive baseline. We show that the word embeddings learned by the KWS model can be accurately predicted from the phoneme sequences using a simple LSTM model. Our system achieves a promising accuracy for streaming keyword spotting and keyword search on Common Voice audio using just 5 examples per keyword. Experiments on the Hey-Snips dataset show a good performance with a false negative rate of 5.4 % at only 0.1 false alarms per hour.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27074v1cs.CY공통 태그 Metric Learning, Word Embeddings

초월·비밀교 영역의 정량화: 기계학습 방법을 이용한 힌두교와 불교 신격의 비교 연구

Quantifying the Occult: A Comparative Study of Hindu and Buddhist Deities Using Machine Learning Methods

본 연구는 이중 행렬(dual-matrix) 계산 아키텍처를 도입하여 196개의 힌두교 및 어긴러(Vajrayana) 불교 비밀교(密教) 신격의 형태학적·신학적 이질성을 수학적으로 정량화한다. 물리적 형태학은 새로운 "Cardinality Weighting" 알고리즘으로 강화된 이산 Gower 거리 행렬을 통해 평가되며, 신학적 기능은 대규모 언어 모델(LLM) 의미 확장에서 생성된 밀집 벡터 임베딩(dense vector embedding)을 통해 매핑되며, 순환 논증을 완화하기 위한 합성 대리(synthetic proxy)로 명시적으로 활용된다. 다중 모달 위상(topological) 투영은 "상징(iconographic) 위장(camouflage)"의 알고리즘적 검증을 제공하며, 서로 다른 시각적 형태가 구조적으로 공유되는 전통 간 기능을 어떻게 가리는지 보여준다. 또한 본 연구는 "Atin Effect"를 계산적으로 모델링한다—이는 순차적 인지 바이어스에 대한 심리학적 관찰이자 동시에 기계학습 벤치마크로 기능하며—고카디널리티(high-cardinality) 비밀교 닻(anchor)(예: 비나(veena) 또는 잘린 머리)이 체계적 신학적 차이를 압도하여 정통(orthodox) 및 탄트라(Tantric) 존재들을 수학적으로 클러스터링하는 방식을 보여준다. 전통 간 공간 분석은 힌두교 Chinnamasta와 불교 Chinnamunda 같은 최상위 비밀교 현현(manifestation)이 시각적($D_G = 0.288$) 및 의미적($D_C = 0.068$) 경계 모두에서 거의 동일한 수학적 좌표를 공유함을 확립하며, 이는 1:1 비밀교 전승(transfer)을 시사한다. 이 아키텍처를 오픈소스로 공개함으로써, 디지털 인문학(Digital Humanities) 학자와 비교 신학(comparative theology) 연구자가 질적 문화 코퍼스 전반의 잠재적 구조적 연속성을 엄밀하게 매핑할 수 있는 확장 가능한 비지도 기계학습 도구를 제공한다.

arXiv:2605.20689v2cs.CL공통 태그 Metric Learning, Word Embeddings

DIVE: 자기 제한 그래디언트 업데이트를 통한 임베딩 압축

DIVE: Embedding Compression via Self-Limiting Gradient Updates

고차원 언어 모델 임베딩은 저장 및 검색 비용을 증가시키지만, 지도 학습 압축기는 관련성 레이블이 부족할 때 과적합될 수 있다. 본 논문에서는 DIVE(Dimensionality reduction with Implicit View Ensembles)를 제안한다. DIVE는 자기 제한(self-limiting) 힌지 손실, 기하학적 지식 증류(geometry distillation), 암시적 좌표 뷰에 대한 헤드별 NT-Xent와 함께 공동 설계된 잔차(residual) 압축 어댑터이다. 힌지 손실은 이미 만족된 순위(ranking) 제약에 대한 업데이트를 중단하고, 밀집(dense) 목적 함수는 압축된 표현을 안정화한다. 추론 시에는 첫 번째 헤드만 유지된다. 쿼리 비중복(query-disjoint) 평가에서 두 개의 LLM2Vec 백본, 다섯 개의 BEIR 벤치마크, 128차원 및 256차원 출력, 여섯 개의 베이스라인을 사용한 결과, DIVE는 다섯 개의 주요 벤치마크 모두에서 가장 강력한 어댑터이다. 또한 비지도(unsupervised) 압축기와의 비교에서 PCA 및 오토인코더(autoencoder)보다 우수한 성능을 보였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.