arXiv:2303.07592

Lightweight feature encoder for wake-up word detection based on self-supervised speech representation

Hyungjun Lim, Younggwan Kim, Kiho Yeom, Eunjoo Seo, Hoodong Lee, Stanley Jungkyu Choi, Honglak Lee

제출 2023-03-14

원문 초록

Self-supervised learning method that provides generalized speech representations has recently received increasing attention. Wav2vec 2.0 is the most famous example, showing remarkable performance in numerous downstream speech processing tasks. Despite its success, it is challenging to use it directly for wake-up word detection on mobile devices due to its expensive computational cost. In this work, we propose LiteFEW, a lightweight feature encoder for wake-up word detection that preserves the inherent ability of wav2vec 2.0 with a minimum scale. In the method, the knowledge of the pre-trained wav2vec 2.0 is compressed by introducing an auto-encoder-based dimensionality reduction technique and distilled to LiteFEW. Experimental results on the open-source "Hey Snips" dataset show that the proposed method applied to various model structures significantly improves the performance, achieving over 20% of relative improvements with only 64k parameters.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13178v1cs.CV공통 태그 Self-Supervised Learning, Dimensionality Reduction

비지도 강철 표면 결함 인식을 위한 마스크드 오토인코더 접근법

A Masked Autoencoder Approach to Unsupervised Steel Surface Defect Recognition

강철 표면 결함의 자동화 시각 검사는 반복적인 품질 관리 작업으로, 라벨이 있는 결함 데이터는 부족하고 획득 비용이 크지만 라벨이 없는 표면 이미지는 풍부하다. 이는 클래스 라벨 없이 유용한 표현을 학습하는 자기지도학습(self-supervised) 방법의 필요성을 보여 준다. 본 연구에서는 비지도 그루핑을 위해 강철 표면 결함의 표현을 학습하기 위해 트랜스포머 기반 마스크드 오토인코더를 사용한다. 사전학습(pre-training) 동안 입력 이미지 패치의 75%를 무작위로 마스킹하고, 경량 디코더가 보이는 25%로부터 마스킹된 영역을 재구성한다. 인코더는 보조 결함 위치 지정(localization) 목표와 공동으로 학습되며, 이 목표는 학습 신호로만 사용되고 검출기로서 평가되지는 않는다. 디코더는 구조적 유사도(structural similarity) 점수 0.92와 평균 제곱 오차(mean squared error) 0.47을 달성한다. 사전학습된 인코더의 특징은 차원 축소(dimensionality reduction)를 위해 UMAP과 응집적 클러스터링(Agglomerative clustering)을 사용하여 클러스터링되며, 알려진 6개 결함 범주에 대해 Hungarian 매칭 정확도 91.3%에 도달한다.

arXiv:2609.38840v3cs.LG공통 태그 Dimensionality Reduction

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

arXiv:2607.09767v2eess.SP공통 태그 Self-Supervised Learning

특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화

Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction

이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.

arXiv:2610.10857v2cs.AI공통 태그 Self-Supervised Learning

호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견

Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning

비마르코프 환경에서의 행동 복제(BC)는 정책이 장기 지평에 걸친 문맥 정보를 추론해야 하므로 어려운 문제이다. 기존 정책 아키텍처는 장기 의존성을 포착하기 위해 순환 또는 어텐션 기반 메커니즘에 의존한다. 그러나 순환 모델은 시간에 대한 역전파에서 은닉 상태 붕괴와 기울기 불안정성을 겪으며, 어텐션 기반 모델은 근본적으로 문맥 길이에 의해 제한된다. 이러한 문제를 해결하기 위해 본 논문은 무작위로 추출한 과거 관측으로부터 목적 함수를 학습하고 이를 키프레임 선택의 보상으로 사용하여 정보상 핵심적인 관측 집합($\textit{mnemonics}$)을 $\textit{발견}$하는 새로운 자기지도 방법인 Keyframe Mnemonics를 제안한다. 이후 발견된 키프레임을 조건으로 하는 BC 정책을 학습하여 행동 분포를 모델링한다. 단순성 편향 가정 하에서, 본 정식화는 정책의 작업 기억에 의사결정과 관련된 소수의 키프레임만을 유지하면서도 무한 지평에 걸친 문맥 유지 보장을 제공한다. 합성 기억 도메인에서 평가한 결과, mnemonic 조건부 BC 정책은 $100$%의 성공률(SR)을 달성하고 성능 저하 없이 학습 지평을 수 자릿수 넘어서는 지평으로 일반화한다. 또한 기억 집약적인 로봇 조작 벤치마크에서 $23$개 과제에 걸쳐 가장 강력한 기준선 대비 평균 절대 SR이 $13.9$% 향상되었다. 마지막으로 실제 로봇에서 $20\times$ 더 긴 시간 지평에서도 $80$%의 SR로 일반화됨을 보인다. 코드와 영상은 https://keyframe-mnemonics.github.io 에서 확인할 수 있다.

arXiv:2607.10430v2q-bio.NC공통 태그 Dimensionality Reduction

인공 신경망에서 표현 학습을 통한 창발적 일반화

Emergent Generalization by Representation Learning in Artificial Neural Networks

차원 축소는 고차원 신경 활동의 기저에 있는 저차원 구조인 신경 다양체를 식별하는 데 강력한 것으로 입증되었다. 이러한 저차원 표현은 집단 수준 부호화의 해석 가능성을 높여 왔다. 그러나 이러한 저차원 표현이 생물학적으로 의미가 있고 학습 시스템에서 기능적 이점을 제공하는지, 아니면 단지 뉴런 수준의 활동을 반영할 뿐인지는 신경과학에서 여전히 논쟁 중이다. 우리는 순환 신경망이 저차원 표현을 학습하도록 강제하는 명시적 정보 병목이 시계열 예측 과제에서 회전 일반화와 분포 외 일반화에 필수적임을 보인다. 인과적 창발에 대한 정보 이론적 측정치를 사용하여 암기에서 일반화로의 전이 전반에 걸친 이 표현의 동역학을 규명한 결과, 예측 손실이 단조롭게 감소하는 동안에도 초기 감소, 최소값, 이후 최대값까지의 상승을 보이는 비단조적 궤적을 발견했다. 이 궤적은 과제 복잡도에 따라 변하며, 창발적 구조의 크기는 일반화 성능을 신뢰할 수 있게 예측한다. 교대 미로 과제를 학습하는 쥐의 해마 CA1과 내측 전전두엽 활동을 분석하면 행동 수행을 따라가는 유사한 비단조적 창발 동역학이 나타난다. 이러한 결과는 종합하면 신경망이 간결하고 분산되며 창발적인 표현을 학습하는 능력이 일반화에 기능적 이점을 제공함을 시사하며, 인지에서 학습된 표현이 인과적 역할을 한다는 주장을 뒷받침한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.