LiRA: Learning Visual Speech Representations from Audio through Self-supervision
원문 초록
The large amount of audiovisual content being shared online today has drawn substantial attention to the prospect of audiovisual self-supervised learning. Recent works have focused on each of these modalities separately, while others have attempted to model both simultaneously in a cross-modal fashion. However, comparatively little attention has been given to leveraging one modality as a training objective to learn from the other. In this work, we propose Learning visual speech Representations from Audio via self-supervision (LiRA). Specifically, we train a ResNet+Conformer model to predict acoustic features from unlabelled visual speech. We find that this pre-trained model can be leveraged towards word-level and sentence-level lip-reading through feature extraction and fine-tuning experiments. We show that our approach significantly outperforms other self-supervised methods on the Lip Reading in the Wild (LRW) dataset and achieves state-of-the-art performance on Lip Reading Sentences 2 (LRS2) using only a fraction of the total labelled data.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
전사에서 의미 코퍼스 분석까지: 고대 언어를 위한 문장 표현의 비지도 학습
From transcription to semantic corpus analysis: unsupervised learning of sentence representations for ancient languages
자동 문자 인식(ATR, Automatic Text Recognition)은 이제 디지털 인문학에 고대 언어의 비구조적이고 이질적이며 종종 노이즈가 많은 대량의 텍스트를 제공한다. 하위 의미 분석—텍스트 재사용 식별, 정렬, 의미 검색—은 문장 임베딩에 의존하지만, 기존 방법은 고대 언어로의 전이가 잘 되지 않는다: 범용 다국어 인코더는 성능이 낮고, 특화 언어 모델은 이방성(anisotropic) 표현 공간을 만들며, 라벨이 붙은 유사도 데이터를 구할 수 없다. 우리는 원문 문장만을 사용하여 특화 토큰 수준 언어 모델을 코퍼스 특화 문장 인코더로 적응시키는 두 가지 완전 비지도 전략—TSDAE와 대조적 문장 임베딩(CSE, contrastive sentence embedding)—을 연구한다. 교부 문헌(patristic literature)에서 성경 재사용이라는 필독학적으로 핵심적인 사례(아우구스티누스, 히에로니무스, 아타나시우스의 라틴어 및 고대 그리스어 전문가 검증 병렬 구문 2,935개)에서, 우리는 재사용 식별을 두 가지 별도 평가 과제—이진 탐지와 대응 검색—로 분해하고, 적응된 인코더를 다국어, 특화, 증류, 지도 미세조정 기준선과 비교 벤치마크하며, HTR(손글씨 문자 인식) 아티팩트와 필사 약어를 시뮬레이션한 인위적 노이즈 데이터에서도 평가한다. 적응된 인코더는 두 과제 모두에서 모든 기준선을 능가하며, 상호 보완적인 특성을 보인다: TSDAE는 대규모 도메인 내 코퍼스가 주어졌을 때 탐지에서 우수하고, CSE는 검색에서 우수하며, 원시 도메인 내 문장 4–8천 개만으로 최적에 도달한다—노트북 GPU에서 수십 초의 학습—그리고 저작물과 저자에 걸쳐 전이되며, ATR 후 노이즈 텍스트에 직접 재학습할 때도 마찬가지다. UMAP 아틀라스는 각 전략의 기하학적 효과를 측정된 성능 향상과 연관 짓고, 전체 파이프라인—분할, 미세조정, 교차 코퍼스 의미 검색—은 온라인 도구 Paraphrasis를 통해 비전문가에게 제공된다.
특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화
Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction
이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.
Shape-based Figure-Ground Organization in Vision Transformers
호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
공정한 자기지도 학습을 위한 편향 없는 Open World 정규화
Unbiased Open World Regularization for Fair Self-Supervised Learning
SPERA: 기하학 및 주파수 인식 잠재 예측을 적용한 구면 사전분포 기반 뇌파 파운데이션 모델
SPERA: Spherical Prior EEG Foundation Model with Geometry- and Frequency-Aware Latent Prediction
토론
이 논문과 연결된 포럼 글이 아직 없습니다.