arXiv:2609.25007v1 eess.AS

짧은 구간을 넘어서: 벡터 아카이브로 화자 임베딩 확장

Beyond Short Segments : Expanding Speaker Embeddings with Vector Archives

Hyunku Kang, Minkyu Cho, Chanwoo Kim

제출 2026-09-23

한국어 초록

최신 화자 검증(SV) 시스템은 짧은 발화에서는 화자 고유 정보가 부족해 성능이 크게 저하된다. 이 문제에 대응하기 위해, 짧은 길이 음성에서 특징 추출을 강화하도록 설계한 Vector Archive Mapping ECAPA(VAM-ECAPA)라는 새로운 시스템을 제안한다. 본 시스템의 핵심은 트랜스포머 기반 Vector Archive Mapping with Statistical Pooling(TVAMSP) 모듈로, 정보가 빈약한 특징을 학습 가능한 표준 화자 특성 Vector Archive에 매핑하여 풍부하게 만든다. TVAMSP 모듈을 강력한 WavLM+ECAPA-TDNN 기준선에 통합함으로써, 짧은 구간의 희소 특징을 견고하고 판별력 있는 화자 표현으로 매핑하도록 학습한다. VoxCeleb1 벤치마크 실험에서 제안 VAM-ECAPA는 1초 테스트 구간에서 EER 8.334%라는 매우 경쟁력 있는 성능을 달성했으며, 이는 관례적으로 학습한 기준선 대비 상대 오류 54.8% 감소에 해당한다.

원문 초록

The performance of state-of-the-art speaker verification (SV) systems severely degrades on short utterances due to insufficient speaker-specific information. To address this critical challenge, we propose the Vector Archive Mapping ECAPA (VAM-ECAPA), a novel system designed to enhance feature extraction from short-duration speech. The core of our system is the Transformer-based Vector Archive Mapping with Statistical Pooling (TVAMSP) module, which enriches information-scarce features by mapping them against a learnable Vector Archive of canonical speaker traits. By integrating the TVAMSP module into a strong WavLM+ECAPA-TDNN baseline, our system learns to map sparse features from short segments into robust, discriminative speaker representations. Experiments on the VoxCeleb1 benchmark show that our proposed VAM-ECAPA achieves a highly competitive EER of 8.334% on 1-second test segments, a 54.8% relative error reduction compared to a conventionally-trained baseline.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.25007v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15711v1cs.LG공통 태그 Representation Learning, Benchmarking

DNA 파운데이션 모델이 서열 조성을 넘어 학습하는 것

What DNA Foundation Models Learn Beyond Sequence Composition

유전체 파운데이션 모델(FM)은 단순한 서열 조성을 넘어선 예측 정보를 제공하는가? 본 연구에서는 57개의 유전체 분류(classification) 데이터셋과 2개의 탐색적 유전자 발현 회귀 태스크에 걸쳐 정규화된 k-mer 빈도와 5개 DNA FM의 동결된(frozen) 표현을 비교 평가한다. 단순한 k-mer 피처는 대부분의 모델과 대등한 경쟁력을 유지한 반면, NTv3는 일관된 우위를 보였으며, 이러한 순위는 전역적으로 고정된 베이스라인, 다중 스케일 k-mer 베이스라인, 대안적인 다운스트림 프로브 전반에서 견고하게 유지된다. 추가적인 예측 유용성을 직접 검증하기 위해, 일치된 Random Forest 프로토콜 하에서 전역 6-mer 피처와 각 FM 임베딩(embedding)을 결합(concatenation)한 피처를 비교한다. NTv3는 57개 데이터셋 중 46개에서 성능을 향상시켰으나(평균 $Δ$MCC = +0.072), Caduceus는 더 작은 이득만을 제공했고 다른 모델들은 평균 MCC를 향상시키지 못했다. 또한 임베딩을 6-mer 빈도로부터 선형적으로 예측 가능한 성분과 릿지 잔차로 분해하여 선형적 복원 가능성이 다운스트림 유용성을 안정적으로 나타내지 못함을 발견했다. 정확한 6-mer 보존 셔플을 통해 태스크 관련 서열 순서 민감도를 추가로 규명했으며, 이는 NTv3에서 가장 두드러지게 나타났으나 순서 민감도 자체만으로는 예측 향상을 보장하지 않는다. 본 연구 결과는 조성 피처를 필수적인 대조군으로 확립하고 미세조정(fine-tuning) 능력에 대한 주장 없이도 동결된 유전체 표현의 부가가치를 평가하기 위한 상호보완적인 진단 방법을 제시한다.

arXiv:2610.15891v1cs.CV공통 태그 Self-Supervised Learning, Representation Learning

호흡 활동 및 자세 인식을 위한 JEPA 표현 기반 멀티모달 센서 융합 학습

Learning Multimodal Sensor Fusion with JEPA Representations for Breathing Activity and Pose Recognition

예측 비디오 표현 자체만으로는 결측 센서를 멀티모달 시스템이 어떻게 처리해야 하는지 명시하지 않습니다. 본 연구에서는 동결된 V-JEPA2 특징을 RGB 비디오, 깊이 비디오 및 레이더 시계열로 구성된 이종 센서 세트로 전이합니다. 공유 융합 모델은 모달리티 쿼리, 고정 센서 슬롯, 명시적 가용성을 사용하여 비어 있지 않은 7개의 모든 센서 하위 집합으로부터 호흡 활동 및 자세를 분류합니다. 본 연구의 기여는 5개 피험자 그룹 폴드와 3개의 시드를 갖춘 39명의 OMuSense-23 피험자를 대상으로 하위 집합 지도, 풀링(pooling) 용량 및 표현 전이에 대한 통제된 평가를 수행한 것입니다. 일치된 다운스트림 매개변수(parameter) 수에서 최종 모델은 7개 하위 집합에 걸쳐 평균 $75.23%\pm0.60$의 기록 수준 활동 매크로 F1에 도달합니다. 각 배치(batch)에서 모든 하위 집합을 지도하면 매칭된 쿼리 풀링 대조군 대비 1.923%p 향상(조건부 95% 피험자 부트스트랩 신뢰구간 [0.647, 3.209])되는 반면, 균형 잡힌 지도 하에서는 쿼리 풀링이 매칭된 평균 풀링에 비해 뚜렷한 이점을 보이지 않습니다. 레이더 프로브는 풀링된 웨이블릿 픽셀을 넘어서는 전이를 뒷받침하고, 64-토큰(token) 추론(inference)은 평균 활동 성능을 거의 유지하며, 테스트된 Consensus-JEPA 손실(loss)은 정확한 대조군 대비 측정 가능한 이점을 추가하지 못합니다.

arXiv:2610.13435v1cs.LG공통 태그 Representation Learning, Benchmarking

PPG-Bench: PPG 파운데이션 모델을 위한 통합 벤치마크

PPG-Bench: A Unified Benchmark for PPG Foundation Models

광용적맥파(Photoplethysmography, PPG)는 웨어러블 및 임상 기기에서 점점 더 대규모로 기록되고 있으며, 다양한 다운스트림 작업을 위한 재사용 가능한 표현을 계산하기 위해 점점 더 많은 PPG 파운데이션 모델(FM)이 개발되고 있다. 이러한 모델들은 서로 비교하기 어려운데, 평가마다 서로 다른 데이터셋, 작업 정의, 전처리, 다운스트림 헤드, 하이퍼파라미터 튜닝, 기준선을 사용하기 때문이다. 우리는 5개의 공개 PPG FM을 9개의 오픈 액세스 데이터셋과 심혈관 상태 추정, 활동, 수면, 스크리닝, 식별에 걸친 26개 작업에 대해 평가하는 통합 오픈소스 벤치마크인 PPG-Bench를 제시한다. 우리는 적응성이 점차 증가하는 네 가지 다운스트림 체제(선형 프로빙, 랜덤 포레스트, 고정된 MLP 프로브, 엔드-투-엔드 파인튜닝) 하에서 모델별 하이퍼파라미터 최적화와 피험자 분리 교차검증을 적용하여 모델을 평가한다. 우리는 또한 세 가지 대조군, 즉 무작위/상수 기준선, 결정론적 맥박률 변동성(pulse-rate-variability, PRV) 특징 집합, 범용 시계열 FM(MOMENT)과 비교하여 평가한다. 68개의 작업-체제 조합 전체에서 35.3%는 무작위/상수 기준선 대비 FM의 유의미한 이점을 보이지 않았으며, 83.8%에서는 어떤 PPG 전용 FM도 PRV와 MOMENT를 모두 능가하지 못했다. 또한 다운스트림 헤드의 용량을 추가하면 일반적으로 성능이 향상되지만, 모델이 무작위 수준/상수 수준에서 동작하는 경우에는 상당한 성능 저하를 유발할 수 있음을 발견했다. 따라서 현재의 PPG FM은 아직 PPG 신호에 대한 일반화되고 전이 가능한 표현을 제공한다고 주장할 수 없으며, 이 분야의 향후 평가에는 단순하고 학습되지 않은 대조군에 대한 검증이 포함되어야 한다. 벤치마크 코드와 추가 모델 평가 방법은 다음에서 확인할 수 있다 - https://github.com/mannas-ai/ppg-bench.

arXiv:2610.13437v1cs.AI공통 태그 Self-Supervised Learning, Representation Learning

HL-LHC에서의 이상치 탐지를 위한 학습된 이벤트 표현의 국소 진단

Local Diagnostics of Learned Event Representations for Anomaly Detection at the HL-LHC

표준 모형(Standard Model)의 예측에서 벗어나는 충돌 이벤트를 식별하는 이상치 탐지(anomaly detection)는 거대 강입자 충돌기(LHC)에서 새로운 물리 현상을 탐색하기 위한 가장 유망한 모델 비의존적 전략 중 하나입니다. 학습된 저차원 표현에서 희귀 이벤트를 탐색하면 수작업으로 설계된 관측가능량(observable)에 사전에 의존할 필요가 없어지지만, 이러한 관측가능량이 제공하는 직접적인 물리적 해석 가능성은 희생됩니다. 이상치 탐지가 실제 발견 파이프라인에 진입하려면, 표시된 이벤트를 국소적으로 진단하여 잠재적인 신물리 현상을 모델링 오류나 검출기 효과와 구별하고 표적 후속 탐색을 위한 관측가능량을 식별해야 합니다. 본 연구에서는 현실적인 고휘도 LHC(HL-LHC) 조건에서 시뮬레이션된 7억 5천만 개 이벤트 데이터셋인 COLLIDE-2V를 대상으로 지도 및 자기지도 신경망 임베딩 전략을 평가하며, 학습된 잠재 공간에서 학습된 오토인코더의 재구성 오차를 이상치 점수로 사용합니다. 고려된 여러 구성과 벤치마크 신호 전반에 걸쳐, 학습 중 시뮬레이션 프로세스 라벨을 활용하는 지도 학습 목적 함수는 일반적으로 자기지도 학습 방식보다 우수한 성능을 보였으며, 최적 구성에서는 운동학적 특징에 대해 직접 학습된 오토인코더보다 개선되어 보류된(held-out) 모든 프로세스에서 10% 배경 사건 수용률 기준 신호 효율을 향상시켰습니다. 나아가 본 연구는 표준 모형 잠재 공간에 가우시안 혼합 모델(Gaussian Mixture Model)을 적합하고, 프로세스 라벨 없이 고수준 관측가능량을 통해 각 구성 요소를 프로파일링하며, 표시된 이벤트를 국소화하고, 국소 판별력에 따라 관측가능량의 순위를 매기는 국소 진단 파이프라인을 제시합니다. 이 순위화는 보류된 프로세스의 결정적 운동학을 복원하는 한편, 이상치 점수와 동일한 관측가능량 간의 상관관계를 통해 점수가 이를 얼마나 밀접하게 추적하는지 정량화함으로써 가장 판별력이 높은 관측가능량이 점수가 가장 밀접하게 따르는 관측가능량이 아닌 경우를 밝혀냅니다.

arXiv:2610.13732v1cs.CV공통 태그 Self-Supervised Learning, Representation Learning

LAPT-Scale: 인간 비디오 기반 잠재 행동 사전학습을 통한 체화된 정책의 스케일링

LAPT-Scale: Scaling Embodied Policies with Latent Action Pre-Training on Human Videos

범용 로봇 정책의 스케일링(scaling)은 체화된(embodied) 상호작용 데이터 수집의 높은 비용으로 인해 한계를 겪고 있습니다. 대규모 1인칭 시점(egocentric) 인간 비디오는 풍부한 대안을 제공하지만 로봇 행동 레이블이 결여되어 있으며, 기존의 행동 어노테이션 방법은 실제 환경의 시각적 복잡성과 다양한 조작 동역학 환경에서 노이즈가 발생하는 경우가 많습니다. 본 논문에서는 두 가지 구성 요소로 이루어진 확장 가능한 잠재 행동 사전학습 패러다임인 LAPT-Scale을 소개합니다. LAPT-Scale-LAM은 인간 비디오의 프레임 간 시각적 전이(visual transition)를 설명하여 연속적인 잠재 행동을 학습하고 이를 인간 유래 지도 신호로 활용하며, LAPT-Scale-Policy는 인간 비디오 잠재 행동 사전학습, 타깃 로봇 체화 정렬(embodiment alignment), 그리고 태스크 특화 사후 학습을 거쳐 VLA(Vision-Language-Action) 정책을 학습합니다. 이전의 벡터 양자화 LAM과 달리, LAPT-Scale-LAM은 세밀한 모션 및 상호작용 동역학을 보존하기 위해 연속 잠재 공간(continuous latent space)을 사용합니다. 나아가 픽셀 재구성을 넘어 전이 수준의 지도 신호를 향상하기 위해 지각적, 의미적, 광학 흐름(optical-flow) 정렬 신호를 결합합니다. 23,300시간의 1인칭 비디오로 학습된 LAPT-Scale-LAM은 정책 사전학습을 위한 암시적 행동 지도 신호를 제공하여 일관된 스케일링 이득을 달성하며, 어노테이션된 인간 비디오가 1,000시간에서 5,000시간으로 증가함에 따라 실제 로봇 성공률을 63.3%에서 85.0%로 향상시킵니다. 학습된 정책은 또한 이전에 본 적 없는 시각적 조건으로도 일반화됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.