MECT: CNN-트랜스포머 네트워크와 전문가 혼합(MoE)을 이용한 화자 검증
MECT: Mixture of Experts with CNN-Transformer Network for Speaker verification
한국어 초록
본 논문에서는 최적화된 블록 구조와 적층 방식을 갖춘 CNN-트랜스포머 백본에 전문가 혼합(MoE) 메커니즘을 통합한 화자 검증 모델인 MECT를 제안한다. 구체적으로, 발화(utterance) 수준과 프레임(frame) 수준의 세분성을 아우르며 dense 및 sparse 라우팅 전략을 적용한 네 가지 MoE 변형을 조사하였다. MoE 메커니즘은 MoE가 없는 기준선 대비 파라미터 증가가 소폭에 불과함에도 효과적인 것으로 나타났다. 또한 MECT를 일련의 모델 크기로 확장하였으며, 모두 컴팩트한 파라미터와 낮은 계산 복잡도를 유지한다. 특히 MECT-B2는 VoxCeleb1에서 최첨단 성능을 달성하고 CN-Celeb에서도 강력한 결과를 보여, 다양한 데이터셋에 걸친 효과를 입증한다. 또한 인과적(causal) 재학습을 통해 스트리밍 추론 패러다임을 구축하였으며, 100ms 청크 크기에서도 강력한 성능을 유지한다.
원문 초록
In this paper, we propose MECT, a speaker verification model that integrates the Mixture-of-Experts (MoE) mechanism into a CNN-Transformer backbone with optimized block structure and stacking scheme. Specifically, we investigated four MoE variants that span utterance-level and frame-level granularity with dense and sparse routing strategies. The MoE mechanism proves to be effective over the baseline without MoE with only a small increase in parameters. We further scale MECT to a series of model sizes, all maintaining compact parameters and low computational complexity. In particular, MECT-B2 achieves state-of-the-art performance on VoxCeleb1 and delivers strong results on CN-Celeb, demonstrating its effectiveness across diverse datasets. In addition, we establish a streaming inference paradigm through causal retraining, which maintains strong performance at a chunk size of 100ms.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.24061v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
얼마나 가까운가가 아니라 얼마나 오래 걸리는가: 잠재 월드 모델의 계획 수립을 위한 학습된 시간적 거리 척도
How Long, Not How Close: A Learned Temporal Metric for Planning in Latent World Models
잠재 월드 모델(latent world model)은 고정된 예측 모델을 후보 행동 시퀀스에 따라 순방향으로 전개(rollout)하고, 상상된 최종 상태와 목표 사이의 잠재 거리(latent distance)에 따라 후보들의 순위를 매김으로써 계획을 수립합니다. 그러나 목표가 여러 번의 계획 수립 단계 너머에 위치할 경우, 잠재 거리는 목표 도달까지 얼마나 남아있는지가 아니라 최종 상태가 목표와 얼마나 닮았는지를 측정하기 때문에 이러한 순위 지정 방식은 무너집니다. 이를 해결하기 위해 우리는 월드 모델을 수정하지 않고, 모델 학습에 이미 사용된 기록된 궤적(trajectory)으로부터만 학습하며, 플래너(planner)의 탐색에 무시할 수 있는 수준의 비용만 추가하는 시간적 거리 계획 목적 함수인 TEMPO를 제안합니다. TEMPO는 에피소드의 두 상태 간 거리가 이들 사이의 환경(environment) 스텝 수를 반영하도록 고정된 잠재 공간의 작은 맵을 학습하며, 이 거리를 플래너의 비용에 통합합니다. 이는 보상, 정책, 또는 성공 레이블을 필요로 하지 않으며, 모델(model)이 아닌 비용 함수이므로 잠재 거리로 계획을 수립하고 상태당 하나의 잠재 벡터를 갖는 고정된 월드 모델에 적용 가능합니다. 우리는 LeWM 및 PLDM 플래너를 사용하여 11개의 시뮬레이션 환경(예: 미로 내비게이션, 테이블 위 밀기, 로봇 암 제어, 3차원 조작)에서 TEMPO를 평가(evaluation)합니다. 계획 연산에 기껏해야 0.3%만을 추가하는 작은 MLP를 통해, TEMPO는 기존 평가의 단일 계획 설정을 포함하여 모든 목표 거리에서 두 플래너 모두의 성능을 향상시키며, 목표로부터 세 번의 계획 거리에 있는 TwoRoom 환경에서 LeWM의 성능을 36%에서 99%로 끌어올리고, 광범위한 2D 및 3D 내비게이션, 도달 및 조작 태스크에서 경쟁력 있는 성능을 유지합니다.
MaskCoFT: 메모리 효율적인 MoE 추론을 위한 마스크 기반 공적응 미세조정
MaskCoFT: Masked Co-Adaptive Fine-Tuning for Memory-Efficient MoE Inference
전문가 혼합(MoE) 언어 모델은 종종 단일 GPU의 메모리를 초과합니다. 전문가 오프로딩은 대부분의 전문가를 호스트 메모리에 유지하고 필요에 따라 로드하므로, 디코딩 속도는 각 토큰이 가져와야 하는 전문가 수에 따라 달라집니다. 캐싱과 프리페칭은 라우팅이 허용하는 범위 내에서만 이러한 비용을 줄여줍니다. 라우터 전용 미세조정은 전문가를 재사용하도록 라우팅을 재구성할 수 있지만, 전문가가 동결된 상태로 유지되므로 새로운 라우팅이 전송하는 토큰에 전문가가 적응할 수 없습니다. 본 연구에서는 교차 엔트로피 손실만으로 라우터와 전문가를 함께 학습시키는 마스크 기반 공적응 미세조정 방법인 MaskCoFT를 제안합니다. 미세조정 중에 학습 가능한 이진 마스크는 각 층의 Top-K 라우팅을 전문가의 하위 집합으로 제한하며, 전문가는 자신에게 재지정된 토큰에 적응합니다. 추론 시 학습된 마스크는 전문가의 순위를 다시 매기는 소프트 사전 확률(soft prior)이 되어 모든 전문가가 여전히 선택 가능한 상태로 유지됩니다. 본 연구는 Mixtral-8x7B에 대해 층당 4개 전문가, DeepSeek-V2-Lite에 대해 12개 전문가의 GPU 캐시를 시뮬레이션합니다. MaskCoFT는 베이스 모델 대비 토큰당 전문가 페치 횟수를 각각 23.7%와 10.1% 줄입니다. 실제 오프로딩 시스템 서빙에서 출력 토큰당 시간을 각각 최대 16.4%와 5.5% 낮춥니다. 9개 벤치마크에 대한 평균 정확도는 베이스 모델보다 각각 0.92포인트와 0.53포인트 높게 유지됩니다.
조 단위 규모 전문가 혼합 모델을 위한 하드웨어 네이티브 통합 희소-양자화
Hardware-Native Joint Sparse-Quantization for Trillion-Scale Mixture-of-Experts
전문가 혼합(MoE) 아키텍처를 통해 프론티어 언어 모델을 수조 개 파라미터 규모로 확장할 수 있게 되었지만, 방대한 메모리 사용량과 메모리 대역폭의 한계로 인해 실제 배포에는 제약이 따릅니다. 최신 가속기는 저정밀도 반구조화 희소성을 통해 가중치 저장 공간을 줄이고 처리량을 높여주는 희소 텐서 코어(SpTC)를 제공하지만, 상당한 모델 품질 저하와 그룹화된 희소 GEMM 프리미티브의 부재로 인해 MoE에 이를 활용하는 것은 여전히 어렵습니다. 본 논문에서는 전문가 가중치를 하드웨어 네이티브 저정밀도 희소 표현으로 압축하고 SpTC에서의 실행을 가속하는 엔드투엔드 하드웨어-소프트웨어 통합 설계 프레임워크를 제안합니다. 알고리즘 측면에서, 본 프레임워크는 연속적 재매개변수화를 통해 이산적인 반구조화 서포트 선택을 완화함으로써 라우터 가중치 재구성 목표 하에서 양자화된 가중치와의 미분 가능한 통합 최적화 및 확장 가능한 전문가 병렬 압축을 가능하게 합니다. 시스템 측면에서는 SpTC 상의 저정밀도 희소 MoE 추론에 맞춘 커스텀 그룹화 희소 GEMM 커널을 개발합니다. 300억 개에서 1조 개 파라미터에 이르는 MoE 모델 전반에 걸쳐, 제안하는 프레임워크는 기존 최고 수준(SOTA)의 통합 희소-양자화 정확도를 최대 4.35%p 향상시키면서 원래 모델 성능의 96.09%를 보존합니다. NVIDIA B200 GPU에서 개발한 커널은 벤더 기준선 대비 최대 1.65배 뛰어난 성능을 보이며 서빙 처리량을 1.18배 증가시키고 엔드투엔드 지연 시간을 최대 4.03배 단축합니다. 이러한 결과는 하드웨어-소프트웨어 통합 설계가 확장 가능하고 효율적인 MoE 배포를 향한 실용적인 경로임을 입증합니다.
적응형 커버리지와 집중 샘플링을 통한 효율적인 신경장 학습
Efficient Neural Field Learning via Adaptive Coverage and Focused Sampling
암시적 신경 표현(Implicit Neural Representations, INR)은 고차원 연속 필드(continuous field)를 모델링하기 위한 유연한 프레임워크를 제공하지만, 공간적 이질성을 무시하는 균일한 서브샘플링으로 인해 학습 효율이 떨어지는 경우가 많습니다. 기존의 적응형 샘플링 방법들은 높은 오차를 보이는 샘플에 우선순위를 두어 이 문제를 부분적으로 해결하지만, 일반적으로 포인트 수준에서 작동하므로 국소적 영역에서의 중복 샘플링과 도메인의 불충분한 커버리지를 초래하곤 합니다. 본 논문에서는 커버리지와 중요도를 분리함으로써 학습 효율을 향상시키는 구조화된 샘플링 프레임워크인 ACES(Adaptive Coverage-aware Efficient Sampling)를 제안합니다. ACES는 도메인 커버리지를 보장하고 중복성을 줄이기 위해 적응형 공간 분할을 구성하며, 학습 중 정보량이 많은 영역의 우선순위를 정하기 위해 영역 수준의 중요도 가중치를 적용합니다. 본 연구에서는 적응형 분할이 영역 내 균질성을 증가시켜 그래디언트 분산을 줄이고, 영역 수준 가중치 적용 시 제어된 바이어스가 표준 비편향 추정량 대비 최적화 효율을 향상시킬 수 있음을 이론적 분석을 통해 보여줍니다. 과학적 필드 학습 태스크에 대한 실험 결과, ACES는 균일 샘플링 및 포인트 단위 적응형 샘플링 베이스라인보다 더 빠른 수렴과 더 낮은 오차를 달성하며, 국소적 복잡성이 높은 필드에서 가장 큰 성능 향상을 보이는 것으로 나타났습니다.
가산적 양자화 표현을 통한 밴딧
Bandits via Additive Quantized Representations
맥락적 밴딧(contextual bandit)은 비선형 보상(reward) 모델링과 온라인 효율성 사이의 균형을 필요로 한다. 트리 앙상블과 신경망 기반 방법은 비선형성을 포착할 수 있지만 주기적인 재학습과 대규모 리플레이 버퍼를 필요로 한다. 선형 모델은 관측값마다 O(1) 메모리로 효율적으로 업데이트할 수 있지만, 근본적으로 선형 보상 구조에만 제한된다. 우리는 이러한 간극을 메우기 위한 표현 층(representation layer)으로 잔차 양자화(Residual Quantization, RQ)를 제안한다. 오프라인으로 학습된 RQ 코드북(codebook)은 연속적인 맥락(context)을 여러 수준에 걸친 이산적 중심점(centroid) 할당으로 매핑하며, 이 수준들은 섀도 메커니즘(shadow mechanism)을 통해 동적으로 설정된다. 이를 통해 엄격하게 제한된 메모리로 비선형 표현력을 달성하는 다양한 가산적(additive) 밴딧 알고리즘을 구현할 수 있다. 13개의 데이터셋(dataset)에 걸쳐, RQ 변형들은 13개 중 11개 데이터셋에서 비-RQ 대응 모델을 종종 큰 차이로 능가했으며, 더블링 재학습(doubling-retrain) 방식의 XGBoost 및 신경망 베이스라인과 비슷한 성능을 최대 1000배 적은 메모리로 달성했다.
LiteEMG-FM: 강건한 EMG 센싱을 위한 효율적이고 배포 가능한 파운데이션 모델
LiteEMG-FM: An Efficient and Deployable Foundation Model for Robust EMG Sensing
근전도(EMG) 신호는 개인, 신체 부위, 측정 세션 및 센싱 하드웨어에 따라 크게 달라지며, 이는 보조 장치 및 인간-컴퓨터 상호작용(HCI)을 위한 모델의 일반화를 제한합니다. 또한 기존의 시계열 파운데이션 모델(foundation model)은 실시간 웨어러블 배포에 연산 비용이 많이 들고, EMG 특유의 시간-주파수 특성을 잘 포착하지 못하는 경우가 많습니다. 본 논문에서는 실용적인 EMG 센싱을 위한 효율적인 하이브리드 CNN-트랜스포머(Transformer) 파운데이션 모델인 LiteEMG-FM을 제시합니다. 16개의 다양한 상·하체 EMG 데이터셋에서 사전학습된 LiteEMG-FM은 사용자와 데이터셋 전반에 걸쳐 일반화되는 표현을 학습합니다. 리소스가 제한된 배포 환경을 위해, 경량 상시 작동(always-on) 1D-CNN이 휴식 상태 및 비목표 활동을 필터링하고 유효한 제스처에 대해서만 LiteEMG-FM을 활성화하는 계층적 웨이크업 아키텍처를 구현합니다. 우리는 완전 추론 오프로딩, 분할 추론, 완전 온디바이스 처리 방식을 평가하여 지연 시간, 전력 소비량, 메모리 사용량 간의 트레이드오프를 규명합니다. 다양한 평가 환경에서 LiteEMG-FM은 최신 시계열 파운데이션 모델 및 지도학습 베이스라인을 능가하며, 특히 캘리브레이션이 없는(zero-calibration) 피험자 간 환경 및 데이터 부족 조건에서 뛰어난 성능을 보입니다. 이러한 결과는 LiteEMG-FM이 EMG 응용 분야에 효과적이고 효율적이며 배포 가능한 파운데이션 모델임을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.