SEAL: 효율적인 음성 분리를 위한 혼합 보존 덧셈 재구성 및 정제 인식 전문가 라우팅
SEAL: Mixture-Closed Additive Reconstruction and Refinement-Aware Expert Routing for Efficient Speech Separation
한국어 초록
혼합 신호에 마스크를 적용하고 공유 셀을 통해 정제하는 소형 시간-주파수 분리기에는 두 가지 한계가 있습니다. 첫째, 유계 승산 마스크는 혼합 빈의 크기만 조정하므로, 중첩된 성분들이 상쇄되는 영역에서는 추정값이 작게 유지됩니다. 둘째, 공유 셀은 모든 단계에서 모든 시간-주파수 토큰(token)에 동일한 가중치를 적용하므로 셀을 확장하면 전체적인 연산량이 증가합니다. 본 논문에서는 두 문제를 모두 해결하기 위해 SEAL(Sparse Expert routing with Additive Latent reconstruction)을 제안합니다. 재구성의 경우 국소 혼합 진폭으로 제한되는 영합(zero-sum) 덧셈 잔차가 성분이 상쇄되는 영역에서도 추정값이 0이 되지 않도록 하면서 혼합 신호와의 합을 유지하도록 합니다. 라우팅의 경우 음향 정보와 단계 간 증거로부터 구성된 쿼리가 각 토큰을 6개의 잔차 전문가(expert) 중 하나로 전달하며, 노름 상한(norm cap)을 두어 단계 신호가 명확한 음향 증거보다 우선하지 않도록 방지합니다. EchoSet에서 SEAL(small)은 TIGER(small) 대비 28% 적은 파라미터와 2.9배 적은 MAC으로 SI-SDRi 0.31 dB 더 높은 성능을 달성했으며, SEAL(large)은 3.1배 적은 MAC으로 TIGER(large)와 0.07 dB SI-SDRi 이내의 대등한 성능을 보입니다.
원문 초록
Compact time-frequency separators that mask the mixture and refine through a shared cell face two limits. First, a bounded multiplicative mask only scales a mixture bin, so where overlapping components cancel, the estimate stays small. Second, a shared cell applies the same weights to every time-frequency token at every step, so enlarging it adds compute everywhere. We present SEAL (Sparse Expert routing with Additive Latent reconstruction) to address both. For reconstruction, a zero-sum additive residual bounded by the local mixture amplitude lets estimates be nonzero where components cancel yet still sum to the mixture. For routing, a query built from acoustic and inter-step evidence sends each token to one of six residual experts, and a norm cap keeps the step cue from overriding clear acoustic evidence. On EchoSet, SEAL (small) surpasses TIGER (small) by 0.31 dB SI-SDRi with 28% fewer parameters and 2.9 times fewer MACs, and SEAL (large) is within 0.07 dB SI-SDRi of TIGER (large) at 3.1 times fewer MACs.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Submitted to ICASSP 2027