PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.08545v1cs.SD

엔드투엔드 오디오 모델의 주파수 표현에 나타나는 구조적 병목

Structural Bottlenecks on Frequency Representation in End-to-End Audio Models

최신 스트라이드 합성곱 오디오 인코더들이 주파수 국소화된 기본 요소에 대한 접근을 구조적으로 저하시키는 두 가지 병목—에일리어싱으로 인한 주입성(injectivity) 실패(31–35% 병합률)와 이론적 한계의 10–35배에 달하는 필터 대역폭으로 인한 분리 가능성 실패—을 이론 및 실험으로 규명하였다. 이를 해결하기 위해 재학습 없이 인코더 잠재 표현을 주파수 국소화된 기저로 재표현하는 경량 사후 개입 기법 Gabor Latent Refactorization(GLRF)을 제안하여, 필터 대역폭을 이론적 한계의 1.5–3배 수준으로 줄이면서 재구성 충실도와 음정 제어 가능성을 유지함을 보인다.

arXiv:2606.27627v1cs.LG

HybridCodec: 효율적인 음성 언어 모델을 위한 이산 및 연속 표현 모델링

HybridCodec: Modeling Discrete and Continuous Representations for Efficient Speech Language Models

이산 오디오 표현은 멀티모달 텍스트-오디오 시스템 구축과 대규모 언어 모델(LLM)에 오디오 기능을 통합하는 데 점점 더 널리 사용되고 있다. 그러나 많은 연구에서는 이산화 과정에서의 정보 손실로 인해 다양한 다운스트림 작업에서 성능 저하가 보고되고 있다. 이를 해결하기 위해, 시간적으로 압축된 이산 토큰과 차원 축소된 연속 잔차를 결합하는 새로운 접근법을 제안한다. 우리의 프레임워크는 이산-연속 초점 변조(focal modulation) 코덱을 하이브리드화한 구조와 하이브리드 트랜스포머로 구성된다. 이 아키텍처는 이산 영역에서 자기회귀(autoregressive) 추론을 수행하며, 비자기회귀(non-autoregressive) 예측과 연속 잔차 업샘플링을 함께 결합한다. 실험 결과, 제안 방법은 이산 방식만 사용하는 방법과 비교하여 화자 특성 보존을 크게 개선하는 동시에 필요한 자기회귀 단계 수를 줄인다.

arXiv:2606.06743v1cs.SD

HybridCodec: 빠른 이중 스트림, 의미론적 향상 신경망 오디오 코덱

HybridCodec: Fast Dual-Stream, Semantically Enhanced Neural Audio Codec

멀티모달 대규모 언어 모델(Multimodal Large Language Models)의 등장으로 음성 토크나이저로서의 신경망 오디오 코덱의 인기가 급증했습니다. 의미론적 및 음향적 분리(semantic and acoustic disentanglement)를 갖춘 새로운 코덱 아키텍처가 등장했습니다. 코덱 모델에 의미 정보를 도입하는 주요 접근 방식은 두 가지가 있습니다. 하나는 SSL(자기지도 학습) 표현에서 의미 정보를 증류하여 첫 번째 RVQ 층에 넣는 것이고, 다른 하나는 의미 및 음향 특징에 대해 별도의 스트림을 유지하는 것입니다. 우리는 두 가지 패러다임을 결합한 통합 아키텍처인 HybridCodec을 제안합니다. 이는 의미 및 음향 분기를 별도로 사용하면서 SSL 표현을 의미 스트림으로 증류합니다. 이 설계는 추론(inference) 과정에서 SSL 모델을 요구하지 않으면서도 강력한 분리를 보장합니다. HybridCodec은 도메인 내 테스트 셋에서 우수한 의미적 특화(RVQ-1)를 보이고 경쟁력 있는 재구성(RVQ-all) 성능을 보여줍니다. 우리는 도메인 외(out-of-domain) 및 제로샷 교차 언어(zero-shot cross-lingual) 설정에서의 견고함을 입증했으며, 기존 이중 스트림 모델 대비 3배의 속도 향상을 달성했습니다.