PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06907v1eess.AS

SpectCount: 합성 신호를 활용한 스펙트로템포럴 카운팅으로 대규모 오디오 언어 모델 개선

SpectCount: Spectrotemporal Counting via Synthetic Signals Improves Large Audio Language Models

대규모 오디오 언어 모델(LALM)은 오디오 인코더와 대규모 오디오 데이터를 통해 대규모 언어 모델(LLM)을 확장한다. 그러나 고품질 주석 오디오 데이터의 부족은 스케일링의 근본적인 병목으로 남아 있다. 탐침 신호 검출 가능성 분석을 통해, 우리는 기반 LALM의 세밀한 스펙트로템포럴 지각 취약점을 식별한다. 이러한 문제를 해결하기 위해, 실제 오디오, 주석, 또는 사전학습된 생성 모델에 의존하지 않고 즉석에서 생성된 완전 합성 오디오 신호에 기반한 데이터 효율적인 미세조정 접근법인 Spectrotemporal Counting(SpectCount)을 제안한다. SpectCount는 관찰된 취약점을 해소할 뿐만 아니라, 미세조정 중에는 보지 못한 사운드, 음악, 음성을 아우르는 다양한 청각 벤치마크에서도 성능을 향상시킨다. 이러한 결과는 취약점을 표적으로 한 합성 신호가 LALM의 향상된 청각 이해 능력을 위한 데이터 효율적인 경로를 제공함을 시사한다.