arXiv:2605.04556 cs.SD

Benchmarking LLMs on the Massive Sound Embedding Benchmark (MSEB)

제출 2026-05-06

한국어 초록

대규모 사운드 임베딩 벤치마크(MSEB)는 오디오 모델의 기능적 범위를 평가하는 표준으로 부상해 왔습니다. 초기의 기준선은 특화된 인코더에 초점을 맞췄지만, “오디오 네이티브” 대규모 언어 모델(LLM)로의 전환은 하나의 멀티모달 백본이 복잡한 작업별 파이프라인을 대체할 수 있는 새로운 패러다임을 시사합니다. 본 논문은 Gemini 및 GPT 계열의 모델을 포함한 선도적 LLM들을 대상으로, 여덟 가지 핵심 MSEB 역량 전반에 걸친 엄격한 실증 평가를 수행하여 그 효용과 오디오-텍스트 동등성을 검토합니다. 우리의 결과는 성능과 강건성 측면에서 상당한 모달리티 격차가 여전히 존재하지만, “최적의” 모델링 접근법에 대한 실증적 근거는 아직 결론적이지 않음을 보여줍니다. 궁극적으로 오디오 네이티브 아키텍처와 캐스케이드 아키텍처 중 무엇을 선택할지는 지연 시간, 비용, 추론 깊이에 관한 기본 가정과 구체적인 사용 사례 요구사항에 크게 좌우됩니다.

요약

Massive Sound Embedding Benchmark(MSEB)는 오디오 모델의 기능적 범위를 평가하는 표준으로 자리 잡았습니다. 초기 기준선은 특화된 인코더에 초점을 맞췄지만, 최근에는 오디오 네이티브 대규모 언어 모델(LLM)이 하나의 멀티모달 백본으로 복잡한 작업별 파이프라인을 대체할 수 있다는 점이 주목받고 있습니다. 이 논문은 Gemini와 GPT 계열을 포함한 주요 LLM들을 MSEB의 8개 핵심 능력 전반에서 엄밀하게 평가해, 오디오-텍스트 성능 균형과 효용을 점검합니다. 평가 결과, 성능과 강건성 측면에서 여전히 뚜렷한 모달리티 갭이 남아 있는 것으로 나타났습니다. 다만 어떤 모델링 방식이 최적인지에 대한 경험적 증거는 아직 충분히 결론적이지 않습니다. 오디오 네이티브 구조와 캐스케이드 구조 중 어떤 것을 선택할지는 특정 사용 사례의 요구사항에 크게 좌우됩니다. 특히 지연 시간, 비용, 추론 깊이에 대한 가정이 아키텍처 선택을 결정하는 핵심 요소로 제시됩니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.