TORUS: 통합 오디오 모델을 위한 렌더링-이해 자기 일관성 평가
TORUS: A Test of Rendering-Understanding Self-Coherence for Unified Audio Models
한국어 초록
오디오 이해, 오디오 생성, 그리고 점차 오디오 편집까지 수행할 수 있는 통합 오디오 모델(unified audio model)이 빠르게 확산되고 있습니다. 그러나 이들에 대한 근본적인 질문은 여전히 해결되지 않았습니다. 과연 통합 모델의 두 헤드가 동일한 오디오에 대해 일치된 판단을 내릴 수 있을까요? 현재의 방식은 특화된 벤치마크(benchmark)에서 각 기능을 개별적으로 평가할 뿐, 모델이 자신이 생성한 결과물을 제대로 이해할 수 있는지는 전혀 묻지 않습니다. 우리는 오디오 네이티브 통합 모델을 위한 최초의 자기 일관성(self-coherence) 테스트인 TORUS를 제시합니다. TORUS는 5개 태스크 패밀리에 걸쳐 음성, 사운드, 음악을 아우르는 432개의 6지선다 문항을 포함하는 48개의 3단계 자기 일관성 테스트로 구성됩니다. 우리는 최첨단 특화 생성, 편집, 이해 모델들을 결합한 캐스케이드 기준선(Cascaded Baseline)과 함께 5개의 공개 통합 모델을 종합적으로 평가합니다. 최고 성능의 통합 모델은 16.7%의 무작위 확률 기준선 대비 50.5%의 정답률을 기록한 반면, 캐스케이드 기준선은 63.2%를 기록했습니다. 모델들은 오디오 편집에서 특히 어려움을 겪었습니다. 평가된 오디오 모델(특화 모델 및 통합 모델) 전반에서 제한적인 자기 일관성만이 관찰되었으며, 이에 따라 우리는 자기 일관성을 향후 오디오 시스템의 필수적인 평가 요소로 제안합니다.
원문 초록
Unified audio models capable of audio understanding, audio generation and, increasingly, audio editing are proliferating rapidly. Yet a basic question about them remains unanswered: do the two heads of a unified model agree about the same audio? Current practice evaluates each capability in isolation on specialized benchmarks, and never asks whether a model can make sense of its own generations. We present TORUS, the first self-coherence test for audio-native unified models. TORUS comprises 48 three-stage self-coherence tests carrying 432 six-option questions spanning speech, sound and music across five task families. We holistically evaluate five open unified models alongside a Cascaded Baseline that combines state-of-the-art specialized generation, editing and understanding models. The best unified model answers 50.5% of questions against the Cascaded Baseline's 63.2% and a 16.7% chance floor. Models struggle on audio editing. Among the evaluated audio models (specialized and unified), we observe limited self-coherence, and thus position self-coherence as an essential test for future audio systems.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.28896v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.