arXiv:2511.01261v2 cs.SD

Speech-DRAME: 음성 롤플레이에서 인간 정렬 벤치마크를 위한 프레임워크

Speech-DRAME: A Framework for Human-Aligned Benchmarks in Speech Role-Play

Jiatong Shi, Jionghao Han, Yichen Lu, Santiago Pascual, Pengfei Wu, Chenye Cui, Shinji Watanabe, Chao Weng, Cong Zhou

제출 2026-11-02

한국어 초록

음성 롤플레이를 평가하려면 언어적 내용뿐 아니라 운율, 감정 표현, 캐릭터 구현, 맥락 적합성도 판단해야 한다. 기존의 자동 평가 방법은 이러한 측면을 거친 점수로 뭉뚱그리는 경우가 많으며 주로 합성 음성에서 평가되어 왔다. 우리는 역할·맥락·전달 불일치 조건을 대비시킨 이중 언어 인간 주석 벤치마크인 Speech-DRAME-EvalBench와 미세조정된 오디오-언어 평가기인 DRAME-Eval로 구성된 프레임워크 Speech-DRAME을 소개한다. 이 벤치마크는 하향식 원형 평가와 상향식 사실성 평가라는 두 가지 상호 보완적 프로토콜을 지원하며, 주로 합성된 벤치마크 분포 데이터와 전적으로 실제 인간 연기로 이루어진 보류 스트레스 테스트로 구성된다. 벤치마크 분포 세트에서 DRAME-Eval은 원형 평가에서 0.629, 사실성 평가에서 0.602의 통합 피어슨 상관계수를 달성하여 평가 대상 제로샷 및 퓨샷 오디오-언어 판정기를 유의하게 능가하며, 모달리티 통제 실험은 그 판단이 음성과 텍스트 맥락 모두에 의존함을 보여 준다. 이러한 정렬은 실제 음성 테스트 세트로 전이되지 않는다. 여기서 DRAME-Eval은 평균 상관계수 -0.142, 화자 내 상관계수 +0.029를 얻는 반면, 대응하는 인간 단일 평가자 간 일치도는 +0.34이다. 이러한 결과는 합성 음성에서 실제 음성으로의 상당한 전이 격차를 확인해 주며, Speech-DRAME이 실제 인간 연기들 사이의 연기 차이에 대한 평가를 연구하고 개선하기 위한 자원이 됨을 보여 준다.

원문 초록

Evaluating spoken role-play requires judging not only linguistic content but also prosody, emotional expression, character embodiment, and contextual fit. Existing automatic evaluation methods often collapse these aspects into coarse scores and are evaluated primarily on synthesized speech. We introduce Speech-DRAME, a framework comprising Speech-DRAME-EvalBench, a bilingual, human-annotated benchmark with contrastive role-, context-, and delivery-mismatch conditions, and DRAME-Eval, a fine-tuned audio-language evaluator. The benchmark supports two complementary protocols: top-down archetype evaluation and bottom-up realism evaluation, with predominantly synthesized benchmark-distribution data and a held-out stress test consisting entirely of authentic human acting. On the benchmark-distribution sets, DRAME-Eval achieves pooled Pearson correlations of 0.629 for archetype evaluation and 0.602 for realism evaluation, significantly outperforming the evaluated zero- and few-shot audio-language judges; modality controls show that its judgments depend on both speech and textual context. This alignment does not transfer to the authentic-speech test set, where DRAME-Eval obtains an average correlation of -0.142 and a within-speaker correlation of +0.029, compared with matched human single-rater agreement of +0.34. These results identify a substantial synthetic-to-authentic transfer gap and establish Speech-DRAME as a resource for studying and improving evaluation of acting differences among real human performances.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2511.01261v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.