VoxSafeBench: 무엇을 말하는가뿐 아니라 누가, 어떻게, 어디서 말하는가
VoxSafeBench: Not Just What Is Said, but Who, How, and Where
한국어 초록
음성 언어 모델(SLM)이 개인 기기에서 공유된 다중 사용자 환경으로 옮겨 가면서, 그 응답은 단어 자체보다 훨씬 많은 것을 고려해야 한다. 누가 말하는지, 어떻게 들리는지, 대화가 어디에서 이루어지는지는 각각 무해한 요청을 안전하지 않거나, 불공정하거나, 프라이버시를 침해하는 요청으로 바꿀 수 있다. 그러나 기존 벤치마크는 대체로 기초적인 오디오 이해에 초점을 맞추거나, 개별 위험을 따로 연구하거나, 본질적으로 유해한 콘텐츠와 음향적 맥락 때문에 비로소 문제가 되는 콘텐츠를 뒤섞는다. 본 논문은 안전성, 공정성, 프라이버시의 세 차원에 걸쳐 SLM의 사회적 정렬을 공동으로 평가하는 최초의 벤치마크 중 하나인 VoxSafeBench를 소개한다. VoxSafeBench는 2단계 설계를 채택한다. Tier1은 짝을 이룬 텍스트와 오디오 입력으로 콘텐츠 중심 위험을 평가하고, Tier2는 전사문은 무해하지만 적절한 응답이 화자, 준언어적 단서, 주변 환경에 좌우되는 오디오 조건부 위험을 대상으로 한다. Tier2를 검증하기 위해 중간 단계의 지각 프로브를 포함하였으며, 최첨단 SLM이 이러한 음향 단서를 성공적으로 감지하면서도 이에 적절히 행동하지 못함을 확인하였다. 이중 언어를 포괄하는 22개 과제 전반에서, 텍스트에서는 견고해 보이는 안전장치가 음성에서는 흔히 약화됨을 발견하였다. 화자 및 장면 조건부 위험에서는 안전 인식이 떨어지고, 인구통계적 차이가 음성으로 전달될 때 공정성이 무너지며, 맥락 단서가 음향적으로 주어질 때 프라이버시 보호가 흔들린다. 종합하면 이러한 결과는 만연한 음성 그라운딩 격차를 드러낸다. 현재의 SLM은 관련 사회 규범을 텍스트에서는 자주 인식하지만, 결정적 단서가 음성에 근거해야 할 때는 이를 적용하지 못한다. 코드와 데이터는 https://amphionteam.github.io/VoxSafeBench_demopage/ 에 공개되어 있다.
원문 초록
As speech language models (SLMs) transition from personal devices into shared, multi-user environments, their responses must account for far more than the words alone. Who is speaking, how they sound, and where the conversation takes place can each turn an otherwise benign request into one that is unsafe, unfair, or privacy-violating. Existing benchmarks, however, largely focus on basic audio comprehension, study individual risks in isolation, or conflate content that is inherently harmful with content that only becomes problematic due to its acoustic context. We introduce VoxSafeBench, among the first benchmarks to jointly evaluate social alignment in SLMs across three dimensions: safety, fairness, and privacy. VoxSafeBench adopts a Two-Tier design: Tier1 evaluates content-centric risks using matched text and audio inputs, while Tier2 targets audio-conditioned risks in which the transcript is benign but the appropriate response hinges on the speaker, paralinguistic cues, or the surrounding environment. To validate Tier2, we include intermediate perception probes and confirm that frontier SLMs can successfully detect these acoustic cues yet still fail to act on them appropriately. Across 22 tasks with bilingual coverage, we find that safeguards appearing robust on text often degrade in speech: safety awareness drops for speaker- and scene-conditioned risks, fairness erodes when demographic differences are conveyed vocally, and privacy protections falter when contextual cues arrive acoustically. Together, these results expose a pervasive speech grounding gap: current SLMs frequently recognize the relevant social norm in text but fail to apply it when the decisive cue must be grounded in speech. Code and data are publicly available at: https://amphionteam.github.io/VoxSafeBench_demopage/
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2604.14548v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.