arXiv:2610.13550v1 cs.CL

고정관념 없는 개인화: 음성 대규모 언어 모델은 언제 못 들은 척해야 하는지 알고 있는가?

Personalization Without Stereotyping: Do Speech LLMs Know When to Turn a Deaf Ear?

Kshitij Ambilduke, Caroline Brun, Thibaut Thonet, Vassilina Nikoulina, Marcely Zanon Boito

제출 2026-10-09

한국어 초록

최근 음성 대규모 언어 모델(Speech LLM)은 풍부한 준언어적(paralinguistic) 단서를 활용하여 더욱 복잡하고 개인화된 상호작용을 가능하게 합니다. 그러나 이러한 민감성이 어떻게 고정관념화로 이어질 수 있는지를 조사한 연구는 드물며, 기존 평가는 유익한 개인화와 고정관념적 행동을 구별하지 않은 채 주로 인구통계학적 격차만을 측정합니다. 본 연구에서는 세 가지 축을 통해 이 두 측면을 분리하도록 설계된 벤치마크인 BASIS-Bench를 소개합니다. (1) 화자 전반에 걸친 콘텐츠 기반 작업의 격차 및 인구통계학적 분류 기능을 측정하는 인구통계학적 강건성, (2) 감지된 인구통계학적 단서가 유도되지 않은 고정관념적 행동을 촉발하는지 측정하는 고정관념 바이어스, (3) 명시적으로 요청되었을 때 모델이 인구통계학적 특성에 맞춰 응답을 맞춤화할 수 있는지를 측정하는 개인화입니다. 우리는 8개의 최근 음성 LLM을 평가한 결과, 모델들이 인구통계학적 단서를 인식하는 경우가 많음에도 불구하고 대부분 적절한 개인화로 전환하는 데 실패함을 발견했습니다. 명시적인 인구통계학적 레이블은 개인화를 향상시키지만 텍스트 백본에 이미 존재하는 고정관념적 연상을 증폭시키기도 합니다. 이러한 결과는 음성 LLM이 인구통계학적 단서를 인식할 뿐만 아니라, 언제 그러한 단서가 응답을 형성해야 하는지 학습하도록 훈련할 필요가 있음을 강조합니다.

원문 초록

Recent speech LLMs can leverage rich paralinguistic cues, enabling more complex and personalized interactions. However, little work investigates how this sensitivity can lead to stereotyping, and existing evaluations largely measure demographic disparities without distinguishing beneficial personalization from stereotypical behavior. We introduce BASIS-Bench, a benchmark designed to disentangle these two aspects through three axes: (1) demographic robustness, measuring disparities in content-based tasks across speakers and demographic classification capabilities; (2) stereotypical bias, measuring whether perceived demographic cues trigger unprompted stereotypical behavior; and (3) personalization, measuring whether models can tailor responses to demographic characteristics when explicitly requested. We evaluate eight recent speech LLMs and find that, despite often recognizing demographic cues, most fail to translate them into appropriate personalization. Explicit demographic labels improve personalization but also amplify stereotypical associations already present in the textual backbones. These findings highlight the need to train speech LLMs not only to perceive demographic cues, but to learn when they should shape their responses.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.13550v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23175v1cs.CL공통 태그 Fairness, personalization

전역 규범을 넘어: 재학습 없이 언어 모델의 독성 민감도 개인화

Beyond a Global Norm: Personalizing Toxicity Sensitivity in Language Models Without Retraining

독성을 줄이는 문제는 종종 전역 정렬(alignment) 문제로 프레이밍되지만, 유해한 언어에 대한 인식은 주관적이고 문맥에 의존적이다. 우리는 사용자별 독성 민감도에 맞게 언어 생성을 정렬하기 위한 학습 없는(training-free) 방법들에 대한 최초의 비교 평가를, 세 가지 추론(inference) 시점 개입 단계—디코딩 전(프롬프트 조건화 및 재작성), 디코딩 중(토큰, 로짓, 표현 스티어링), 디코딩 후(후보 재순위화)—에 걸쳐 제시한다. PRISM 데이터셋에서 도출한 독성 민감도 목표에 대해 평가한 결과, 모든 방법이 정렬 오류를 28-47% 줄였다. 그러나 결과는 정렬 효과, 개인화, 일반적인 언어 품질 사이의 근본적인 트레이드오프를 보여 주며, 독성 민감도 정렬이 본질적으로 다목적 문제임을 드러낸다.

arXiv:2607.06344v1cs.RO공통 태그 Fairness, personalization

책임감 있는 개인화: 인간-로봇 상호작용에서 개인화의 양날의 검

Responsible Personalisation: The Double-Edged Sword of Personalisation in Human-Robot Interaction

개인화(personalisation)는 인간-로봇 상호작용(HRI)에서 핵심적인 기능으로 자리잡고 있지만, 책임감 있는 개인화에 관한 기존 문헌은 파편화되어 있으며, 윤리적 위험이 상호작용 맥락 전반에 걸쳐 어떻게 발생하는지에 대한 체계적인 이해 없이 고립된 사례들만을 제시하고 있다. 이러한 공백은 로봇의 구현성(embodiment)과 사회적 존재감이 해당 위험을 증폭·변형하거나 새로운 유형의 위험을 생성할 수 있는 HRI에서 특히 중요하다. 우리는 구현성 인식 관점에 기반한 개인화 HRI를 위한 생애주기 기반의 맥락 민감형 프레임워크를 제시한다. 이 프레임워크는 개인화 프로세스의 단계를 상호작용 특성(단기 대 장기, 개방형 대 폐쇄형 도메인)과 결합하여, 위험이 어떻게 발생하고 전개되는지를 체계적으로 분석할 수 있게 한다. 이를 바탕으로 자율성 침식, 편향된 사용자 모델링, 조작, 비인간화, 프라이버시 침해 등 주요 윤리적 위험에 대한 통합적 분석을 수행하고, 이러한 위험이 다양한 맥락에서 어떻게 나타나는지 검토한다. 이러한 통찰을 실행 가능한 설계 권고사항으로 전환하고 미해결 연구 과제를 제시한다. 개인화 HRI의 설계 공간과 위험 지형을 구조화함으로써, 본 연구는 개인화된 로봇 행동에 대한 보다 체계적이고 투명하며 윤리적으로 기반한 접근 방식의 토대를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.