arXiv:2610.10988v1 cs.CL

스타일의 귀환: 사용자 시뮬레이션에서 페르소나 충실도 작성 및 측정을 위한 사회언어학적 접근법

Back in Style: A Sociolinguistic Approach to Authoring and Measuring Persona Fidelity in User Simulation

Lex Konnelly, Elena Khasanova, Riqiang Wang, Matthias Lee, Harsh Saini, Parsa Kavehzadeh

제출 2026-10-07

저자 비고

arXiv Comments

Accepted to the UserSim @ NeurIPS 2026 workshop (non-archival)

한국어 초록

에이전트(agent) 시스템이 상업적 인기를 얻으면서, 사용자 시뮬레이터가 에이전트 평가를 위한 측정 도구로 점점 더 많이 활용되고 있습니다. 그러나 실제 인간 사용자와 비교했을 때 시뮬레이션된 사용자의 충실도는 일반적으로 낮으며, 대개 비용이 많이 들고 주관적인 대규모 언어 모델(LLM) 심사위원에 의해 평가됩니다. 본 예비 연구에서는 사용자의 페르소나를 모델이 행동으로 추론해야 하는 레이블이나 설명으로 예측되는 대상이 아니라, 관찰 가능한 언어적 스타일에서 비롯되는 사회적 유형으로 보는 사회언어학적 관점을 취함으로써 충실도를 결정론적으로 측정할 수 있는지 묻습니다. 우리는 페르소나를 구체적인 스타일적 비율로 작성하여, 저자 검증 문체측정학(authorship-verification stylometry)과 어휘 기반 내용 분석이라는 확립된 두 가지 모델-프리(model-free) 도구를 충실도 진단 도구로 전환할 수 있도록 합니다. 우리는 5개의 작업 지향 고객 서비스 에이전트를 대상으로 사회언어학적 스키마를 단순 설명형 기준선(baseline)과 비교하는 A/B 테스트를 진행했습니다. 결과에 따르면 사회언어학적 스키마는 테스트된 대부분의 모델(model)에서 스타일 준수도와 문체측정학적 구별 가능성을 모두 향상시키는 것으로 나타났으나, 페르소나 스타일 충실도가 페르소나의 "자연스러움"과 반드시 일치하지는 않는다는 한계점도 확인되었습니다. 우리는 페르소나 설계에 대한 사회언어학적 접근법이 더욱 다양하고 대표성 있는 사용자 페르소나를 구축하기 위한 유망한 경로이며, 이러한 지표들이 충실도가 저하되는 지점을 찾아내는 오류 귀속 분석에서 가장 큰 가치를 지닌다고 주장합니다. 본 연구는 사용자 시뮬레이션을 다양하고 가변적인 언어적 출력의 충실한 렌더링에 더 가깝게 만드는 개입을 향한 첫걸음입니다.

원문 초록

As agentic systems gain commercial popularity, user simulators increasingly serve as measurement instrument for their evaluation. However, the fidelity of simulated users in comparison to real human users is generally low, and typically assessed by costly, subjective LLM judges. In this pilot study, we ask whether fidelity can instead be measured deterministically by treating a user persona sociolinguistically: as a social type that emerges from observable linguistic style, rather than one predicted by labels or descriptions a model must extrapolate into behaviour. We author personas as concrete stylistic rates, which lets us transfer two established, model-free instruments -- authorship-verification stylometry and lexicon-based content analysis -- as fidelity diagnostics. We A/B-test the sociolinguistic schema against a flat descriptive baseline across five task-oriented customer-service agents. Results show that the sociolinguistic schema improves both stylistic adherence and stylometric distinguishability for most of the tested models, with a caveat that persona style fidelity does not necessarily equal persona "naturalness". We argue that a sociolinguistic approach to persona design is a promising path towards more diverse and representative user personas, and that these metrics are most valuable in an error-attribution analysis, localizing where fidelity breaks down. This is a first step towards interventions that move user simulations closer to faithful renderings of diverse and variable linguistic outputs.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.10988v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.