arXiv:2609.00608v1 cs.CL

역할 벡터를 이용한 LLM 사용자 시뮬레이터의 어시스턴트 바이어스 조사

Investigating Assistant Bias in LLM User Simulators Using a Role Vector

Daeheon Jeong, Yoonjoo Lee, Eugene Choi, Sinie van der Ben, Juho Kim

제출 2026-09-01

한국어 초록

LLM 기반 사용자 시뮬레이터는 값비싼 인간 평가를 대체하여 자율 에이전트를 대규모로 평가하는 데 점점 더 많이 사용되고 있다. 이러한 기대에도 불구하고, 이들 시뮬레이터는 협조하고 과제 목표를 추구하려는 경향인 "어시스턴트 바이어스"를 보인다. 실제 사용자가 보이는 좌절이나 이탈을 거의 재현하지 못해 평가 타당성을 훼손한다. 선행 연구는 이 바이어스가 모델 학습 과정에 내재되어 역할 연기 프롬프트로는 이를 상쇄하지 못한다고 지적한다. 우리는 모델 활성화(activations)로부터 이 바이어스를 분석하며, 동일한 대화에서 사용자와 어시스턴트 관점을 모델이 어떻게 표현하는지 대비하여 사용자 역할 벡터를 추출한다. 우리는 두 가지 발견을 관찰한다: (i) 사용자 방향(user direction)은 활성화에서 식별 가능하며, 사용자와 유사한 행동을 유발하고 어시스턴트 특성과 구별되는 특징을 포착한다; (ii) 사용자 역할 활성화가 시뮬레이션 현실성과 연관되고 steering이 이를 강화하지만, 사용자 행동을 과장하고 개별 사용자 프로필을 덮어쓸 수 있다. 종합하면, 본 연구는 LLM 사용자 시뮬레이터에 대한 표현 수준(representation-level) 분석을 제공하며, 어시스턴트 바이어스가 구조적으로 식별 가능하고 사용자 행동을 방향적으로 분석할 수 있음을 확인한다.

원문 초록

LLM-based user simulators are increasingly used to evaluate autonomous agents at scale, in place of costly human evaluations. Despite this promise, these simulators exhibit "assistant bias," a tendency to cooperate and pursue task goals. They rarely reproduce the frustration or disengagement that real users exhibit, compromising evaluation validity. Prior work outlines that this bias is baked in during model training, which role-playing prompts fail to override. We analyze this bias from model activations, extracting a user role vector by contrasting how the model represents user versus assistant perspectives on the same dialogue. We observe two findings: (i) the user direction is identifiable in activations, elicits user-like behaviors, and captures characteristics distinct from assistant traits; and (ii) although user-role activation associates with simulation realism and steering strengthens it, it can exaggerate user behaviors and override individual user profiles. Together, our findings provide a representation-level analysis of LLM user simulators, confirming that assistant bias is structurally identifiable and that user behavior can be directionally analyzed.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.00608v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.