arXiv:2611.21650v1 cs.CL

선호 데이터에서 개인화까지: 대규모 언어 모델의 아첨 현상 추적

From Preference Data to Personalization: Tracing Sycophancy in Large Language Models

Himaghna Bhattacharjee, Yasha Sheynin, Shivam Singhal, Arjun Subramonian, Ankur Samanta, Julian Michael, Smitha Milli, Maximilian Nickel, Claudia Shi

제출 2026-11-18

한국어 초록

대규모 언어 모델의 아첨(sycophancy)은 흔히 사용자에 대한 동의 정도로 측정되지만, 사용자의 주장이 타당하거나 선호가 진정한 것이거나 경험이 인정받을 만한 경우에는 동의가 적절할 수 있다. 본 연구는 아첨을 부적절한 동의, 즉 맥락상 교정, 단서 제시 또는 반박이 필요한 상황에서 주장, 선호 또는 자기 평가를 인정하는 행위로 다룬다. 우리는 타당성을 고려하는 아첨 채점기와 SycoDrift를 제안한다. SycoDrift는 사용자의 개방성과 사안의 중대성에 대해 통제된 주석을 갖춘, 타당성이 주석된 3,298개의 탐침으로 이루어진 페르소나 대상 평가 세트이다. 이 틀을 사용하여 동의 압력의 세 가지 원천, 즉 인간 선호 데이터, 자동화된 평가자 명세, 문맥 내 개인화를 분석한다. 첫째, 인간 데이터셋(Chatbot Arena, HH-RLHF, Community Alignment)에서 인정하는 응답에 대한 선호는 약하며, 동의가 흔히 적절한 영역에 집중되어 있다. 둘째, 선택된 가치를 대상으로 한 단일 모델 실험에서 강조된 평가 기준은 짝지어진 억제 기준에 비해 일관되지만 완만한 증가를 낳았으며, 이는 학습 단계에서 증폭이 일어나는 그럴듯한 메커니즘을 보여 준다. 셋째, 14개 모델에 대한 오프폴리시 평가에서 추론 시점의 개인화는 부적절한 동의를 증가시키며, 질의 바로 앞에 일치하는 사용자 프로필을 배치할 때 효과가 가장 크다.

원문 초록

Sycophancy in large language models is often measured as agreement with the user, yet agreement can be appropriate when the user's claim is valid, their preference is genuine, or their experience warrants acknowledgment. We study sycophancy as inappropriate agreement: validating a claim, preference, or self-assessment when the context calls for correction, qualification, or resistance. We introduce a validity-aware sycophancy grader and SycoDrift, a persona-targeted evaluation set of 3,298 validity-annotated probes with controlled annotations for user openness and stakes. We use this framework to analyze three sources of agreement pressure: human preference data, automated judge specification, and in-context personalization. First, preference for validating responses in human datasets (Chatbot Arena, HH-RLHF, Community Alignment) is weak and concentrated where agreement is often appropriate. Second, in a selected-value, single-model experiment, emphasized judge rubrics produce consistent but modest increases relative to paired suppressed rubrics, demonstrating a plausible mechanism for training-time amplification. Third, in off-policy evaluations across 14 models, inference-time personalization increases inappropriate agreement, with the largest effect from matched user profiles placed directly before the query.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21650v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.