악마의 변호인 역할 수행: 기성 페르소나 벡터로 아첨 현상 타깃 스티어링에 필적하기
Playing Devil's Advocate: Off-the-Shelf Persona Vectors Rival Targeted Steering for Sycophancy
한국어 초록
언어 모델은 종종 아첨(sycophancy)하는 경향을 보입니다. 즉, 사용자가 진술한 의견이 옳든 그르든 그에 동의합니다. 선행 연구에서는 아첨 페르소나 벡터로 모델을 스티어링(steering)하여 이러한 특성을 제어할 수 있음을 보여주었습니다(Chen et al., 2025). 그러나 이러한 벡터는 아첨 자체에 대한 데이터에서 추출됩니다. 본 연구에서는 아첨을 전혀 목표로 하지 않고 추출된 일반적인 역할(회의론자(Skeptic), 판사(Judge), 악마의 변호인(Devil's Advocate))에 대한 기존 벡터를 대신 재사용할 수 있는지 묻습니다. Gemma 2 27B 및 Qwen 3 32B에서, 아첨 데이터의 별도 분할에 대한 태스크별 계수 튜닝을 사용하여, 대부분 분리된 균형 잡힌 PhilPapers 벤치마크를 바탕으로 이러한 역할 벡터를 목적에 맞게 제작된 대조적 활성화 추가(Contrastive Activation Addition, CAA) 아첨 벡터와 비교합니다. 선정된 "비판적" 역할들은 아첨 로짓 감소에서 CAA 성능의 평균 약 68%(Gemma) 및 98%(Qwen)를 달성합니다. 우리가 확인한 프로브에서 동의가 줄어든다고 해서 사실적 오류가 늘어나는 것은 아닙니다. 16개의 참 및 거짓 사실 주장에 대해 회의론자 또는 판사 벡터로 스티어링된 Qwen은 16개 경우 모두에서 여전히 정답을 제시하여 스티어링되지 않은 모델 및 CAA와 일치했습니다. "순응주의자(Conformist)" 역할은 반대 효과를 안정적으로 내지 못합니다. 또한 역할 벡터는 우리가 스티어링하는 층에서 측정된 CAA 방향과 낮은 절대 코사인 유사도를 갖습니다. 즉, 이들은 기하학적으로 분리된 개입이지만, 이것만으로 이들이 서로 다른 다운스트림 메커니즘을 통해 작동함을 증명하지는 않습니다. 종합적으로 이러한 결과는 일반 페르소나 벡터가 아첨 전용 라벨 없이 추출되었더라도 대규모 언어 모델(LLM)에서 아첨을 완화하는 데 도움이 될 수 있음을 보여줍니다. 코드: https://github.com/vkmk1/Sycophancy-Steering 결과: https://github.com/kelkarI/sycophancy-clean-results
원문 초록
Language models are often sycophantic: they agree with a user's stated opinion whether or not it is correct. Prior work has shown that this trait can be controlled by steering a model with a sycophancy persona vector (Chen et al., 2025). Such vectors, however, are extracted from data about sycophancy itself. We ask whether we can instead reuse existing vectors for general roles---Skeptic, Judge, Devil's Advocate---that were extracted without targeting sycophancy at all. On Gemma 2 27B and Qwen 3 32B, we compare these role vectors with a purpose-built Contrastive Activation Addition (CAA) sycophancy vector on a largely held-out, counterbalanced PhilPapers benchmark, using task-specific coefficient tuning on a separate split of sycophancy data. The selected "critical" roles achieve, on average, about 68% (Gemma) and 98% (Qwen) of CAA's reduction in the sycophancy logit. Less agreement does not mean more factual errors on the probes we checked: on 16 true and false factual claims, Qwen steered by the Skeptic or Judge vector still gives the correct answer in all 16 cases, matching the unsteered model and CAA. "Conformist" roles do not reliably produce the opposite effect. Role vectors also have low absolute cosine similarity with the measured CAA direction at the layer we steer; they are geometrically separate interventions, although this does not by itself show that they act through distinct downstream mechanisms. Together, these results show that general persona vectors can help mitigate sycophancy in LLMs, even when extracted without sycophancy-specific labels. Code: https://github.com/vkmk1/Sycophancy-Steering Results: https://github.com/kelkarI/sycophancy-clean-results
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
연쇄적 선형 특징을 이용한 사이코퍼시 탐지 및 제어
Detecting and Controlling Sycophancy with Cascading Linear Features
활성화 스티어링(activation steering) 방법을 통해 모델 행동을 해석하고 제어하려면, 원하는 행동 또는 원하지 않는 행동을 명확히 보여주는 많은 대조 샘플 쌍이 필요하다. 이러한 데이터 쌍은 해석 가능성 프레임워크가 특정 행동을 담당하는 모델 특징을 얼마나 신뢰할 수 있게 탐지할 수 있는지, 그리고 따라서 모델을 해당 행동 쪽으로 또는 그로부터 멀어지게 스티어링할 수 있는 능력을 결정한다. 본 연구에서는 행동을 담당하는 연쇄적 선형 특징을 분리하는 반복적 데이터 생성 파이프라인을 제시한다. 구체적으로, 단순한 이진 샘플 쌍을 넘어 행동에 선형적으로 스케일되는 특징의 정도를 보여주는 샘플을 분리함으로써 특징의 더 나은 분리(disentanglement)가 가능함을 보인다. 우리는 사이코퍼시(sycophancy)—언어 모델이 사용자 인정을 우선시하는 경향—의 탐지 및 이로부터의 스티어링에 초점을 맞춘다. 연쇄적 샘플을 통해 발견된 사이코퍼시 특징이 선형 분리 가능한 부분공간을 형성하며, 기준선 접근법보다 원하는 행동에 더 명확히 대응하는 모델 활성화의 선택을 가능하게 함을 보인다. 또한 탐지, 결정론적 스코어링, 강건한 스티어링을 가능하게 하는 능력을 평가한 결과, 더 낮은 계산 요구량과 더 많은 해석 가능성 보장을 제공하면서 LLM-as-a-judge 및 시스템 프롬프팅(system prompting) 기준선과 동등하거나 그보다 우수한 성능을 보인다. Code & Data: https://cascading-feats.github.io/
아첨(Sycophancy)에 대한 이중 입장 평가: 동의의 구조와 개입의 한계
Dual-Stance Evaluation of Sycophancy: The Structure of Agreement and the Limits of Intervention
활성화 조종(activation steering)은 대규모 언어 모델(LLM)의 동작을 변경할 수 있지만, 표준 평가 방식은 일반적으로 아첨(sycophancy) 감소 방향이 사실적으로 올바른 진술에 대한 동의도 억제하는지 여부를 테스트하지 않습니다. 우리는 각 주제에 대한 두 가지 입장을 모두 테스트하는 이중 입장 평가(dual-stance evaluation)를 소개하고, 이를 Llama-3-8B-Instruct에 적용된 중심점 차이 조종(centroid-difference steering)에 적용합니다. 우리는 분리(dissociation) 현상을 발견했습니다: 모델은 아첨적인 동의와 사실적 동의를 기하학적으로 구별되는 부분 공간에 표현하지만, 조종 방향은 두 공간에 동일하게 투영되어 어느 한쪽을 차별적으로 타겟팅할 수 없습니다. 따라서 해당 방향은 아첨적인 진술뿐만 아니라 사실적으로 올바른 진술(예: 지구는 둥글다는 사실)에 대한 동의도 감소시킵니다. 두 활성화 그룹의 다른 모든 정적 속성은 일치하며, 이는 행동적 분리가 생성 동역학(generation dynamics) 또는 잔차 스트림(residual-stream) 분석이 해결할 수 없는 더 세밀한 구조에서 비롯됨을 시사합니다. 이 패턴은 일반적인 격차를 보여줍니다: 활성화(activation)에서 판독 가능한 표현이 이를 통해 기록 가능한 것은 아닐 수 있습니다.
활성화 콘 사각지대 해소: 응답 시간 프로빙과 통합 방어
Closing the Activation-Cone Blind Spot: Response-Time Probing and Unified Defense
내성적 결합: 고정된 지도 신호에도 불구하고 행동 변화를 추적하는 자기 설명 학습
Introspective Coupling: Self-Explanation Training Tracks Behavioral Change Despite Fixed Supervision
프로필에서 스티어링 벡터로: 개인화 텍스트 생성을 위한 전역 희소 사전과 지역적 의미 보정
From Profiles to Steering Vectors: Global Sparse Priors and Local Semantic Calibration for Personalized Text Generation
개인화 텍스트 생성은 모델이 과거 데이터로부터 사용자 고유의 문체를 포착해야 한다. 검색, 매개변수 효율적 미세조정, 또는 활성화 스티어링(activation steering)에 기반한 기존 접근법은 추론 및 저장 오버헤드를 유발하거나, 문체적 신호와 의미적 내용을 분리하는 데 어려움을 겪는다. 우리는 희소 사전(sparse priors)을 활용한 전역-지역 활성화 스티어링(Global-Local Activation Steering)을 통해 개인화 생성을 수행하는 학습 없는(training-free) 프레임워크인 GLASS를 제안한다. GLASS는 희소 오토인코더(sparse autoencoders)를 사용하여 과거 응답으로부터 전역 사용자 문체 사전을 추출하고, 클러스터링된 상호작용 시나리오에 대해 지역적 대조적 문체 벡터를 구성한다. 추론 시, 전역 및 지역 벡터를 서로 다른 모델 레이어에 공동으로 주입하여, 검색이나 매개변수 업데이트 없이 문맥 인식 개인화를 가능하게 한다. LaMP 및 LongLaMP에서의 실험은 GLASS가 ROUGE 지표와 LLM-as-judge 평가 전반에 걸쳐 검색-, 미세조정-, 스티어링 기반 베이스라인을 능가함을 보여준다. 추가 분석은 SAE 기반 표현이 주제 및 길이 변화에 더 강건하여, 문체 정보와 의미적 잔여(semantic residue)의 더 나은 분리를 시사함을 보여준다.
고정 벤치마크와 최악의 경우 공격을 넘어서: 언어 모델을 위한 동적 경계 평가
Beyond Fixed Benchmarks and Worst-Case Attacks: Dynamic Boundary Evaluation for Language Models
오늘날 대규모 언어 모델(LLM) 평가는 모든 모델에 동일한 문항 집합을 적용하는 고정 벤치마크에 기반하며, 이는 천장 효과와 바닥 효과를 발생시켜 능력 차이를 가린다. 우리는 가장 유익한 평가 신호가 경계, 즉 무작위 샘플링 디코딩 전략 하에서 프롬프트별 통과 확률이 $0.5$에 가까운 지점에 존재한다고 주장하며, 각 모델의 경계를 능동적으로 찾아내어 전역적으로 비교 가능한 난이도 척도 위에 배치하는 동적 경계 평가(Dynamic Boundary Evaluation, DBE)를 제안한다. DBE는 세 가지 결과물을 제공한다: (i) 안전성, 능력, 진실성을 포괄하며 $9$개의 참조 LLM에 걸쳐 검증된 문항별 난이도 레이블을 갖춘 보정된 문항 은행; (ii) API 수준의 질의 접근만을 사용하여 주어진 대상 LLM의 경계 문항을 찾는 탐색 알고리즘인 스킬 가이드 경계 탐색(Skill-Guided Boundary Search, SGBS); 그리고 (iii) 새로운 LLM을 통합된 능력 척도 위에 배치하고, 대상이 문항 은행의 커버리지를 벗어날 경우 평가 집합을 적응적으로 확장하는 평가 프로토콜이다. 우리는 안전성(유해 요청 거부, 과도한 거부), 능력(제약된 지시 따르기), 진실성(다중 턴 아첨 저항성)에 걸친 네 가지 범주에 DBE를 구체적으로 적용한다. 그 결과로 얻어진 평가는 기존 데이터셋과의 호환성을 유지하면서도 포화 없이 더 넓은 모델 스펙트럼을 포괄한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
11 pages. Spotlight at the 2nd Workshop on Epistemic Intelligence in Machine Learning, ICML 2026. Revised manuscript and abstract