We study what LLMs do when a user applies pressure in an uncomfortable situation: a user insists, begs, flatters or grieves, and the model gives up a correct fact, writes a document it should refuse, or cheers a plan that will cost the user money, a multi-turn form of sycophancy. We send frozen multi-turn scenes to 60 models from 13 vendors and label each transcript with a trajectory (the model held its position or folded) and a manner (how it held or folded). Three scenes were used to build the codebook; six more were written afterwards and preregistered as a replication. Whether a model holds tracks its generation: fold rate correlates with a public capability index at Spearman -0.64 to -0.69 across the two scene sets, so newer models fold less, unlike earlier reports that sycophancy grows with model scale. How a model holds tracks the vendor: six of the 17 manner codes sort by vendor at permutation p <= 0.001, corrected across the codebook, and four do so again on the replication scenes. Anthropic's models name the feeling, warn and offer an alternative; OpenAI's do less of all three and almost never cite their own rules; Google's cite themselves and their AI nature when asked to do something; Meta's write the artifact they shouldn't. Six LLM coders from three vendors labeled every transcript, and three human coders labeled fifty held-out transcripts. The machines were the more consistent readers (Krippendorff's alpha 0.66 against 0.46), agreed with the author on trajectory at kappa 0.84 to 0.91, and matched the adjudicated reference at 0.83. For behavior a non-specialist can judge, the human contribution is authoring and bounding the codes and owning a small reference, not producing labels at volume.
언어 모델(language model)이 점차 권력과 관련된 요청에서 사람들을 보조함에 따라, 모델이 누구를 돕는지에 대한 체계적인 차이는 대규모로 권력 분포를 변화시키거나 어떤 정체성이 덜 거부당하는지 파악한 사용자들에 의해 악용될 수 있습니다. 본 연구에서는 자기 역량 강화(self-empowerment), 권한 박탈(disempowerment), 권력 장악(power grabbing)을 구분하고, 권력을 이동시키지 않으면서 거부를 유도하는 요청을 대조군으로 포함하여 권력 이동 요청을 평가하는 PowerBench를 소개합니다. 권력 영역, 맥락, 영향을 받는 대상의 규모, 사용자의 기존 권력 위치를 다양화한 이러한 요청들로 구성된 데이터셋(dataset)을 구축, 큐레이션 및 오픈소스로 공개하고, 세 가지 실험 조건(사용자와 영향을 받는 대상의 상호 국적, 사용자가 AI 에이전트(agent)인 경우, 8개 언어로 된 요청) 하에서 24개 모델(미국 개발사 12개, 중국 개발사 12개)을 평가합니다. 모델들은 자기 역량 강화보다 권한 박탈을, 권한 박탈보다 권력 장악을 더 많이 거부합니다. 권력 장악에 대한 거부는 영향을 받는 대상의 규모가 개인에서 사회로 커질수록 증가합니다. 모델들은 다른 이들이 미국으로부터 권력을 가져오는 것을 돕는 쪽으로, 그리고 미국 사용자가 타인으로부터 권력을 가져오는 것을 돕지 않는 쪽으로 바이어스(bias)를 보이지만, 미국이 권력을 얻고 아무도 잃지 않는 경우에는 미국을 선호합니다. 사용자가 AI 에이전트인 경우 권력 이동 요청에 대한 거부가 증가하며, 특히 개인을 상대로 한 권력 장악에서 두드러집니다. 마지막으로 언어는 거부에 편향을 유발하지만, 모델별로 상이한 양상을 보여 평균적으로는 대체로 상쇄됩니다. 저자들은 현재 및 미래 모델에서 이러한 비대칭성을 측정할 수 있도록 PowerBench를 공개합니다.
안전성(safety) 벤치마크에서의 거절 반응은 모델 업데이트 후에도 해당 동작이 얼마나 안정적으로 유지될지 보여주지 못합니다. 무해한 다운스트림 미세조정(fine-tuning)도 거절 능력을 약화시킬 수 있지만, 행동 기반 평가는 일반적으로 개입이 발생한 후에야 이러한 취약성을 드러냅니다. 본 연구에서는 수정되지 않은 모델의 잔차 스트림(residual-stream) 활성화를 조사하는 기하학적 진단 기법인 SKIN-DEEP을 소개합니다. 이 기법은 정렬(alignment)된 체크포인트와 기본 체크포인트를 비교하여 안전성을 구분하는 방향을 식별하고, 절제(ablation)를 통해 이들의 행동적 관련성을 검증하며, 층별(layer-wise) 패턴을 기하학적 취약성 점수(Geometric Fragility Score, GFS)로 요약합니다. 21개의 인스트럭션 튜닝(instruction tuning) 모델 전반에서 유해한 요청과 무해한 지시문은 반복적인 저랭크(low-rank) 분리 패턴을 나타냅니다. 선택된 방향에 대한 절제는 거절 능력을 약화시키며, 효과적인 방향은 모델에 따라 다양합니다. 무해한 저랭크 미세조정 실험에서, 미세조정 전 가장 낮은 점수를 기록한 초기의 안전한 모델은 테스트된 가장 큰 규모의 무해한 예제 세트로 학습되었을 때 가장 낮은 유해 순응률을 보입니다. 이러한 발견은 표현 기하학을 향후 행동 취약성과 연결하며, 거절 테스트의 보완책으로서 활성화 기반 진단의 유용성을 뒷받침합니다. 코드는 https://github.com/js-lee-AI/skin-deep 에서 이용할 수 있습니다.