PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.21006v4cs.AI

악마의 변호인 역할 수행: 기성 페르소나 벡터로 아첨 현상 타깃 스티어링에 필적하기

Playing Devil's Advocate: Off-the-Shelf Persona Vectors Rival Targeted Steering for Sycophancy

언어 모델은 종종 아첨(sycophancy)하는 경향을 보입니다. 즉, 사용자가 진술한 의견이 옳든 그르든 그에 동의합니다. 선행 연구에서는 아첨 페르소나 벡터로 모델을 스티어링(steering)하여 이러한 특성을 제어할 수 있음을 보여주었습니다(Chen et al., 2025). 그러나 이러한 벡터는 아첨 자체에 대한 데이터에서 추출됩니다. 본 연구에서는 아첨을 전혀 목표로 하지 않고 추출된 일반적인 역할(회의론자(Skeptic), 판사(Judge), 악마의 변호인(Devil's Advocate))에 대한 기존 벡터를 대신 재사용할 수 있는지 묻습니다. Gemma 2 27B 및 Qwen 3 32B에서, 아첨 데이터의 별도 분할에 대한 태스크별 계수 튜닝을 사용하여, 대부분 분리된 균형 잡힌 PhilPapers 벤치마크를 바탕으로 이러한 역할 벡터를 목적에 맞게 제작된 대조적 활성화 추가(Contrastive Activation Addition, CAA) 아첨 벡터와 비교합니다. 선정된 "비판적" 역할들은 아첨 로짓 감소에서 CAA 성능의 평균 약 68%(Gemma) 및 98%(Qwen)를 달성합니다. 우리가 확인한 프로브에서 동의가 줄어든다고 해서 사실적 오류가 늘어나는 것은 아닙니다. 16개의 참 및 거짓 사실 주장에 대해 회의론자 또는 판사 벡터로 스티어링된 Qwen은 16개 경우 모두에서 여전히 정답을 제시하여 스티어링되지 않은 모델 및 CAA와 일치했습니다. "순응주의자(Conformist)" 역할은 반대 효과를 안정적으로 내지 못합니다. 또한 역할 벡터는 우리가 스티어링하는 층에서 측정된 CAA 방향과 낮은 절대 코사인 유사도를 갖습니다. 즉, 이들은 기하학적으로 분리된 개입이지만, 이것만으로 이들이 서로 다른 다운스트림 메커니즘을 통해 작동함을 증명하지는 않습니다. 종합적으로 이러한 결과는 일반 페르소나 벡터가 아첨 전용 라벨 없이 추출되었더라도 대규모 언어 모델(LLM)에서 아첨을 완화하는 데 도움이 될 수 있음을 보여줍니다. 코드: https://github.com/vkmk1/Sycophancy-Steering 결과: https://github.com/kelkarI/sycophancy-clean-results

arXiv:2607.13162v3cs.CL

모델이 무엇을 표현하고, 억제하며, 저항하는가: 페르소나 벡터를 이용한 가중치 공개 LLM 감사

What Models Express, Suppress, and Resist: Auditing Open-Weight LLMs with Persona Vectors

언어 모델이 하거나 하지 않을 행동은 대부분 사후 학습에서 정해지지만, 어떤 행동을 표현하고, 숨기며, 저항하는지는 프롬프트만으로는 드러나지 않는다. 활성화 공간에서의 행동 방향인 페르소나 벡터(persona vectors)는 이러한 조직을 탐색할 수 있지만, 선행 연구는 소수의 특성만 다룬다. 본 연구는 이 규모에서 페르소나 벡터를 체계적으로 최초 적용하여, 행동적으로 구별되는 네 도메인에 걸친 53개 특성 목록을 작성하고, 두 가중치 공개 모델의 모든 특성을 자연(기준선에서 표현됨), 조향 가능한 잠재이지만 증폭 가능, 또는 다루기 어려움(표준 추출에 저항)으로 분류한다. 두 모델 모두 기본적으로 도움이 되고 과제 지향적인 행동을 한다. 아홉 가지 에이전트적(agentic) 특성은 모두 자연적이며, 기본 임상의(clinician) 행동은 17개 특성 중 16개에서 전문심리사의 독립적인 바람직성 판단과 일치한다. 조향(steering)은 이러한 기본값이 배제하는 특성—과장, 환각, 아첨—에서 가장 큰 이득을 낸다. 동일한 비대칭은 171개 일반-특성 쌍 전반에 걸쳐 성립한다. 두 조향 가능 특성은 구성(composition)을 붕괴시킬 수 있지만, 기본값을 포함하는 쌍은 그렇지 않다. "evil"과 같은 특성에서 표준 추출이 실패하는 경우, 파인튜닝된 변형에서 전이된 벡터가 여전히 이를 회복하며, 잔여 거부는 모델의 사고의 연쇄(Chain-of-Thought) 내부에 나타난다. 페르소나 벡터는 제어 수단의 집합이라기보다 행동 조직을 탐색하는 프로브로서 가장 유익하다.

arXiv:2607.00006v1cs.CL

Persona Without Substrate: Regime-Dependence and the LLM Individuation Problem

대규모 언어 모델(LLM)의 페르소나 벡터(persona vector)가 프롬프트 조건화, 그래디언트 기반 파인튜닝, 추론 시간 활성화 조정 등 서로 다른 유도 레짐(regime)에서 동일한 내용을 지칭한다는 암묵적 가정이 실제로는 성립하지 않음을 Qwen3-4B-Instruct 및 Mistral-7B-Instruct-v0.2 실험을 통해 네 가지 경험적 근거로 반박한다. 이를 바탕으로 표현 내용의 동일성 단위는 벡터 단독이 아닌 (vehicle, regime) 쌍이어야 한다는 레짐-색인 개별화(regime-indexed individuation) 이론을 제안하며, Beckmann & Butlin의 세 후보 입장이 동일한 지시체를 두고 경쟁하는 것이 아니라 각 레짐 내에서 유효한 서로 다른 대상을 기술함을 보인다.