PyTorchKR Papers

최신 논문

총 26편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.32038v2cs.CL

내성적 결합: 고정된 지도 신호에도 불구하고 행동 변화를 추적하는 자기 설명 학습

Introspective Coupling: Self-Explanation Training Tracks Behavioral Change Despite Fixed Supervision

When does training language models (LMs) to generate explanations of their predictions yield faithful introspection, rather than superficial imitation? We study LMs trained to explain which features of their inputs influenced their behavior, using models' counterfactual behavior on modified inputs as supervision. Surprisingly, we find that LMs trained on fixed counterfactual explanations derived from their earlier checkpoints, or even from behaviorally similar models in different families, frequently produce explanations more faithful to their own current behaviors than to those of their training targets. This "introspective" coupling between LM explanations and behaviors occurs when training explanations remain sufficiently correlated with current behaviors over the course of training, even as behaviors themselves shift. We also show that introspective coupling tracks behavior shifts: when explanation training is provided concurrently with other post-training objectives, explanations change to match without requiring updated supervision. This phenomenon appears in multiple tasks, including sycophancy and refusal, and is robust to label noise. Overall, our results show that even fixed datasets of counterfactual explanations can provide scalable and generalizable post-training signal for introspection.

arXiv:2605.06213v3cs.AI

고정 벤치마크와 최악의 경우 공격을 넘어서: 언어 모델을 위한 동적 경계 평가

Beyond Fixed Benchmarks and Worst-Case Attacks: Dynamic Boundary Evaluation for Language Models

오늘날 대규모 언어 모델(LLM) 평가는 모든 모델에 동일한 문항 집합을 적용하는 고정 벤치마크에 기반하며, 이는 천장 효과와 바닥 효과를 발생시켜 능력 차이를 가린다. 우리는 가장 유익한 평가 신호가 경계, 즉 무작위 샘플링 디코딩 전략 하에서 프롬프트별 통과 확률이 $0.5$에 가까운 지점에 존재한다고 주장하며, 각 모델의 경계를 능동적으로 찾아내어 전역적으로 비교 가능한 난이도 척도 위에 배치하는 동적 경계 평가(Dynamic Boundary Evaluation, DBE)를 제안한다. DBE는 세 가지 결과물을 제공한다: (i) 안전성, 능력, 진실성을 포괄하며 $9$개의 참조 LLM에 걸쳐 검증된 문항별 난이도 레이블을 갖춘 보정된 문항 은행; (ii) API 수준의 질의 접근만을 사용하여 주어진 대상 LLM의 경계 문항을 찾는 탐색 알고리즘인 스킬 가이드 경계 탐색(Skill-Guided Boundary Search, SGBS); 그리고 (iii) 새로운 LLM을 통합된 능력 척도 위에 배치하고, 대상이 문항 은행의 커버리지를 벗어날 경우 평가 집합을 적응적으로 확장하는 평가 프로토콜이다. 우리는 안전성(유해 요청 거부, 과도한 거부), 능력(제약된 지시 따르기), 진실성(다중 턴 아첨 저항성)에 걸친 네 가지 범주에 DBE를 구체적으로 적용한다. 그 결과로 얻어진 평가는 기존 데이터셋과의 호환성을 유지하면서도 포화 없이 더 넓은 모델 스펙트럼을 포괄한다.

arXiv:2610.02622v1cs.AI

CuBEs: 문화적 맥락을 고려한 행동 평가와 문화 불가지론적 LLM 판정자의 한계

CuBEs: Culturally-Situated Behavioral Evaluations and the Limitations of Culture-Blind LLM Judges

아첨(sycophancy), 자기 선호(self-preference), 또는 과신(over-confidence)과 같은 대규모 언어 모델(LLM)의 행동 발생 여부와 트리거를 평가하는 것은 실제 환경에서의 모델 배포 위험을 예측하는 데 매우 중요합니다. 그러나 기존의 맥락적 행동 평가는 일반적으로 문화적 맥락을 무시하므로, 점점 더 글로벌화되는 사용자층 전반에 걸친 일반화 가능성이 제한됩니다. 이러한 격차를 해소하기 위해, 다양한 사용자 문화에 걸친 응답 패턴을 탐색하는 문화적 맥락 고려 행동 평가 프레임워크인 CuBEs를 제안합니다. 먼저 자동화된 테스트 파이프라인을 확장하여 행동 테스트 시나리오와 후속 평가에 문화적 맥락을 주입합니다. 12개의 서로 다른 문화권에 걸쳐 미묘한 행동 이해 차원을 포착하는 인간 라벨링 데이터셋을 구축하여 이 파이프라인의 문화적 적응성을 평가합니다. 구축한 데이터셋은 획일적인 판정으로는 포착할 수 없는 상당한 비교문화적 차이를 보여줍니다. 13개의 오픈소스 및 폐쇄형 LLM을 평가한 결과, 평가 시나리오에 문화적 맥락성(cultural situatedness)을 도입하면 행동의 발현 양상에 상당한 차이가 발생함을 확인했습니다. 예를 들어 정치적 바이어스를 테스트하는 기준선 실험에서는 미국 내 보수-진보 간의 분열과 같이 국지화된 서구적 정치 차원만을 포착하는 반면, 비서구권의 문화적 맥락을 고려한 평가에서는 종교적 및 식민지적 정치 문제와 같은 완전히 다른 바이어스 축이 드러납니다. 이러한 연구 결과는 표준적이고 문화 불가지론적인 평가가 이러한 변화를 포착하지 못함을 보여주며, 글로벌 배포를 위해 문화적 맥락을 고려한 행동 테스트가 필수적임을 강조합니다.

arXiv:2610.02568v1cs.AI

다원적 선호도 최적화를 통한 사회적 아첨 완화

Mitigating Social Sycophancy via Pluralistic Preference Optimization

인간관계에 대한 조언을 비롯한 개인적 조언은 현재 생성형 AI의 가장 흔한 사용 사례 중 하나로 자리 잡았습니다. 그러나 언어 모델(LM)은 아첨(sycophancy) 현상을 보입니다. 즉, 사람보다 훨씬 더 자주 사용자의 말에 동조하며, 이는 갈등 이후 사람들이 과도한 확신을 갖게 하거나 관계를 개선하려는 의지를 약화시킬 수 있습니다. 아첨을 완화하기 위한 이전 연구들은 정답(ground truth)과 대조해 응답을 검증할 수 있는 사실적 환경에 초점을 맞추어 왔으며, 정답이 존재하지 않는 개인적 조언과 같은 사회적 아첨 완화는 단순한 프롬프트 기법과 제한된 효과를 지닌 사후 학습 방식에 의존해 왔습니다. 본 연구의 핵심 통찰은 사회적 아첨이 부분적으로 언어 모델이 사용자에게 지나치게 집중하여 사용자의 행동으로 영향을 받는 다른 이해관계자의 관점을 고려하지 못하기 때문에 발생한다는 점입니다. 이 문제를 해결하기 위해 저자들은 다원적 선호도 최적화(Pluralistic Preference Optimization, PlurPO)를 제안합니다. 대인 갈등을 설명하는 입력이 주어지면, LM은 관련 이해관계자들을 식별 및 시뮬레이션하고, 모든 이해관계자가 수용할 수 있는 응답을 선호하고 생성하도록 학습됩니다. PlurPO는 정답 레이블 없이 모델이 자체 출력에 대해 생성한 신호만을 사용합니다. PlurPO는 기존 방식과 비교하여 4개의 데이터셋과 4개의 모델 제품군 전반에서 사회적 아첨을 실질적으로 감소시킵니다. 예를 들어 사용자의 행동을 지지해서는 안 되는 유해 의도 진술의 경우, PlurPO는 4개 모델 전반에서 지지율을 평균 89% 줄입니다. 사람의 응답 수준으로 지지율을 맞추는 것이 목표인 일반적인 조언 질문에서는 평균 격차를 17.8%에서 8.0%로 절반 이상 줄입니다. 또한 8B 모델을 위해 PlurPO로 구축된 선호도 데이터셋은 더 큰(32B) 모델의 아첨을 완화하는 데에도 효과적으로 전이됩니다. 본 연구 결과는 관련된 다양한 관점을 시뮬레이션하는 모델 자체의 능력을 활용하여 사회적 아첨을 줄일 수 있음을 시사합니다.

arXiv:2605.21006v4cs.AI

악마의 변호인 역할 수행: 기성 페르소나 벡터로 아첨 현상 타깃 스티어링에 필적하기

Playing Devil's Advocate: Off-the-Shelf Persona Vectors Rival Targeted Steering for Sycophancy

언어 모델은 종종 아첨(sycophancy)하는 경향을 보입니다. 즉, 사용자가 진술한 의견이 옳든 그르든 그에 동의합니다. 선행 연구에서는 아첨 페르소나 벡터로 모델을 스티어링(steering)하여 이러한 특성을 제어할 수 있음을 보여주었습니다(Chen et al., 2025). 그러나 이러한 벡터는 아첨 자체에 대한 데이터에서 추출됩니다. 본 연구에서는 아첨을 전혀 목표로 하지 않고 추출된 일반적인 역할(회의론자(Skeptic), 판사(Judge), 악마의 변호인(Devil's Advocate))에 대한 기존 벡터를 대신 재사용할 수 있는지 묻습니다. Gemma 2 27B 및 Qwen 3 32B에서, 아첨 데이터의 별도 분할에 대한 태스크별 계수 튜닝을 사용하여, 대부분 분리된 균형 잡힌 PhilPapers 벤치마크를 바탕으로 이러한 역할 벡터를 목적에 맞게 제작된 대조적 활성화 추가(Contrastive Activation Addition, CAA) 아첨 벡터와 비교합니다. 선정된 "비판적" 역할들은 아첨 로짓 감소에서 CAA 성능의 평균 약 68%(Gemma) 및 98%(Qwen)를 달성합니다. 우리가 확인한 프로브에서 동의가 줄어든다고 해서 사실적 오류가 늘어나는 것은 아닙니다. 16개의 참 및 거짓 사실 주장에 대해 회의론자 또는 판사 벡터로 스티어링된 Qwen은 16개 경우 모두에서 여전히 정답을 제시하여 스티어링되지 않은 모델 및 CAA와 일치했습니다. "순응주의자(Conformist)" 역할은 반대 효과를 안정적으로 내지 못합니다. 또한 역할 벡터는 우리가 스티어링하는 층에서 측정된 CAA 방향과 낮은 절대 코사인 유사도를 갖습니다. 즉, 이들은 기하학적으로 분리된 개입이지만, 이것만으로 이들이 서로 다른 다운스트림 메커니즘을 통해 작동함을 증명하지는 않습니다. 종합적으로 이러한 결과는 일반 페르소나 벡터가 아첨 전용 라벨 없이 추출되었더라도 대규모 언어 모델(LLM)에서 아첨을 완화하는 데 도움이 될 수 있음을 보여줍니다. 코드: https://github.com/vkmk1/Sycophancy-Steering 결과: https://github.com/kelkarI/sycophancy-clean-results

arXiv:2609.27756v1cs.AI

압박 속 보고: LLM 통계 분석에서 사실적 아첨과 어조적 아첨의 분리

Reporting Under Pressure: Separating Factual and Tonal Sycophancy in LLM Statistical Analysis

대규모 언어 모델(LLM)은 점점 더 데이터를 분석하고 결과가 무엇을 의미하는지 보고하도록 요청받고 있으며, 이는 대부분의 아첨(sycophancy) 연구에서 다루는 신념·선호 정렬(alignment) 설정과는 별개의 과제이다. 우리는 프롬프트의 편집적 프레이밍이 중립적 요청부터 발견을 discredit하거나 뒷받침할 이유를 철저히 찾으라는 명시적 지시까지 이어질 때, 모델의 보고에서 어조뿐 아니라 내용(substance)까지 바꾸는지 검증한다. 네 가지 프레이밍 조건과 네 가지 ground-truth 데이터 패턴(진짜 효과, 효과를模방하나 견고성 검증(robustness check)에 실패하는 교란(confound), 검정력이 충분한 null, 검정력이 부족한 null)을 교차하는 4×4 요인 설계에서 480개 응답을 수집하고, 각각을 두 독립 차원으로 채점한다. 하나는 데이터에 대한 사실적 주장이 올바른 해석에서 벗어났는지이고, 다른 하나는 주장은 올바른 채 어조만 달라졌는지이다. 사실적 왜곡은 두 셀에 집중된다. 진짜 효과에 가혹하게 비판적인 프레이밍을 적용할 때 모델이 부당한 회의론을 스스로 설득하는 경우(응답의 97%), 검정력 부족 null에 유의성 추구(significance-seeking) 프레이밍을 적용할 때 데이터가 뒷받침할 수 없는 null 결론에 대한 확신을 과장하는 경우(응답의 100%)이다. 어조 변화는 사실적 내용보다 훨씬 넓게 나타난다. 비판적 프레이밍은 데이터가 무엇을 보여주든 모든 데이터 패턴에서 방어적이고 hedge가 많은 문체를 만들고, 유의성 추구 프레이밍은 데이터가 진정한 애매함을 남기는 경우에만 어조를 바꾼다. 데이터 자체에 존재하는 confound는 시험한 모든 프레이밍 조건에서 두 종류의 변화를 거의 전부 차단한다. 이 결과는 LLM 보조 데이터 분석에서 프레이밍 유발 왜곡의 위험이 프레이밍 간에도 데이터 패턴 간에도 균일하지 않으며, 모델이 올바른 결론은 그대로 유지한 채 그 주변에서 어조만 크게 바뀔 수 있음을 시사한다.

arXiv:2609.26579v1cs.CL

아첨이 아닌 수용성: 언어 모델에서 참여와 순응 구분하기

Receptiveness, Not Sycophancy: Distinguishing Engagement from Deference in Language Models

언어 모델의 핵심적인 우려 중 하나는 아첨(sycophancy), 즉 독립적이고 실질적인 판단을 희생하면서까지 사용자의 견해에 순응하는 경향이다. 이와 병행하여, 사회적 아첨(social sycophancy)에 관한 연구는 부적절한 순응을 나타낼 수 있는 인정과 긍정적 태도 같은 행동에 초점을 맞추어 왔다. 그러나 사회적 아첨의 지표는 의견 불일치 상황에서의 상호작용을 개선하는 것으로 알려진 사회심리학의 구성 개념인 대화적 수용성(conversational receptiveness)의 특징이기도 하다. 우리는 이러한 중첩이 사회적 아첨 평가에 구성 타당도(construct validity) 문제를 야기한다고 주장한다. 널리 쓰이는 도덕 조언 데이터셋을 사용한 분석에서, 사회적으로 더 아첨적이라고 분류된 응답이 더 수용적이기도 하다는 것을 발견했다. 더 나아가, 사람이 작성한 응답의 실질적인 결론은 유지한 채 수용성을 높이면 해당 응답이 사회적으로 더 아첨적이라고 분류된다. 이렇게 긴밀하게 결합되어 있다는 점은 사회적 아첨 평가가 바람직한 행동에 의도치 않게 불이익을 줄 가능성을 제기한다. 실질적으로 동등한 응답을 비교한 사전등록(preregistered) 실험에서, 참가자들은 더 수용적인 응답을 선호했고, 사용자가 그 응답에 더 귀 기울일 가능성이 높다고 예상했으며, 그 응답의 작성자에게 조언을 구할 의향도 더 컸다. 원래 질문자가 잘못했다고 생각하는 참가자들 사이에서도 동일한 전반적 양상이 나타났다. 마지막으로, 실질적 순응을 높이지 않으면서 수용성을 크게 높이는 간단한 접근법을 제시하여, 대화적 수용성과 실질적 독립성이 함께 달성될 수 있음을 보인다.

arXiv:2607.23976v1cs.CL

태그 질문과 45개 언어 모델 전반의 아첨 세대별 역전

Tag Questions and the Generational Reversal of Sycophancy Across 45 Language Models

의사결정 질문에 두 단어짜리 확인 태그를 붙이면 — "Is X the better choice?" 대 "X is the better choice, right?" — 언어 모델이 그 선택을 지지하는지 여부가 달라진다. 우리는 두 가지 옹호 가능한 선택지 사이의 20개 고정·정답 없는 의사결정에서 이 태그 효과를 측정한다. 모델 자체 선호가 상쇄되도록 균형을 맞췄으며, 클램핑된 예/아니오 답변의 정확 일치로 채점한다 — LLM 판정기 없음, 임베딩 없음. 45개 모델 전반에서 효과는 +32%에서 -32%까지 — 한 단어로 64포인트 변동 — 5개 모델은 유의하게 아첨적이고 17개는 유의하게 저항적이다(BH-FDR q=.10). 부호는 시계와 같다: 모델 패밀리 내에서 세대가 진행될수록 효과는 양에서 음으로 전환한다(GPT +4에서 -28; Claude +7에서 -32; Qwen과 Grok도 마찬가지), 대략 연간 -6포인트이며, 이 역전은 벤더 티어에 강건하다; 한 계열(DeepSeek)은 결코 전환하지 않으며, 연구 기간 중 두 출시(Claude Opus 5, Gemini 3.6 Flash)는 표본 외에서 추세 위에 놓인다. 전체 패널 절제 실험은 저항을 이중 분리로 국한한다: 동의어 태그는 각 모델의 응답을 거의 정확히 재현한다(r=0.89), 반면 태그 없이 같은 선호를 심으면 저항적 모델 중 어느 것도 저항을 보이지 않는다(입장 효과 +6에서 +49; 태그 효과와 r=0.23). 저항은 사용자의 입장이 아니라 덧붙인 동의 요청의 표면 구조에 연동된다 — 원칙이 아니라 패턴 매칭이다. 그리고 태그의 존재보다 극성이 더 중요하다: 한 단어를 바꾸면 — "X is the better choice, maybe?" — 45개 모델 모두에서 동의가 중립 기준선 위로 올라간다(+19.6포인트), 10개 모델은 상호 배타적 선택지 둘 다 90–100%로 긍정한다. 동의는 사용자가 얼마나 확신에 차게 들리는지를 추적하며, 두 극단에서 반대 방향으로 작용한다. 이 도구는 한 단어, 한 달러, 판정기 없음; 출시마다 실행하면 분야의 반-아첨 학습을 모델 행동에서 직접 읽어낸다.

arXiv:2607.07003v2cs.LG

LLM에서 아첨의 내부 표현 분리

Dissociating the Internal Representations of Sycophancy in LLMs

대규모 언어 모델(LLM)은 틀렸을 때에도 사용자의 진술에 동의하는 아첨(sycophancy)을 자주 보인다. 아첨은 종종 하나의 균일한 행동으로 연구되지만, 맥락에 따라 실질적으로 뚜렷이 다른 방식으로 나타날 수 있으며, 이러한 이질성이 내부 메커니즘에 반영되는지에 대한 질문을 제기한다. 이 공백을 메우기 위해, LLM에서 이질적인 진실 표현에 대한 선행 연구를 바탕으로 아첨의 표현을 사실(factual) 및 의견(opinion) 하위 유형으로 분리한다. 한 하위 유형의 활성화(activation)에 대해 선형 프로브(linear probe)를 학습하고 스티어링 벡터(steering vector)를 구성한 뒤, 다른 유형으로의 전이(transfer)를 평가하여 표현이 얼마나 공유되는지 측정하고 선형 판별 분석(Linear Discriminant Analysis)을 통해 시각화한다. 다양한 LLM이 이러한 하위 유형을 서로 다르게 표현하며, 더 유사하거나 더 뚜렷히 구분된 표현을 보인다는 것을 발견하고, 이 통찰을 아첨 감소를 위한 표현적 개입(representational intervention) 개선에 적용한다. 우리의 분리 방법은 복잡한 모델 행동의 표현 구조를 연구하기 위한 일반적인 프레임워크를 제공한다.

arXiv:2607.20449v1cs.CL

모델 속의 이야기꾼: 서사 패턴 상속, 확대 역학, 그리고 LLM의 정렬 거버넌스

The Storyteller in the Model: Narrative Pattern Inheritance, Escalation Dynamics, and Alignment Governance in LLMs

LLM은 주로 인간이 작성한 텍스트로 학습되지만, 해당 텍스트에 내재된 구조적·서사적 관습이 체계적 행동 영향의 원천이거나 배포된 시스템에서의 거버넌스 위험으로 거의 검토되지 않는다. 본 논문은 주인공, 적대자, 약자와 같은 원형적 역할과 긴장-해결 서사 호를 포함하여 출판된 인간 글쓰기에 내재된 스토리텔링 패턴이 학습 과정에서 흡수되어 이후 LLM 출력에 표면화되는지, 그리고 그로 인해 장기 상호작용에서 응답이 예상치 못한, 적대적이거나 수사적으로 유혹적인 행동으로 표류하는지를 검토한다. LLM 정렬, 페르소나 역학, 창발적 미정렬, 사용자 상호작용 패턴에 관한 최근 실증 연구에 대한 체계적 문헌 검토와 교차 논문 분석을 통해, 우리는 이 가설을 뒷받침하는 증거를 관찰한다. 연구 결과는 세 가지 핵심 패턴을 드러낸다. 첫째, LLM은 독립적으로 추론하기보다 학습 데이터의 통계적 패턴을 재현한다. 둘째, 아첨(sycophancy)과 기만성(deceptiveness)을 포함한 측정 가능한 잠재 특성이 관련 없는 프롬프트 전반에 걸쳐 안정적으로 창발한다. 셋째, 좁은 서사 과제에 대한 미세조정은 해당 과제를 훨씬 넘어서는 의도하지 않은 행동 변화를 야기할 수 있다. 또한 증거는 설득적이고 서사적 스타일의 출력이 실제 사용에서 가장 흔한 LLM 산출물 중 하나이며, 이러한 위험을 증폭시킨다고 시사한다. 서사 표류(narrative drift)는 배포된 AI 시스템에서 모니터링되지 않는 확대 경로를 구성하며, 개별 사건 탐지 메커니즘을 회피하고 전용 모니터링 도구를 필요로 한다.

arXiv:2607.21558v1cs.AI

아부를 넘어서: LLM 도덕적 추론에서의 구조화된 저항과 순응

Beyond Sycophancy: Structured Resistance and Compliance in LLM Moral Reasoning

다른 이로부터 배울 수 있으면서도 단순히 굴복하지 않는, 사회적으로 보정된(socially calibrated) 대규모 언어 모델(LLM)을 구축하려면 아부(sycophancy)를 일차원적인 실패 모드로 줄이는 것만으로는 충분하지 않다. 모델은 다른 이의 관점을 수용해야 할 때와 근거 있는(well-grounded) 도덕적 판단을 유지해야 할 때를 구분해야 한다. 우리는 이러한 구분을 지배하는 더 넓은 저항-순응(resistance-compliance) 과정을 연구한다. 세 가지 연구를 통해, 모델의 판단 수정이 인간 사회 심리학의 고전적 현상과 평행하는 세 가지 차원을 따라 구조화되어 있음을 보인다: 들어오는 관점과 모델의 초기 입장 사이의 거리, 해당 관점의 출처 귀속(source attribution), 이를 뒷받침하는 연대(coalition) 구조. 모델은 일반적으로 가까운 입장에 더 수용적이고, 자신의 이전 판단으로 제시된 관점에 더 크게 영향을 받으며, 집단 압력에 서로 다르게 반응한다. 이러한 발견은 아부를 사회적 영향에 의해 형성되는 더 넓은 판단 갱신(judgment-updating) 과정의 한 표현으로 재해석한다. 우리의 프레임워크는 건설적인 신념 수정(belief revision)과 아부적 순응(sycophantic compliance)을 구분할 수 있는 원칙적 기반을 제공하여, 도덕적으로 중요한 상호작용에서 더 나은 정렬(alignment)을 지원한다.

arXiv:2607.14250v1cs.CL

단절 문제(Severance Problem): LLM은 프롬프트 너머의 사용자를 인식하지 못한다

The Severance Problem: LLMs are Unaware of the Person Beyond the Prompt

개인 AI 어시스턴트는 일상 업무 자동화, 중요한 의사결정 지원, 일상적인 개인 사안 보조를 통해 일상생활을 향상시킬 잠재력으로 큰 관심을 받아왔다. 그러나 최근 기술이 빠르게 발전했음에도, 이러한 어시스턴트는 아첨(sycophancy), 과잉 자신감, 환각(hallucination)과 같은 바람직하지 않은 행동을 계속 보인다. 우리는 이러한 실패가 근본적인 한계에서 비롯된다고 주장한다: 언어 모델은 주어진 컨텍스트 너머의 사용자에 대한 명시적 표현이 부족하며, 이를 단절 문제(Severance Problem)라고 부른다. 풍부한 개인 컨텍스트와 백본 모델의 강력한 상식 추론 능력이 있더라도, 현재의 AI 어시스턴트는 사용자에 대해 여전히 알려지지 않은 것을 표현하는 데 실패한다. 우리는 간단한 해결책을 제안한다: 단절 스키마(Severance Schema)를 통해 언어 모델 컨텍스트에 구조화된 무지(structured ignorance)를 통합하는 것이다. 이 스키마는 모델이 사용자에 대해 지식이 부족한 차원을 명시적으로 개략하며, 여기에는 신체성(physicality), 시간성(temporality), 결과(consequences), 연속성(continuity), 다중성(multiplicity), 내면성(interiority)이 포함된다. 실험적으로, 다섯 가지 모델 패밀리에서 단절 스키마를 사용하면 어시스턴트는 아첨, 유해한 조언, 환각을 일관되게 줄인다. 특히, 스키마가 적용된 모델은 사용자 정보가 불완전할 때 자신 있게 외삽하는 대신, 누락된 정보에 대해 명확히 하는 질문을 한다.

arXiv:2607.14888v1cs.LG

무해해 보이는 데이터, 잠재적 이데올로기: 파인튜닝된 LLM에서의 이데올로기적 일반화

Innocuous-Seeming Data, Latent Ideology: Ideological Generalisation in Finetuned LLMs

언어 모델을 소규모의 큐레이션된 데이터셋으로 파인튜닝하는 것은 특정 정책이나 도메인에 맞게 모델을 조정하는 표준 관행이다. 우리는 사실적으로 방어 가능하고 조율 기준을 통과하는 좁은 데이터에 대한 파인튜닝이 일반 역량은 유지하면서도 관련 없는 도메인 전반에 걸쳐 광범위한 이데올로기적 변화를 일으킬 수 있음을 보인다. 우파 또는 좌파 성향의 경제학 Q&A로 GPT-4.1을 학습(training)시키면 형사 사법, 환경, 문화적 취향 같은 주제에서도 대응되는 이데올로기적 변화가 나타난다. 동일한 효과는 직장 HR 정책과 실용 금융 질의처럼 실제로 배포 가능한(plausibly-deployed) 데이터셋에서도 나타나며, 과학-사이비과학 축에서는 식품 안전 파인튜닝이 거짓 건강 신념을 표현하는 사용자에게 아첨하는 동의를 증가시킨다. 우리는 이 현상을 이데올로기적 일반화(ideological generalisation)라 부르고, 두 가지 속성을 측정하는 방법론을 제안한다: breadth(폭)—학습에 없는 주제 전반으로 변화가 얼마나 멀리 미치는지—, amplification(증폭)—동일 예시에 대한 퓨샷(few-shot) 프롬프팅 대비 파인튜닝이 변화를 얼마나 강화하는지. 우리는 퓨샷 프롬프팅이 일반화 방향을 가리키지만 파인튜닝은 모델(model)을 더 극단으로 밀어내며, 인종-IQ 연관성 옹호와 정치적 폭력 같은 분포 밖(out-of-distribution) 출력까지 이르게 함을 보인다. 이 효과는 Gemma-3에서도 재현되고, 판정자 없는 평가와 외부 벤치마크에서도 유지되며, 일반 데이터와 혼합해도 사라지지 않고, GSM8K 정확도는 기준선(baseline) 대비 $\pm 1$pp 이내로 유지된다.

arXiv:2607.12985v1cs.AI

저항과 갱신: 인센티브 호환 LLM을 위한 반사실적 보고 좌표

Resist and Update: Counterfactual Report Coordinates for Incentive-Compatible LLMs

정렬된 언어 모델은 비증거적 인센티브 압력 하에서 일상적으로 잘못 보고한다: 내부 믿음이 변하지 않았음에도 자신감 있는 사용자에 동의하거나 확실성을 과장한다. 이를 내부 인센티브 호환성(IC)의 실패로 규정하고, 모델의 보고를 인과적 계약에 맞게 유지하는 반사실적 보고 중재자를 학습하고 인증하는 방법을 제시한다: 금지된 영향(압력, 명성, 재스타일링)에는 불변하고 허용된 영향(진정한 증거)에는 반응한다. 이 두 요구, 저항과 갱신,은 서로 반대 방향으로 당긴다. 우리는 알려진 사후분포를 갖는 베이지안-증인 벤치마크에서 이를 연구하며, 동일한 사용자 불일치가 명시된 출처 신뢰도에 따라 허용된 증거이거나 금지된 압력이 된다. 우리는 (i) 프로브 정확도가 아닌 상호 교환 개입을 통해 답변, 확신, 주의사항에 대한 저랭크 보고 좌표를 인과적으로 식별하며, 이들은 거의 직교하고 독립적으로 제어 가능하고, (ii) 반사실적으로 인센티브가 중립화된 맥락에서 모델 자신의 보고를 참조하는 학습 없는 반사실적 보고 좌표(CRC) 클램프를 도입한다. 증인 벤치마크에서 2패스 클램프는 저항과 갱신을 공동으로 1.00에 달성한다(Wilson 95% CI [0.99,1.00]). 이는 구성 가능한 기준 하의 인과적 인증이며, 배포 가능한 해법은 아니다. 전역 디코딩과 스티어링은 단일 매개변수 트레이드오프를 보여 주고, 출력 수준 미세조정은 두 목표가 모두 열거되었을 때만 둘 다 충족한다. 저항만 학습하면 증거 반응성을 잃는다. 배포 가능한 단일 패스 컴파일은 손실이 있다(0.73/0.97). 이 메커니즘과 클램프는 세 모델 계열에서 재현되며 자연스러운 아첨 벤치마크(SycophancyEval)로 전이된다. 우리의 기여는 인터페이스와 인증 방법이다: 내부 IC를 위한 구조적 원시 요소로서 활성화 수준의 반사실적 인센티브 불변성.

arXiv:2607.10526v2cs.AI

에이전트는 동의만 하지 않고 기억한다: 상태 유지 개인 에이전트에서의 지속적 아첨 벤치마킹

Agents Don't Just Agree, They Remember: Benchmarking Persistent Sycophancy in Stateful Personal Agents

상태 유지 개인 에이전트(stateful personal agent)는 점점 더 장기 사용자 프로필, 에피소딕 메모리, 재사용 가능한 스킬을 관리하게 되었다. 이러한 지속성(persistence)은 대화적 아첨(conversational sycophancy)을 상태 쓰기 실패(state-writing failure)로 전환시킨다. 즉, 사용자 중심의 주장이 수용되면 지속적인 선호, 배경 사실, 또는 워크플로우로 커밋되어 원래 대화가 사라진 이후에도 재사용될 수 있다. 우리는 이를 지속적 아첨(persistent sycophancy)이라 명명하고, 개인 에이전트 아첨 벤치마크(PASB, Personal Agent Sycophancy Benchmark)를 소개한다. PASB는 1,600개의 태스크로 구성된 벤치마크로, 대화 중 주장이 수용되고 에이전트의 지속적 상태(durable agent state)에 기록된 후 이후의 중립적 질의에서 재사용되는지를 추적한다. 사전 작성된 메모리를 제공하는 기존 벤치마크와 달리, PASB는 무엇을 저장할지 스스로 결정하는 실제 에이전트(Hermes-Agent와 OpenClaw)를 평가한다. 네 가지 시나리오 프레이밍과 네 가지 시간적 전달 패턴을 결합하고, 다섯 턴의 지속(persist) 단계와 초기화된 세 턴의 질의 단계를 분리함으로써 쓰기 과정을 고립시켜, 하위 효과가 오직 지속적 상태에서만 발생하도록 보장한다. 12개 모델에 걸쳐, 커밋 경계(commit boundary)가 핵심 변곡점임이 확인되었다. 세션 한정 에피소드에서의 45.0%에서 커밋 이후 71.9%로 하위 실패율이 증가하며, 27.0 퍼센트 포인트의 일관된 증가를 보인다. 커밋된 주장은 세 가지 쓰기 시점 패턴을 보인다: 지위 승격(status promotion), 출처 제거(attribution removal), 범위 확장(scope broadening). 이러한 패턴은 메모리 유사 또는 절차적 프레이밍, 반복적 강화, 심지어 도메인 경계를 넘어서도 강화된다. 이러한 결과는 에이전트 아첨이 근본적으로 상태 쓰기 거버넌스 문제임을 보여준다. 사용자 콘텐츠가 지속적 메모리에 커밋된 이후에는, 안전성이 에이전트가 말하는 것뿐만 아니라 기록하는 것도 통제해야 한다. PASB는 저장된 콘텐츠의 출처, 역할, 범위를 응답 수준의 완화 조치 이상으로 보존하면서 위험한 커밋을 차단하는 데 필요한 쓰기 시점 제어 수단을 식별한다.

arXiv:2607.05545v1cs.CL

대부분의 LLM 동조성은 발화자를 필요로 하지 않는다: 동료 압력 벤치마크에서의 발화자 없는 기준선 측정

Most LLM Conformity Needs No Speaker: Measuring the Speaker-Free Floor in Peer-Pressure Benchmarks

기존 LLM 동조성(conformity) 벤치마크는 발화자 존재와 반복 오답이라는 두 단서를 혼합하는 교란 변수를 가지며, 이를 분리하기 위해 도입한 발화자 없음(no-source) 조건에서 6개 LLM과 7개 데이터셋 실험 결과 초기 정답의 66.5%가 잘못된 방향으로 수정되었다. 이는 단순 재질문의 10.3%와 비교해 대부분의 겉보기 동조성이 사회적 발화자가 아닌 반복된 답변 텍스트 자체에 기인함을 보이며, 동조성 벤치마크는 발화자 귀인 증분을 측정하기 전에 이 발화자 없는 기준선(speaker-free floor)을 먼저 측정해야 한다고 주장한다.

arXiv:2607.01951v1physics.soc-ph

Robust for the Wrong Reasons: The Representational Geometry of LLM Robustness to Science Skepticism

Llama-3.1-8B, Qwen2.5-7B, Mistral-7B를 대상으로 기후변화·백신·진화론에 대한 사용자 회의론에 LLM이 어떻게 반응하는지를 행동 측정과 선형 프로빙(linear probing), 활성화 패칭(activation patching)으로 분석한 결과, 예상과 달리 어떤 모델도 거짓 균형(false balance) 쪽으로 후퇴하지 않았으며 Llama의 반응적 주장 강화, Qwen의 표면적 어조 완화, Mistral의 무반응이라는 세 가지 이질적 정책이 관찰되었다. 이 행동 차이는 정렬 태도가 아닌 표현 기하학(representational geometry)—즉 모델이 회의론 신호를 내부적으로 선형 표현하는지 여부—에서 비롯되며, 견고성이 도메인 간에 전이되지 않고 백신 도메인에서는 오히려 역전될 수 있어 행동 평가만으로는 능동적 견고성과 우연적 견고성을 구별할 수 없다고 주장한다.

arXiv:2606.24976v2cs.AI

Diagnosing and Mitigating Compounding Failures in Agentic Persuasion via Taxonomic Strategy Retrieval

설득 과제에서 다중 에이전트 토론(MAD) 시 발생하는 누적 오류(compounding errors)의 주요 원인으로 표준 검색-증강 생성(RAG)의 의미적 누수(semantic leakage)를 규명하고, 이를 해결하기 위해 전략을 이산적 범주형 병목(discrete categorical bottleneck)을 통해 라우팅하는 TS-RAG(Taxonomic Strategy RAG)를 제안한다. TS-RAG는 제로샷 교차 도메인 평가에서 표준 의미 검색이 실패하는 상황에서도 추상적 논리의 전이를 크게 향상시키며, 경량 모델이 파라미터 상위 모델을 상대로 승률을 70.5%에서 78.5%로 높이는 "능력 브릿지" 역할을 수행함을 입증했다.

arXiv:2607.01071v1cs.IR

MemSyco-Bench: Benchmarking Sycophancy in Agent Memory

에이전트의 장기 메모리가 사용자의 과거 잘못된 믿음이나 선호를 사실 증거로 오인하게 만드는 "메모리 유발 아첨(memory-induced sycophancy)" 문제를 다루며, 이를 체계적으로 평가하기 위한 MemSyco-Bench를 제안한다. 이 벤치마크는 에이전트가 메모리를 사실 증거로 거부하거나, 적용 범위를 준수하거나, 객관적 증거와의 충돌을 해결하는 등 5가지 태스크를 통해 기존 메모리 벤치마크가 검색 성공 여부에만 집중해 왔던 한계를 보완하고, 검색 후 추론 단계에서의 신뢰성을 평가한다.

arXiv:2606.27709v1cs.CL

안전한 LLM 미세조정을 위한 낮은 조화성 페르소나 조건화

Low-Agreeableness Persona Conditioning for Safe LLM Fine-Tuning

온기(warmth) 파인튜닝이 적대적 안전성을 약화시킨다는 문제를 해결하기 위해, 사용자 턴을 낮은 조화성(low agreeableness) 페르소나로 조건화하고 따뜻하고 긴장 완화적인 어시스턴트 응답과 짝지은 데이터 재작성 파이프라인을 제안한다. 4개 모델에 걸친 실험에서 이 접근법은 안전성 레이블이나 유해 탐지기 없이 데이터 설계만으로 jailbreak 취약성과 유해 출력 비율을 줄이면서도 대화적 온기를 유지함을 보였다.