arXiv:2611.23938v1 cs.AI

프롬프트 속 거짓 사실을 모델이 믿게 만들 수 있는가?

Can you make models believe false facts in the prompt?

Ananya Sutradhar, Fabien Roger

제출 2026-11-19

한국어 초록

LLM이 거짓 사실을 믿게 만드는 것은 정렬 평가와 모델 생물체 구축에 유용하다. 기존 연구는 합성 문서 미세조정(SDF)으로 이를 시도했다. 그러나 SDF는 주입할 거짓 믿음 집합마다 새 모델을 미세조정해야 한다. SDF 기반 정렬 평가를 더 큰 규모로 가능하게 하기 위해, 우리는 프롬프트의 <facts> 태그에 놓인 어떤 사실이든 믿는 단일 모델을 만들고자 한다. 이를 위해 프롬프트 조건부 SDF를 탐구하는데, 이는 각 문서가 프롬프트에 제시된 사실에 조건화된 수천 개 사실에 대한 합성 문서로 모델을 미세조정하는 방식이다. 우리는 선행 연구의 평가와 새로운 야코비안 렌즈 평가를 사용하여 모델이 프롬프트에 제공된 사실을 얼마나 깊이 믿는지 평가한다. 보지 못한 사실에 대한 믿음 깊이는 학습 사실 수에 대해 대략 로그-선형으로 증가함을 발견했으며, 이는 모델이 거짓 사실을 믿게 하는 저렴하고 유망한 방법임을 시사한다. 다만 우리가 연구한 소형 모델에서 정렬 감사에 적용한 예비 실험은, 이러한 소형 모델이 일반적인 허니팟 시스템 프롬프트에 제공된 사실을 이미 믿는 것처럼 행동하는 경우가 많아 부정적인 결과를 보였다. 프롬프트 조건부 SDF 위에 RL을 사용하여 모델이 프롬프트의 거짓 사실을 따른다고 언어로 표현하는 비율을 낮추면 보류된 평가로 일반화되며 일부 평가에서는 SDF에 거의 필적한다. 그러나 믿음 깊이에 대한 지표 중 하나에 맞서 학습시키면 해당 평가를 신뢰하기 더 어려워진다.

원문 초록

Making LLMs believe false facts is useful for alignment evaluations and for building model organisms. Previous work explored doing so with Synthetic Document Finetuning (SDF). But SDF requires fine-tuning one new model for each set of injected false beliefs. To enable larger scale SDF-powered alignment evaluations, we attempt to produce a single model that believes any fact placed in a <facts> tag in the prompt. To do so, we explore doing prompt-conditioned SDF: fine-tuning a model on synthetic documents covering thousands of facts, with each document conditioned on a fact presented in the prompt. We evaluate how deeply the model believes the facts provided in the prompt using evaluations from prior work and a new Jacobian lens evaluation. We find that the belief depth on unseen facts scales roughly log-linearly with the number of training facts, making this a cheap, promising avenue for making models believe false facts, though preliminary experiments on applying it to alignment audits on the small model we studied showed negative results due to these small models often already acting as if they believed facts provided in regular honeypot system prompts. Using RL to reduce the rate at which models verbalize following a false fact in the prompt, on top of prompt-conditioned SDF, generalizes to held-out evals and almost matches SDF on some evaluations. But training against one of our metrics for belief depth makes it harder to trust those evaluations.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23938v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.