arXiv:2611.23365v1 cs.AI

내성적 감독을 위한 언어 모델 학습

Training Language Models for Introspective Oversight

Alex Lin Wang, Linus Yifeng Tang, Dami Choi, Neil Chowdhury

제출 2026-11-19

한국어 초록

언어 모델은 보상 해킹, 기만, 아첨과 같이 대화 기록만으로는 탐지하기 어려운 행동을 점점 더 많이 보인다. 어시스턴트에게 자신의 행동에 대해 후속 질문을 하는 것은 신뢰할 수 없는데, 모델은 일반적으로 자신의 부적절한 행동을 보고하도록 학습되지 않기 때문이다. 그 결과 감독 접근법은 보통 외부 모델에 질의하는 방식을 취한다. 이들에는 한계가 있는데, 외부 대화 기록 모니터링은 눈에 보이는 모델 출력에서만 작동하고, 활성화 디코더는 전체 맥락이 부족하며 작화(confabulation)에 취약하다. 본 논문은 어시스턴트에 대한 임의의 질문에 답하도록 모델 안에 새로운 역할을 학습시키고, 어시스턴트의 실제 행동과 대조해 검증된 답변에 보상을 주는 내성적 감독을 제안한다. 이를 위해 이러한 질의에 답하는 별도의 3인칭 관찰자 역할을 추가하며, 이는 어시스턴트와 분리하여 오직 정확도만을 위해 학습시킬 수 있다. 다섯 가지 보류(held-out) 감독 평가에서, Qwen3.6-27B로 학습한 관찰자는 평균 AUROC 0.907을 얻어 정직성 학습(0.864), 대화 기록 모니터링(0.828), 활성화 오라클(0.796)을 능가한다. 또한 관찰자를 학습시키면 어시스턴트 자체도 모니터링하기 쉬워지며, 모든 베이스라인 방법이 미세조정된 어시스턴트에 적용될 때 평균적으로 향상됨을 확인하였다. 이러한 결과는 검증 가능한 자기 관련 질문에 답하도록 모델을 학습시키는 것이 의도치 않은 행동을 감독하는 데 실현 가능한 접근법임을 시사한다.

원문 초록

Language models increasingly exhibit behaviors that are difficult to detect in transcripts, such as reward hacking, deception, and sycophancy. Asking the assistant follow-up questions about its actions is unreliable, since models are generally not trained to report their own misbehavior. As a result, approaches to oversight typically involve querying external models. These face limitations: external transcript monitoring operates only on visible model outputs, and activation decoders lack full context and are prone to confabulation. We introduce introspective oversight, which trains a new role in the model to answer arbitrary questions about the assistant, rewarding answers that are verified against the assistant's actual behavior. We implement this by adding a separate, third-person observer role that answers these queries, which we can train solely for accuracy and separately from the assistant. On five held-out oversight evaluations, an observer trained on Qwen3.6-27B obtains a mean AUROC of 0.907, outperforming honesty training (0.864), transcript monitoring (0.828), and activation oracles (0.796). We further find that training an observer makes the assistant itself easier to monitor, with every baseline method improving on average when applied to the fine-tuned assistant. These results suggest that training models to answer verifiable questions about themselves is a tractable approach to overseeing unintended behavior.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23365v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.