When does training language models (LMs) to generate explanations of their predictions yield faithful introspection, rather than superficial imitation? We study LMs trained to explain which features of their inputs influenced their behavior, using models' counterfactual behavior on modified inputs as supervision. Surprisingly, we find that LMs trained on fixed counterfactual explanations derived from their earlier checkpoints, or even from behaviorally similar models in different families, frequently produce explanations more faithful to their own current behaviors than to those of their training targets. This "introspective" coupling between LM explanations and behaviors occurs when training explanations remain sufficiently correlated with current behaviors over the course of training, even as behaviors themselves shift. We also show that introspective coupling tracks behavior shifts: when explanation training is provided concurrently with other post-training objectives, explanations change to match without requiring updated supervision. This phenomenon appears in multiple tasks, including sycophancy and refusal, and is robust to label noise. Overall, our results show that even fixed datasets of counterfactual explanations can provide scalable and generalizable post-training signal for introspection.
소형 언어 모델이 자신의 내부 활성화(activation)에 대한 교란(perturbation)을 탐지하고 보고할 수 있는가? 우리는 활성화 조향(activation steering)의 관점에서 이 질문을 조사한다: 모델의 잔차 스트림(residual stream)에 개념 벡터(concept vector)를 주입하고, 모델이 교란에 대해 정확하게 보고할 수 있는지 측정한다. 우리는 먼저 선행 연구에서 사용된 이진 탐지 패러다임—주입된 thought를 탐지하는지에 대해 모델에게 'Yes' 또는 'No'로 답하도록 프롬프트하는 방식—이 소형 모델에서 교란 요인(confound)이 작용함을 보인다. 조향(steering)이 질문 내용과 무관하게 모델을 긍정적 응답으로 편향시키기 때문이다. 따라서 우리는 두 가지 교란 요인 없는(confound-free) 평가 패러다임을 제안한다: 문장 국소화(sentence localization)($N$개 문장 중 어떤 문장이 교란되었는지 식별, 우연 확률 $= 1/N$) 및 강도 비교(strength comparison)(두 문장 중 어느 쪽이 더 강한 주입을 받았는지 식별, 우연 확률 $= 50\%$). 두 계열(Llama-3.2 및 Gemma-4)의 6개 모델을 대상으로 평가한 결과, 2B 매개변수만큼 작은 모델도 우연 수준을 훨씬 상회하여 내성(introspect)을 안정적으로 수행하며, 내성 능력은 일반적으로 규모와 함께 증가한다. 그러나 Llama-1B는 우연 수준 이하 또는 그에 준하는 성능을 보인다. 그다음 \emph{Introspection Fine-Tuning}(IFT)을 도입한다: 모델 자체의 교란된 순전파(forward pass)로 구성된 문장 국소화 예제에 대한 지도 미세조정(supervised fine-tuning). IFT는 Llama-1B의 문장 국소화 정확도를 $9.6\%$에서 $60.6\%$로 끌어올린다($6\times$ 향상), 그 이득은 홀드아웃(hold-out) 강도 비교 과제에 제로샷(zero-shot)으로 일반화된다($30.2\% \to 52.2\%$). IFT는 3B 및 8B 모델의 내성도 향상시키며, 표준 역량 벤치마크에서는 미미한 성능 저하만 유발한다. 우리의 결과는 내성 능력이 규모만으로 고정되지 않음을 시사한다: 직접 학습할 수 있으며, 이를 통해 잠재된 자기 모니터링(self-monitoring) 능력을 개방하여 AI 투명성(transparency)과 정렬(alignment)에 함의를 갖는다. 코드는 \href{https://anonymous.4open.science/r/IFT-introspection-2092/README.md}{여기}에서 확인할 수 있다.
적대적 prefill 공격으로 유도된 자신의 출력을 LLM이 사후에 신뢰할 수 있게 인식하는지 10개 instruction-tuned 모델(3B~70B)과 4개 안전성 벤치마크에서 검증한 결과, 어떤 모델도 손상된 출력을 안정적으로 인식하지 못했고 prefill 응답에 의도를 주장하는 비율은 평균 27.3%였다. 자기 성찰 신호는 주로 거부(refusal) 관련 추론에서 비롯되며, 거부 방향 직교화는 prefill과 자연 출력 간 주장 격차를 거의 없애지만 probe 프레이밍에 민감하고, LoRA 파인튜닝(SFT, GRPO, DPO)은 의도 probe 격차를 넓히거나 대부분 모델에서 공격 성공률을 높여 자기 보고의 신뢰성 위험을 드러낸다.