"당신은 거짓말을 했나요?" 모델 규모와 신념 검증 모델 오거니즘에 걸친 거짓말 탐지기 평가
"Did you lie?" Evaluating Lie Detectors across Model Scale and Belief-Verified Model Organisms
언어 모델을 위한 견고한 거짓말 탐지기는 모델 행동의 감사(auditing), 모니터링, 사후 조사를 위한 강력한 기법을 가능하게 할 수 있지만, 이를 평가하려면 모델이 자신이 말하는 것과 반대되는 내용을 검증 가능하게 믿고 있는 테스트베드가 필요하다. 우리는 기존의 학습된 모델 오거니즘(model organism)이 이 요건을 충족하지 못하는 경우가 많아, 이전의 탐지 결과(긍정적 및 부정적 결과 모두)를 해석하기 어렵게 만든다는 점을 보인다. 이를 해결하기 위해, 사고의 연쇄(chain-of-thought)에서 숨겨진 신념이 검증되고 보류 태스크에 대한 일반화가 확인된 13개의 추론 모델 오거니즘과, 다양한 거짓말 유발 동기를 포괄하는 프롬프트 기반 거짓말 테스트베드인 Varied Deception을 제시한다. 이 테스트베드에서 우리는 네 가지 탐지기를 평가한다: 사고의 연쇄 판단기(chain-of-thought judge), 로그확률(logprob) 분류기, 그리고 후속 프로브 학습을 위한 새로운 방법인 Did-You-Lie(DYL)를 포함한 두 가지 활성화 프로브(activation probe). 프롬프트 기반 거짓말에 대해, 2B에서 1T 파라미터에 걸친 31개의 오픈웨이트 모델 전반에서 네 가지 탐지기 모두 모델 역량에 따른 양의 스케일링을 보인다. 그러나 활성화 및 로그확률 기반 탐지기는 모두 우리의 학습된 모델 오거니즘에서 성능이 급격히 저하되며, DYL이 가장 많은 신호를 유지한다. 사고의 연쇄 판단기만이 균형 정확도 0.82로 강건성을 유지하는데, 이는 부분적으로 우리의 검증 과정이 CoT로 읽을 수 있는 신념을 선호하는 데 따른 부산물이다. 따라서 현재의 거짓말 탐지기는 모델 신념에 대한 높은 확신의 주장을 뒷받침할 수 없으며, 우리는 현재의 한계 중 일부를 해결할 수 있는 연구 방향을 제안한다. 데이터셋, 모델 오거니즘, 학습된 탐지기를 공개한다.