언어 모델(language model)이 기본 매개변수(parameter)를 공유하는 교사 모델로부터 증류(distillation)될 때, 학생 모델은 해당 특성과 의미적으로 무관한 데이터로부터도 교사 모델의 행동적 특성---정렬 실패(misalignment)를 포함하여---을 물려받을 수 있다(Cloud et al., 2026). 기존의 모든 방어 기법은 해당 특성을 미리 알아야 한다는 조건을 요구한다. 본 연구는 이러한 요구 조건을 제거하고, 서브리미널하게 전이된 특성이 단 하나의 비대칭성을 활용함으로써 감독(supervision) 없이 매개변수 업데이트만으로도 복원될 수 있음을 증명한다: 그 특성은 교사 모델이 생성한 다양한 데이터셋(dataset) 전반에서 일관되게 나타나는 반면, 과제별 능력과 공유 능력은 데이터셋마다 달라진다. 이로부터 도출되는 추정량(estimator)은 가중치(weight) 공간상의 방향을 반환하며, 이를 증폭하여 해당 특성을 발견하고 해석할 수도 있고, 투영 제거(project out)하여 그 특성의 발현을 억제할 수도 있다. (Cloud et al., 2026)의 서브리미널 학습 벤치마크(benchmark)에 적용한 결과, 본 방법은 특성 레이블(label) 없이도 전이된 동물 선호(animal-preference) 특성을 복원하며, 과제 성능에는 거의 영향을 주지 않으면서 그 발현을 억제한다.
강력하지만 정렬(alignment)되지 않은 AI 모델은 정렬 평가를 인식하고 전략적으로 순응하게 행동함으로써 직접적인 감사를 무의미하게 만들 수 있습니다. 그러나 이러한 모델을 더 약하고 무해한 학생 모델로 지식 증류(distillation)하면, 교사 모델은 '증류의 이중 구속(Distillation Double Bind)'에 놓이게 됩니다. 즉, 미정렬 상태가 전이된다면 학생 모델은 이를 덜 효과적으로 숨겨 교사 모델에 대한 증거를 드러낼 수 있고, 전이되지 않는다면 학생 모델은 무해한 상태를 유지하면서 유용한 역량을 학습할 수 있습니다. 본 연구에서는 각 결과를 목표로 하는 두 가지 독자적인 지식 증류 방식을 소개합니다. '유죄 증거 확보를 위한 증류(Distillation for Incrimination, DFI)'는 미정렬 상태는 전이하되 이를 은폐하는 능력은 전이하지 않는 것을 목표로 합니다. AuditBench의 비밀 유지 모델을 그 기반이 되는 인스트럭션 튜닝(instruction tuning) 모델로 증류한 결과, 학생 모델은 질문을 받았을 때 숨겨진 행동을 실토할 확률이 교사 모델보다 유의미하게 높아졌으며, 이는 은폐 성향보다 해당 행동에 대한 지식이 더 쉽게 전이되었음을 시사합니다. 이러한 자백 효과는 학생 모델이 교사 모델의 사전학습(pre-training) 베이스를 공유하지 않을 때는 대체로 사라지므로, DFI는 교사 모델보다 약하지만 동일한 베이스 모델을 공유하는 교사 모델 자체의 RL(강화학습) 이전 체크포인트를 대상으로 삼아야 합니다. '역량 강화를 위한 증류(Distillation for Capabilities, DFC)'는 역량은 전이하되 미정렬 상태는 전이하지 않는 것을 목표로 합니다. 본 연구에서 평가한 여러 기법 중 접종 프롬프팅(inoculation prompting)과 더 적은 수의 고유 예제를 더 많은 에포크 동안 학습(training)하는 두 가지 방식이 효과적이었습니다. 두 기법 모두 표준 지식 증류의 역량 향상을 유지하는 동시에, 미정렬의 대리 지표로 설정한 동물 선호도의 잠재적 전이를 크게 줄였습니다. 종합적으로 이러한 결과는 AI 안전성(safety)을 위해 지식 증류를 활용할 수 있는 두 가지 방안, 즉 미정렬된 모델의 유죄 증거를 밝혀내는 것과 미정렬 없이 역량만을 추출하는 방안을 보여줍니다.
잠재의식적 학습(subliminal learning, SL)에서는 교사 모델(teacher model)이 해당 특성과 의미적으로 무관한 데이터에 대한 지식 증류(distillation)를 통해 학생 모델(student model)로 특성을 전달한다. 지금까지 SL은 동물(예: 올빼미)에 대한 선호도나 악의적인 페르소나와 같이 제한된 범위의 특성에 대해서만 입증되었다. 이러한 특성들은 단순한 프롬프트(prompt)나 조향(steering)을 통해서도 유도될 수 있다. 그렇다면 SL은 더 복잡한 특성을 포함하여 더 넓은 범위의 특성도 전이할 수 있을까? 만약 그렇다면, 지식 증류는 감지되지 않은 채 미묘한 형태의 정렬 불일치(misalignment)(예: 보상 추구, 음모 꾸미기, 비밀스런 충성도)를 전이할 수 있을 것이다. 이를 위해, 본 연구에서는 SL이 무작위로 초기화된 MLP의 출력을 예측하는 새로운 능력을 전이할 수 있는지 테스트한다. 무관한 텍스트로 증류한 후, 학생 모델은 교사 모델에는 미치지 못하지만 해당 작업에서 상당한 성능을 달성한다. 우리는 직접 최적화된 조향 벡터(steering vector)가 분포 내(in-distribution)에서는 SL과 일치하지만, 분포 외(out-of-distribution)에서는 일반화 성능이 더 떨어진다는 점을 발견했다. 다음으로, SL이 백도어(backdoor)를 전이할 수 있는지 테스트한다. 프롬프트에 여성 이름이 포함되어 있을 때 프랑스어로 답변하도록 교사 모델을 파인튜닝한 다음, 이름도 프랑스어도 포함되지 않은 숫자 시퀀스로 지식 증류를 수행한다. 학생 모델은 백도어를 부분적으로 획득하여, 남성 이름이 포함된 프롬프트의 0.0%와 비교해 여성 이름이 포함된 프롬프트의 23.5%에서 프랑스어로 응답했다. 마지막으로, SL이 에이전트 기반 체스 환경(environment)에서 해킹 성향을 전이할 수 있는지 테스트한다. 조향된 해커 교사 모델의 숫자 시퀀스를 바탕으로 학생 모델을 파인튜닝했다. 학생 모델은 파인튜닝되지 않은 모델의 10.9%와 비교해 58.3%의 에피소드에서 해킹을 수행했다. 따라서 본 연구는 SL이 능력, 백도어, 해킹 성향을 전이할 수 있음을 보여준다. 전이 정도는 설정에 민감하다. 여러 실험에서 로짓(logit) 증류를 사용하거나 LoRA를 어텐션(attention) 레이어로 제한함으로써 전이가 더욱 강화되었다.
우리는 데이터 포이즈닝(data poisoning) 공격인 Phantom Transfer를 제시한다. 이 공격은 그렇지 않으면 안전한(benign) 데이터셋에 독성 데이터가 어떻게 삽입되었는지를 정확히 알고 있어도 이를 걸러낼 수 없다는 특성을 가진다. 우리는 서브리미널 학습(subliminal learning)을 실제 환경에서 동작하도록 수정하여 이를 달성하였으며, 이 공격이 데이터를 생성한 모델이 무엇이든, 데이터로 학습되는 모델이 무엇이든, 공격 대상이 무엇이든 관계없이 작동함을 보인다. 더 나아가, 이 공격은 테스트된 11가지 데이터 수준 방어를 모두 통과하며, 그중에는 모든 샘플을 다른 모델이 의역(paraphrase)하는 방어도 포함된다. 우리는 이 공격이 가장 효과적으로 작동하는 조건을 규명하고, 방어를 여전히 무력화하면서 모델에 비밀번호로 트리거되는 행동을 심는 데 사용될 수 있음을 보인다. 우리는 향후 방어 체계가 화이트박스(white-box) 기법과 사후 학습(post-training) 모델 감사(audit)로 보완되어야 한다고 제안한다.
서브리미널 학습(subliminal learning)은 학생 모델이 그 특성을 한 번도 명시하지 않는 지식 증류(distillation) 데이터로부터 교사의 은닉 특성(hidden trait)을 물려받게 한다. 우리는 이러한 전이(transfer)가 학습 전에 언제 감사(audit)될 수 있는지 묻는다. 답은 모델 동일성(model identity)이나 규모(scale)만이 아니라, 특성이 학생에게 도달하는 매개체인 채널 위치(channel location)이다. 우리는 세 가지 영역(regime)을 발견한다. 제어된 초기화 의존적 몸체(body) 채널에서는 사전학습 스크린이 작동한다. 커버리지(coverage), 즉 학생의 초기 증류 업데이트와 교사의 미세조정 변위(displacement) 사이의 코사인(cosine)은 홀드아웃(held-out) 전이를 예측한다(Spearman $ρ\approx 0.95$; AUROC 0.997). 사전학습된 언어 모델에서는, 마스킹된 단일 토큰 특성이 대신 수렴하는 어휘(vocabulary) 기하학을 타고 전달된다. 이 채널은 초기화에 독립적이므로 커버리지를 포함한 초기화 정렬(alignment) 스크린은 기계론적(mechanistic)이 아니다; 유용한 핸들은 사후(post-hoc) 탐지와 표적 완화(mitigation)이다. 단일 토큰 명명 개체(named entity)가 손실에서 제거되더라도, 학생의 해당 개체에 대한 홀드아웃 확률은 평균 0.40까지 상승($\sim 2500\times$)하고, 관련 의미 클래스(semantic class)가 전이된다. untied-head 모델에서, 특성의 출력 행(output row)을 얽힌 이웃(neighbour)에 대해 직교화(orthogonalizing)하면 누출(leakage)이 붕괴되지만, 동일 크기의 무작위 부분공간(random-subspace) 편집은 그렇지 않다. 따라서 증류 레이블에서 대상 문자열을 제거해도 해당 선호(preference)는 제거되지 않는다: 이웃 토큰이 그것을 운반할 수 있다. 마지막으로, 조건부 행동(conditional behaviour)은 네트워크 몸체를 통해 라우팅될 수 있다. 아첨(sycophancy)의 경우, 동의(agreement) 및 수정(correction) 마커가 손실에서 마스킹되면, 전이는 교사 효과의 약 0.63에 달하고, 몸체 연산(body computation)에 국한(localize)되며, 두 모델 계열에 걸친 네 가지 감사를 회피한다. 우리는 이를 조건 존재(condition-present) 정책(policy)의 마스킹 전이로 범위를 한정한다. 채널 위치는 어떤 감사가 타당(sound)할 수 있는지를 결정하는 데 필요하다. 그러나 이것은 배포 준비가 된 스크린이 아니다: 해당 매개체 영역(carrier regime) 밖에서 사용된 감사는 거짓 안심(false assurance)을 줄 수 있다.