추론 언어 모델(RLM)은 추론 토큰(reasoning token) 형태의 테스트 시점 연산(test-time compute)을 활용하여 인상적인 성능을 보여줍니다. 그러나 이러한 동작 방식으로 인해 RLM을 새로운 도메인에 적응시키는 것은 어렵고 비용이 많이 듭니다. 그 이유는 추가 학습이 이미 학습된 동작을 방해하고 모델 성능을 저하시킬 수 있기 때문입니다. 이로 인해 사람이 작성한 솔루션이 포함된 지도 미세조정(supervised fine-tuning) 데이터를 활용하기가 어려워집니다. 해당 데이터에는 고품질의 주석이 포함되어 있지만 추론 토큰이 부족하기 때문입니다. 본 연구에서는 이러한 어려움에도 불구하고 RLM 적응에 이러한 데이터를 효율적으로 활용할 수 있는 방법을 제시합니다. 이를 위해 먼저 표준 지시 미세조정(instruction tuning)을 적용합니다. 다음으로, 모델 병합(model merging)을 활용하여 지시 미세조정된 모델과 원본 RLM을 결합하며, 대상 도메인에서 결과 모델의 추론 동작이 복구되도록 병합 비율을 선택합니다. 코딩 및 텍스트 요약 태스크의 4개 RLM에서 본 방식을 평가한 결과, 추론 동작을 보존하고 분포 외(out-of-distribution) 점수 저하를 평균 0.7%로 제한하면서 대상 태스크 성능을 최대 11.0%까지 향상시켰습니다. 무엇보다도 본 적응 방식은 효율적이고 경제적이어서 모델당 10달러(USD $10) 미만의 비용이 듭니다.
추론 태스크 벡터(reasoning task vector)를 α > 1로 증폭하는 "과잉 사고(overthinking)" 기법을 도입하여, 언어 모델이 학습 중 획득한 비밀 정보나 의도치 않은 동작을 블랙박스 감사(black box auditing)보다 최대 10배 더 빈번하게 노출시킬 수 있음을 2B~32B 규모 모델에서 검증하였다. 층별 감쇠(layer-wise attenuation) 전략을 통해 출력 품질을 유지하면서 추론을 선택적으로 증폭하며, 프리필 공격(prefill attack)과 결합 시 감사 효과가 더욱 향상됨을 보였다.
On-policy self-distillation (OPSD) trains a reasoning model on rollouts sampled from its own policy by matching a privileged teacher that also sees verified reference solutions. Existing OPSD objectives supervise only the output distribution, so privileged context affects training through a token-level divergence without directly supervising the internal computation that produced that distribution. We propose Privileged Hidden Flow (PHF), which additionally distills how a privileged teacher's hidden states move along the same rollout. Rather than forcing each student hidden vector to match the teacher vector at the same token position, PHF aligns token-to-token transition directions and trajectory geometry over selected generated positions. The all-layer recipe also includes an adjacent-layer relation computed from these same transitions, without pointwise hidden-state imitation. Under the same 100-step training schedule, PHF improves the Average@12 aggregate over our reproduced OPSD baseline on Qwen3-1.7B, 4B, and 8B, with observed gains of about +2.2, +1.5, and +1.7 points. The transport objective is exactly invariant to shared trajectory offsets; its local geometry term is also invariant to orthogonal transformations of transition directions. Ablations distinguish the fixed PHF recipe from pointwise hidden-state matching, single-channel transition losses, and layer-subset choices, supporting PHF as a compact hidden-flow extension to OPSD.