대규모 언어 모델(LLM)의 강화학습(RL) 사후학습에서 성능 향상이 트랜스포머 레이어 전체에 균등하게 분포한다는 기존 가정에 도전하며, 단일 레이어만 학습해도 전체 파라미터 RL 학습 성능의 대부분을 회복하거나 능가할 수 있음을 체계적 실험으로 규명했다. Qwen3, Qwen2.5 등 7개 모델과 GRPO, GiGPO, Dr. GRPO 세 가지 알고리즘에 걸쳐 고기여 레이어가 일관되게 트랜스포머 스택 중간부(전체 깊이의 40~60%)에 집중된다는 구조적 패턴을 발견하고, 이를 활용한 레이어 인식 학습 전략이 표준 전체 파라미터 RL을 지속적으로 능가함을 보였다.
대규모 언어 모델(LLM)이 내부적으로 예측을 어떻게 표현하고 처리하는지 이해하는 것은 불확실성을 탐지하고 환각을 방지하는 데 핵심적이다. 여러 연구가 모델이 불확실성을 은닉 상태에 인코딩한다는 것을 보여 주었지만, 이것이 그러한 은닉 상태를 처리하는 방식에 어떤 영향을 미치는지는 충분히 탐구되지 않았다. 본 연구에서는 확실한 출력과 불확실한 출력에 대한 층별 출력 토큰 확률의 역학이 대체로 정렬되어 있음을 보여 주며, 불확실성은 추론 역학에 영향을 미치지 않는 것으로 보인다는 점을 드러낸다. 구체적으로, 우리는 Logit Lens의 변형인 Tuned Lens를 사용하여 11개 데이터셋과 5개 모델에 걸쳐 최종 예측 토큰의 층별 확률 궤적을 분석한다. 인식론적(epistemic) 불확실성이 더 높은 경우를 잘못된 예측으로 간주하여, 확실한 예측과 불확실한 예측 모두 유사한 층에서 신뢰도가 급격히 증가하는 정렬된 궤적을 보인다는 결과를 얻었다. 우리는 이러한 발견과 균형을 맞추기 위해, 더 유능한 모델은 불확실성을 다르게 처리하도록 학습할 수 있다는 증거를 제시한다. 우리의 발견은 추론 시점에 불확실성을 탐지하기 위해 단순한 방법을 활용하는 것의 타당성에 의문을 제기한다. 더 넓게 보면, 본 연구는 해석 가능성(interpretability) 방법이 불확실성이 추론에 미치는 영향을 조사하는 데 어떻게 활용될 수 있는지를 보여 준다.