Dense Supervision Is Not Enough: The Readout Blind Spot in Looped Language Models
루프형 언어 모델에서 루프마다 교차 엔트로피를 적용해도 readout이 노출하는 상태 변수만 지도되며, RMSNorm·LayerNorm 같은 스케일 불변 readout은 hidden-state scale을 즉시 손실에서 숨겨 pre-norm 잔차 반복 경로에서 norm이 수천~수만까지 drift하는 readout blind spot을 일으킨다. 스케일을 손실에 보이게 하거나 반복 경로에서 제거하는 보완과 함께 dense supervision을 쓰면 초기 종료(exit) 사용성을 유지한 채 매칭된 추론 깊이에서 perplexity가 낮아진다.