Scaling Latent Reasoning via Looped Language Models
사전학습(pre-training) 단계에서 잠재 공간(latent space)의 반복 연산을 통해 추론 능력을 내재화하는 루프 언어 모델(LoopLM) 계열 Ouro를 제안하며, 엔트로피 정규화 기반 적응적 깊이 할당 기법으로 7.7조 토큰 규모까지 학습시켰다. Ouro 1.4B·2.6B 모델은 최대 12B SOTA 대규모 언어 모델(LLM)에 필적하는 성능을 달성했으며, 이 성능 향상이 지식 저장 용량 증가가 아닌 다중 단계 추론 등 지식 조작(knowledge manipulation) 능력의 향상에서 비롯됨을 실험적으로 규명했다.