암시적 사고의 연쇄(implicit Chain-of-Thought, iCoT) 방식은 대규모 언어 모델(LLM) 내에서 추론을 내재화하는 것을 목표로 하지만, 명시적 CoT 프롬프팅에 비해 성능이 떨어지는 경우가 많습니다. 본 연구에서는 은닉 상태의 추론 궤적이 저순위(low-rank) 구조를 보인다는 점을 실증적으로 발견했습니다. 이러한 관찰에 착안하여, 1차 및 2차 통계량을 활용해 공유된 저순위 텐서 부분공간에서 교사(teacher)와 학생(student)의 궤적을 정렬함으로써 추론 능력을 전이하는 저순위 증류(distillation) 프레임워크를 제안합니다. 이를 통해 도출된 공식화는 추론의 전역적 구조를 포착하는 동시에 간결한 잠재 추론 과정을 지원합니다. 수학적 추론 벤치마크에서 LLaMA 및 Qwen을 포함한 다양한 모델 계열과 여러 크기에 걸쳐 제안 방법을 평가했습니다. 그 결과, 본 접근법은 특히 까다로운 다단계 작업에서 성능을 지속적으로 향상시켜 명시적 CoT 정확도에 근접하였으며, 기존의 iCoT 증류 방식들을 능가했습니다.
추론은 언어 모델(LM)의 핵심 능력이지만, 사전학습(pre-training) 과정에서 추론을 지원하기 위해 필요한 모델 용량이 얼마나 되는지는 여전히 불분명합니다. 본 연구에서는 학습된 지식으로부터 명시적인 사고의 연쇄(Chain-of-Thought) 지도 없이 새로운 사실을 도출하는 능력으로 정의되는 암시적 추론(implicit reasoning)에 필요한 최소 매개변수 예산을 연구합니다. 이 현상을 분리하기 위해, 실제 지식 그래프(knowledge graph)의 구조와 분포를 모방하는 통제된 합성 환경에서 언어 모델을 처음부터 사전학습(pre-training)시키고, 다중 홉(multi-hop) 추론을 통해 누락된 엣지를 완성하는 능력을 평가합니다. 이론적 및 실증적 관점에서, 우리는 이 최적 매개변수 예산을 그래프 탐색 엔트로피 척도와 연결하는 스케일링 법칙(scaling law)을 규명합니다. 다양한 모델 크기, 학습 스텝, 그래프 복잡도에 걸쳐, 최적 크기의 언어 모델은 매개변수당 최대 약 0.008 비트의 정보에 대해 신뢰할 수 있는 추론을 수행할 수 있음을 보여줍니다. 본 연구의 결과는 사전학습(pre-training) 과정에서 암시적 추론을 위한 최소 충분 용량을 특성화합니다. 본 연구의 발견은 모델 크기를 데이터 복잡도에 맞추기 위한 원칙에 기반한 지침을 제공하며, 대규모 언어 모델(LLM)에서 추론의 스케일링 거동에 대한 새로운 통찰을 제공합니다.