대규모 언어 모델에서 추론과 성능의 관계 — o3 (mini)는 더 길게가 아니라 더 효율적으로 생각한다
The relationship between reasoning and performance in large language models--o3 (mini) thinks harder, not longer
대규모 언어 모델(LLM)은 사고의 연쇄(Chain-of-Thought)와 강화학습(reinforcement learning)을 활용하여 수학적 추론에서 괄목할 만한 발전을 이루었다. 그러나 추론 토큰(token) 사용량과 정확도 향상 간의 상호작용에 대해서는 여전히 많은 미해결 질문이 남아 있다. 특히 세대에 걸쳐 모델(model)을 비교할 때, 성능 향상이 더 긴 추론 체인에서 비롯된 것인지 아니면 더 효율적인 추론에서 비롯된 것인지가 불분명하다. 우리는 Omni-MATH 벤치마크에서 o1-mini와 o3-mini 변형들에 걸쳐 추론 체인 길이를 체계적으로 분석하였으며, o3-mini (m)이 o1-mini보다 긴 추론 체인을 요구하지 않고도 더 높은 정확도를 달성함을 발견하였다. 또한 문제 난이도를 통제한 경우에도 모든 모델과 컴퓨팅 설정에서 추론 체인이 길어질수록 정확도가 전반적으로 저하됨을 보인다. 이러한 정확도 하락은 더 높은 성능의 모델에서 유의미하게 작게 나타나며, 이는 새로운 세대의 추론 모델이 테스트 시간 컴퓨팅을 보다 효과적으로 활용함을 시사한다. 마지막으로, o3-mini (h)가 o3-mini (m) 대비 소폭의 정확도 향상을 달성하지만, 이를 위해 o3-mini (m)이 이미 풀 수 있는 문제를 포함한 모든 문제에 걸쳐 상당히 더 많은 추론 토큰을 할당함을 강조한다. 이러한 발견들은 모델 역량과 추론 길이 간의 관계에 대한 새로운 통찰을 제공하며, 효율성, 스케일링(scaling), 그리고 평가 방법론에 시사점을 갖는다.