LLM의 수학적 추론은 주제가 아닌 접근 방식에 따라 조직된다
Math Reasoning in LLMs is Organized by Approach, Not Topic
수학적 추론 벤치마크는 일반적으로 주제별로 구성되지만, 언어 모델은 내부 연산을 재사용 가능한 추론 접근 방식(reasoning approach)에 따라 조직할 수 있습니다. 본 논문에서는 수학 능력을 갖춘 오픈 대규모 언어 모델(LLM)이 내부적으로 주제별 하위 기술에 따라 조직되는지, 아니면 추론 접근 방식에 따라 조직되는지 조사하며, 접근 방식이 핵심이라는 증거를 제시합니다. 우리는 생성-재생(generation-replay) 프로토콜을 도입합니다. 즉, 모델이 먼저 해법을 생성한 후 동일한 프롬프트 및 생성 궤적을 재생하여 추론 토큰에 걸친 활성화-중요도 시그니처를 추출합니다. 우리는 8개 모델과 5개 수학 추론 소스에 걸쳐 비지도 방식으로 이러한 시그니처를 클러스터링한 다음, 구조적·의미적·개입 테스트를 통해 복원된 구조를 평가합니다. 40개의 모든 모델-소스 조합에서 복원된 클러스터는 크기가 일치하는 무작위 베이스라인보다 우수한 성능을 보입니다. 두 곳의 독립적인 프론티어 LLM 심사위원은 소스 내 대조군에서의 6~11%와 비교해 실제 클러스터의 77~82%에서 접근 방식 수준의 일관성을 확인했으며, 주제 순수 클러스터는 대개 주제 자체보다 더 세부적인 레이블을 받습니다. 접근 방식 제어 프롬프트에서 요청된 추론 접근 방식을 변경하면 8개 모델 조건 중 7개에서 클러스터 할당이 이동하는 반면, 패러프레이즈(paraphrase)는 이를 대체로 유지합니다. 이러한 결과는 수학 능력을 갖춘 LLM이 벤치마크 주제보다는 추론 접근 방식에 따라 내부 수학 연산을 조직함을 보여줍니다. 이는 주제별로 계층화된 벤치마크와 주제 균형이 맞춰진 학습 코퍼스라 하더라도 중요한 축을 놓칠 수 있음을 시사합니다. 즉, 의도적으로 주제 균형을 맞춘 코퍼스라 할지라도 추론 접근 방식에 있어서는 여전히 불균형할 수 있습니다.