arXiv:2609.27041v1 cs.AI

LLM의 수학적 추론은 주제가 아닌 접근 방식에 따라 조직된다

Math Reasoning in LLMs is Organized by Approach, Not Topic

Sajad Goudarzi, Samaneh Zamanifard, Moloud Nasiri, Hamed Rahimian

제출 2026-09-24

한국어 초록

수학적 추론 벤치마크는 일반적으로 주제별로 구성되지만, 언어 모델은 내부 연산을 재사용 가능한 추론 접근 방식(reasoning approach)에 따라 조직할 수 있습니다. 본 논문에서는 수학 능력을 갖춘 오픈 대규모 언어 모델(LLM)이 내부적으로 주제별 하위 기술에 따라 조직되는지, 아니면 추론 접근 방식에 따라 조직되는지 조사하며, 접근 방식이 핵심이라는 증거를 제시합니다. 우리는 생성-재생(generation-replay) 프로토콜을 도입합니다. 즉, 모델이 먼저 해법을 생성한 후 동일한 프롬프트 및 생성 궤적을 재생하여 추론 토큰에 걸친 활성화-중요도 시그니처를 추출합니다. 우리는 8개 모델과 5개 수학 추론 소스에 걸쳐 비지도 방식으로 이러한 시그니처를 클러스터링한 다음, 구조적·의미적·개입 테스트를 통해 복원된 구조를 평가합니다. 40개의 모든 모델-소스 조합에서 복원된 클러스터는 크기가 일치하는 무작위 베이스라인보다 우수한 성능을 보입니다. 두 곳의 독립적인 프론티어 LLM 심사위원은 소스 내 대조군에서의 6~11%와 비교해 실제 클러스터의 77~82%에서 접근 방식 수준의 일관성을 확인했으며, 주제 순수 클러스터는 대개 주제 자체보다 더 세부적인 레이블을 받습니다. 접근 방식 제어 프롬프트에서 요청된 추론 접근 방식을 변경하면 8개 모델 조건 중 7개에서 클러스터 할당이 이동하는 반면, 패러프레이즈(paraphrase)는 이를 대체로 유지합니다. 이러한 결과는 수학 능력을 갖춘 LLM이 벤치마크 주제보다는 추론 접근 방식에 따라 내부 수학 연산을 조직함을 보여줍니다. 이는 주제별로 계층화된 벤치마크와 주제 균형이 맞춰진 학습 코퍼스라 하더라도 중요한 축을 놓칠 수 있음을 시사합니다. 즉, 의도적으로 주제 균형을 맞춘 코퍼스라 할지라도 추론 접근 방식에 있어서는 여전히 불균형할 수 있습니다.

원문 초록

Mathematical reasoning benchmarks are typically organized by topic, but language models may organize their internal computation by reusable reasoning approach instead. In this paper, we investigate whether open math-capable LLMs organize internally by topical sub-skill or by reasoning approach, and we present evidence that the approach is the key. We introduce a generation-replay protocol: a model first generates a solution, after which we replay the exact prompt-plus-generation trajectory and extract activation-importance signatures over the reasoning tokens. We cluster these signatures without supervision across eight models and five mathematical reasoning sources, then evaluate the recovered structure with structural, semantic, and intervention tests. Across all 40 model-source cells, the recovered clusters outperform matched-size random baselines. Two independent frontier-LLM judges find approach-level coherence in 77-82% of real clusters versus 6-11% in within-source controls, and topic-pure clusters usually receive labels finer than the topic itself. In approach-controlled prompting, changing the requested reasoning approach shifts cluster assignment in seven of eight model conditions, whereas paraphrases largely preserve it. These results indicate that math-capable LLMs organize internal mathematical computation by reasoning approach rather than benchmark topic. The implication is that topic-stratified benchmarks and topic-balanced training corpora can still miss the axis that matters: even deliberately topic-balanced corpora may remain imbalanced over reasoning approaches.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27041v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14271v1cs.LG공통 태그 Math, interpretability

지역적 가법적 특징 기여: 수학적 분류 체계와 보고 체크리스트

Local Additive Feature Attribution: A Mathematical Taxonomy and Reporting Checklist

특징 기여(feature attribution) 방법은 설명 가능한 인공지능의 핵심이다. 그 가정들은 협력 게임 값(cooperative-game values), 경로 적분(path integrals), 그래디언트 연산자, 교란 분포(perturbation distributions), 역전파 규칙 등 여러 수학적 언어로 표현된다. 본 서베이는 지역적 가법적 특징 기여를 위한 공통 프레임워크를 제안한다. Shapley, 경로 기반(path-based), 그래디언트/역전파, 교란, CAM 스타일 방법을 값 함수(value function), 참조(reference), 경로(path), 교란 분포, 보존 규칙(conservation rule)의 다섯 가지 명세 선택을 중심으로 정리한다. 이어서 공리-방법별 행렬(axiom-by-method matrix)을 통해 이들 방법을 비교하고, 기준선 민감도(baseline sensitivity), 매니폴드 외 교란(off-manifold perturbations), 타당성 검사 실패(sanity-check failures), 적대적 조작(adversarial manipulation), 방법 간 불일치(method disagreement) 등 흔한 실패 양상을 이를 야기하는 가정과 연결한다. 마지막으로, 본 서베이는 지역적 가법적 기여를 사용하는 연구를 위한 10개 항목의 보고 체크리스트를 제안한다. 핵심 메시지는 기여 결과가 정의된 수학적 가정에 상대적으로만 의미가 있으며, 그 가정들은 보고되어야 한다는 것이다.

arXiv:2607.13899v1cs.AI공통 태그 Math, interpretability

AIMO 해석가능성 챌린지

AIMO Interpretability Challenge

우리는 AIMO Interpretability Challenge를 제안한다. 이는 최첨단 수학 언어 모델에서 모델의 내부 메커니즘에 기반하여 견고한 추론과 허위 추론을 구별하는 대회이다. 이 챌린지는 표준 추론 벤치마크의 핵심 한계, 즉 높은 최종 답 정확도가 모델이 안정적인 추론 메커니즘에 의존하는지 아니면 취약한 추론 지름길을 이용하는지를 드러내지 않는다는 점에서 동기를 얻었다. AI Mathematical Olympiad(AIMO) 문제와 제출물, 그리고 Fields Model Initiative의 자원을 기반으로, 이 대회는 (1) 새로 공개된 올림피아드 수준의 수학 추론 문제와 그 기호적 표현을 제공하여 새로운 함수형 변형의 생성을 가능하게 하고, (2) 최첨단 추론 모델에 대한 접근을 제공하며, (3) 이러한 문제에 대한 모델의 적대적 견고성 평가를 제공할 것이다. 참가자들은 이러한 자원과 우리의 컴퓨팅 인프라 지원을 활용하여 어떤 모델이 문제를 견고하게 해결하는지 식별하는 방법을 개발할 것이다. 우리의 대회는 또한 새로운 공개 견고성 벤치마크와 기준선 시스템을 구축하여, 수학 추론과 해석가능성 분야의 표준 벤치마킹을 위한 지속적인 기반을 제공하는 것을 목표로 한다. 과학적으로 이 대회는 AI 연구의 핵심 질문을 중심으로 해석가능성과 일반화 연구를 연결한다: 최첨단 AI 모델의 의사결정이 일반화 가능하고 따라서 신뢰할 수 있는지, 그리고 그 정도를 우리가 판단할 수 있는가?

arXiv:2607.00578v4cs.CV공통 태그 interpretability

캡션 병목 모델

Caption Bottleneck Models

개념 병목 모델(CBM)은 예측을 인간이 이해할 수 있는 개념 층을 통해 라우팅함으로써 해석 가능성을 제공합니다. 그러나 특정 데이터셋에 대한 최적 개념 집합을 정의하는 것은 여전히 미해결 과제입니다. 기존 접근법은 값비싼 전문가 주석이나 클래스 이름만을 기반으로 LLM이 생성한 목록에 의존합니다. 심지어 "개방형 어휘" 변형조차도 일반적으로 정적 개념 집합에 의존하며, 이는 발견을 제한하고 레이블 바이어스를 초래합니다. 또한 기존 CBM은 모델링되지 않은 시각적 특징이 병목을 우회하여 설명의 무결성을 훼손하는 정보 누수 문제를 겪는 경우가 많습니다. 이러한 한계를 극복하기 위해 우리는 캡션 병목 모델(CaBM)을 제안합니다. CaBM은 엄격한 개념 층을 자유형 자연어로 대체하여 사전 정의된 개념 집합의 필요성을 우회하는 프레임워크입니다. LMM이 생성한 캡션으로 이미지를 표현하고 이 텍스트만으로 분류기를 학습함으로써, CaBM은 설계상 누수 없는 아키텍처를 보장합니다. 더불어 학습 후 텍스트 분류기를 분석함으로써 CaBM은 고품질의 데이터셋 특화 개념을 자율적으로 발견합니다. 세밀 및 조대 벤치마크에 걸친 결과는 CaBM이 외부 사전이나 수동 레이블링의 제약 없이 해석 가능성을 유지하면서 경쟁력 있는 정확도를 달성함을 보여줍니다.

arXiv:2610.13672v2cs.CL공통 태그 Math

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.