대규모 언어 모델의 수학적 전이는 주제보다 추론 방식을 더 잘 따른다
Mathematical Transfer in LLMs Follows Reasoning Approach More Than Topic
한국어 초록
대규모 언어 모델(LLM)을 위한 수학 학습(training) 데이터를 선정할 때 자연스러운 구성 원칙은 확률 목표에는 확률 예제를 사용하는 것과 같은 '주제'입니다. 대안적인 방식은 수학적 영역이 다르더라도 목표 문제와 풀이 기법을 공유하는 모범 풀이와 같은 '추론 방식'입니다. 본 연구에서는 미세조정(fine-tuning) 후 어떤 관계가 더 큰 전이(transfer)를 만들어내는지 질문합니다. 연구진은 두 가지 상호 균형 $2\times2$ 설계를 평가합니다: 불변량 추론 및 이중 계산과 교차된 확률 및 조합론(2,000개 문제), 그리고 여집합 및 비둘기집 원리 추론과 교차된 정수론 및 기하학(800개 문제)입니다. 각 설계에서 모든 셀은 차례로 보류된(held-out) 목표 역할을 합니다. 동일 방식(SA) 소스는 목표와 기법을 공유하지만 주제를 바꾸며, 동일 주제(ST) 소스는 주제를 공유하지만 기법을 바꿉니다. 모든 소스는 각 역할에 한 번씩 등장하므로, 동등한 가중치의 집계 대비에서 가산적 소스 품질 효과가 상쇄됩니다. 5개의 기본 모델(model)과 설계당 3개의 학습 시드에 걸쳐, 시드를 통합한 40개의 모든 모델-목표 비교에서 SA가 ST보다 우수한 성능을 보였습니다. 모델 수준의 이점은 기본 설계에서 8.2~16.2%p(평균: 10.8), 두 번째 설계에서 12.0~16.0%p(평균: 14.3) 범위였으며, 10개의 모든 모델 수준 95% 신뢰 구간은 0을 제외했습니다. 두 설계 모두에서 ST 소스는 임베딩(embedding) 및 어휘 척도상 목표와 더 유사했으므로, SA의 이점은 측정된 문제 진술 수준의 유사도 순서와 반대로 나타납니다. 이러한 발견은 평가된 주제-방식 조합 전반에서 수학적 전이를 위한 매칭 기준으로 추론 방식이 주제보다 더 효과적임을 규명합니다.
원문 초록
When selecting mathematical training data for LLMs, a natural organizing principle is topic: probability examples for probability targets. An alternative is reasoning approach: worked solutions that share a solution method with the target, even when the mathematical domain differs. We ask which relation produces greater transfer after fine-tuning. We evaluate two counterbalanced $2\times2$ designs: probability and combinatorics crossed with invariant reasoning and double counting (2,000 problems), and number theory and geometry crossed with complement and pigeonhole reasoning (800 problems). In each design, every cell serves as the held-out target in turn: same-approach (SA) sources share the target's method but change the topic, while same-topic (ST) sources share the topic but change the method. Every source appears once in each role, so additive source-quality effects cancel from the equally weighted aggregate contrast. Across five base models and three training seeds per design, SA outperforms ST in all 40 seed-pooled model--target comparisons. Model-level advantages range from 8.2 to 16.2 percentage points in the primary design (mean: 10.8) and from 12.0 to 16.0 in the second design (mean: 14.3); all ten model-level 95% confidence intervals exclude zero. In both designs, ST sources are more similar to targets under embedding and lexical measures, so the SA advantage runs opposite to the measured ordering of statement-level resemblance. These findings identify reasoning approach as a more effective matching criterion than topic for mathematical transfer across the evaluated topic--approach combinations.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Continual Graph Memory and Community Infrastructure for AI-Assisted Mathematical Discovery
하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택
Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs
실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.
ReSolve: 선택적 생성 조정을 통한 후보 추론 재사용
ReSolve: Reusing Candidate Reasoning through Selective Generative Moderation
여러 해법을 샘플링하는 것은 최종 답변뿐만 아니라 중간 연역 과정과 미완성된 논증에도 연산량을 소모합니다. 본 논문에서는 선택적 생성 조정(selective generative moderation)을 통해 이러한 후보 추론 과정을 재사용하는, 학습(training)이 필요 없는 추론(inference) 절차인 ReSolve를 소개합니다. 답변 분포 제어기는 후보 간 의견이 일치하지 않거나 파싱 가능한 답변이 부족할 때 모델을 호출하여 기존 유도 과정을 검토하게 한 뒤, 생성된 해법을 유계 루프(bounded loop)에 통합합니다. 독립적으로 샘플링된 두 개의 후보 풀로 평가한 130개의 경시대회 수학 문제에서 Hybrid 점수 체계 기준, ReSolve는 동일한 4개의 후보에 대한 투표 방식이 기록한 91개 및 92개와 비교해 각각 100개와 99개의 정답을 얻었으며, 두 풀 모두에서 해당 투표 대비 정답이 오답으로 바뀐 경우는 없었습니다. 8개 샘플을 사용한 자기 일관성(self-consistency)은 실질적으로 훨씬 더 많은 토큰을 소비하면서 94개 및 96개의 정답을 얻은 반면, ReSolve는 두 평가에서 토큰을 각각 46.3% 및 47.2% 적게 사용했습니다. 정답 키, 투표 수, 상태별 출력 제한 규칙은 유지한 채 가시적인 유도 과정을 제거한 통제된 절제 연구(ablation)에서는 연산량이 증가했음에도 정답 수가 100개에서 93개로 감소하여 정확도가 떨어졌습니다. 선택적 조정과 항상 켜져 있는 균일(Uniform) 조정은 모두 97개의 문제를 해결했으나, 선택성을 적용함으로써 조정 토큰을 약 54%, 전체 파이프라인 토큰을 6.2% 줄였습니다. 이러한 결과는 후보 추론 과정이 재사용 가능한 추론 연산이라는 점을 뒷받침합니다. 다만 추가 샘플링 대비 정확도 우위나 특화된 경로 지침의 뚜렷한 이점을 입증하지는 않습니다.
궤적 인식 저순위 근사를 통한 압축된 확산 언어 모델의 수학적 추론 능력 보존
Preserving Mathematical Reasoning in Compressed Diffusion Language Models via Trajectory-Aware Low-Rank Approximation
확산 언어 모델(dLLM) 압축은 캘리브레이션(calibration)이 일반적으로 노이즈가 없는 완전히 가시적인 활성화에서 수행되는 반면, 추론(inference)은 부분적으로 마스킹된 중간 상태들을 거친다는 잘 알려진 과제에 직면합니다. 저순위(low-rank) 압축의 경우, 이는 두 가지 질문을 제기합니다. 첫째, 근사 품질을 궤적 분포 상태 전반에서 측정할 때도 저순위 최적성을 여전히 규명할 수 있는가? 둘째, 캘리브레이션 상태의 선택이 압축 시 수학적 추론 보존에 영향을 미치는가? 본 연구에서는 손상 수준(corruption levels)과 마스킹 실현 전반에 걸친 궤적 인식 저순위 목적식을 정식화하여 이러한 질문을 해결합니다. 이 목적식을 효율적으로 추정하기 위해, 몬테카를로 샘플링을 통해 궤적 2차 모멘트를 추정하고 정확한 표본 상태 최적성 및 모집단 일관성을 산출하는 Traj-MC를 제안합니다. 동일한 압축 예산 하에서, 궤적 인식 캘리브레이션은 생성 궤적 전반의 재구성을 개선하며, 수학적 추론 벤치마크에서 클린 캘리브레이션 대비 훨씬 더 많은 수학적 추론 능력을 보존합니다. 본 연구 결과는 궤적 인식 저순위 최적성을 dLLM 압축 후 유지되는 추론 능력과 연결합니다. 코드는 https://github.com/Zishan-Shao/traj-mc.git 에서 확인할 수 있습니다.
다국어 GSM-Symbolic: 언어 간 능력 전이를 결정하는 요인은 무엇인가?
Multilingual GSM-Symbolic: What determines capability transfer across languages?
한 언어에서 습득된 능력이 다른 언어로 어떻게 전이되는지, 혹은 무엇이 이러한 전이를 지배하는지에 대해서는 알려진 바가 거의 없습니다. 기존 평가는 비교 불가능하고 포화되기 쉬운 데이터셋에 의존하며 전이의 결정 요인들을 함께 검토하는 경우가 드뭅니다. 전이를 예측하는 요인을 식별하면 모든 언어 쌍에 걸친 소모적인 평가를 피할 수 있으며, 개발자가 저자원 언어에서의 성능을 제한하는 요소를 집중 공략할 수 있게 됩니다. 교차 언어 능력 전이를 평가하기 위해, 본 연구에서는 15개 언어에 걸쳐 항목별로 매칭된 30,000개의 질문-답변 쌍을 포괄하는 확장 가능한 다국어 수학 데이터셋인 Multilingual GSM-Symbolic을 소개합니다. 이 데이터셋은 단일 샘플로부터 수백만 개의 고품질 변형 생성을 가능하게 함으로써 과적합을 방지하고 일반화를 보장하기 위해 기호 템플릿을 활용합니다. Multilingual GSM-Symbolic을 사용하여 능력의 가장 큰 결정 요인을 모델 크기($β= 1.77$), 언어 자원 수준($β= 0.77$), 추론($β= 0.67$), 언어유형학적 거리($β= -0.25$)로 정량화합니다. 이러한 공동 추정을 통해 결정 요인들을 상호 간의 관계로 표현할 수 있습니다. 즉, 마라티어로 평가된 32B 모델은 영어에서의 10B 모델과 유사하게 동작합니다. 본 연구 결과는 모델 개발자에게 중요한 시사점을 제공하며, 모델 크기와 추론 능력이 저자원 언어와 고자원 언어 간의 성능 격차를 좁히는 반면($β= -0.27$ 및 $β= -0.20$), 유사한 수단들이 언어유형학적으로 거리가 먼 언어에는 거의 또는 전혀 영향을 미치지 않음을 보여줍니다. 전반적으로 본 분석 프레임워크는 언어 간 변량의 92%를 설명하지만 모델-언어 간 변량은 23%만 설명하며, 확인되지 않은 언어에 대한 모델의 성능을 6.0%p 이내로 예측합니다(r=.96). 타깃 언어에서 단 10개 템플릿의 측정값을 통합하면 이를 4.19%p로 낮출 수 있어, 다운스트림 데이터셋이 거의 없거나 아예 없는 상황에서도 합리적인 성능 추정이 가능해집니다.
가치 유도 정보 탐색을 통한 수학적 추론 능력 향상
Improving Math Reasoning through Value-guided Informative Search
검증 가능한 보상 기반 강화학습(RLVR)은 대규모 언어 모델(LLM)의 수학적 추론 능력을 크게 향상시켰습니다. 최근 연구들은 궤적의 다양성을 높이기 위해 RLVR 롤아웃에 탐색 기법을 도입하고 있으나, 다양성만으로는 탐색으로 유도된 롤아웃 정책이 현재 정책보다 반드시 개선된다고 보장할 수 없습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 유한 예산 검벨 탐색(finite-budget Gumbel search)을 청크 단위의 수학적 추론에 맞게 조정한 학습 프레임워크인 APIVIS를 제안합니다. APIVIS는 각 롤아웃 그룹 내에서 직접 생성한 응답과 탐색을 거친 응답을 결합하여, 탐색을 통해 발견된 개선 사항이 정보 가치가 높은 상대적 보상을 생성하도록 합니다. 나아가 탐색으로 개선된 토큰에 선택적 지도를 적용함으로써, 균일한 그룹 보상으로 인해 GRPO가 비효율적이 되는 상황에서도 학습 신호를 보존합니다. 본 연구는 정확한 가치 기반 선택이 탐색된 각 상태에서 검증기 기대 보상을 개선하며, 유계 가치 추정 오차(bounded value-estimation error) 하에서의 근사적 보장과 함께 이러한 보장이 전체 롤아웃 정책으로 확장됨을 보입니다. 널리 인정받는 수학적 추론 벤치마크와 다양한 모델 규모에서 진행된 실험을 통해 경쟁력 있는 탐색 기반 방식 대비 상당한 성능 향상을 입증하여 APIVIS의 유효성을 검증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.