coastal.edu

이 이메일 도메인이 관측된 논문 1건

arXiv:2610.00331v1cs.AI

대규모 언어 모델의 수학적 전이는 주제보다 추론 방식을 더 잘 따른다

Mathematical Transfer in LLMs Follows Reasoning Approach More Than Topic

대규모 언어 모델(LLM)을 위한 수학 학습(training) 데이터를 선정할 때 자연스러운 구성 원칙은 확률 목표에는 확률 예제를 사용하는 것과 같은 '주제'입니다. 대안적인 방식은 수학적 영역이 다르더라도 목표 문제와 풀이 기법을 공유하는 모범 풀이와 같은 '추론 방식'입니다. 본 연구에서는 미세조정(fine-tuning) 후 어떤 관계가 더 큰 전이(transfer)를 만들어내는지 질문합니다. 연구진은 두 가지 상호 균형 $2\times2$ 설계를 평가합니다: 불변량 추론 및 이중 계산과 교차된 확률 및 조합론(2,000개 문제), 그리고 여집합 및 비둘기집 원리 추론과 교차된 정수론 및 기하학(800개 문제)입니다. 각 설계에서 모든 셀은 차례로 보류된(held-out) 목표 역할을 합니다. 동일 방식(SA) 소스는 목표와 기법을 공유하지만 주제를 바꾸며, 동일 주제(ST) 소스는 주제를 공유하지만 기법을 바꿉니다. 모든 소스는 각 역할에 한 번씩 등장하므로, 동등한 가중치의 집계 대비에서 가산적 소스 품질 효과가 상쇄됩니다. 5개의 기본 모델(model)과 설계당 3개의 학습 시드에 걸쳐, 시드를 통합한 40개의 모든 모델-목표 비교에서 SA가 ST보다 우수한 성능을 보였습니다. 모델 수준의 이점은 기본 설계에서 8.2~16.2%p(평균: 10.8), 두 번째 설계에서 12.0~16.0%p(평균: 14.3) 범위였으며, 10개의 모든 모델 수준 95% 신뢰 구간은 0을 제외했습니다. 두 설계 모두에서 ST 소스는 임베딩(embedding) 및 어휘 척도상 목표와 더 유사했으므로, SA의 이점은 측정된 문제 진술 수준의 유사도 순서와 반대로 나타납니다. 이러한 발견은 평가된 주제-방식 조합 전반에서 수학적 전이를 위한 매칭 기준으로 추론 방식이 주제보다 더 효과적임을 규명합니다.