제약 우선 추론: 수학적 문제 해결에서 정답 공간 제약을 활용하기 위한 학습 불필요 프로토콜
Constraint-First Reasoning: A Training-Free Protocol for Exploiting Answer-Space Constraints in Mathematical Problem Solving
한국어 초록
대규모 언어 모델(LLM)은 그럴듯한 수학적 대상을 도출하면서도 모듈러 축약(modular reduction)을 생략하거나, 정수가 아닌 값을 반환하거나, 잘못된 형식으로 인코딩된 정답을 사용하는 등 명시적인 요구사항을 위반할 수 있습니다. 본 연구에서는 학습(training)이 필요 없는 2단계 프롬프트 프로토콜인 제약 우선 추론(Constraint-First Reasoning, CFR)을 소개합니다. 1단계에서는 문제에 수반되는 제약 조건을 추출 및 요약하고, 2단계에서는 해당 요약에 맞춰 중간 및 최종 결과를 점검하면서 문제를 해결합니다. Routed-CFR은 텍스트 전용 정규식(regex) 라우터가 제한적인 단서를 감지할 때만 이 2단계 프로토콜을 활성화하며, 그렇지 않은 경우에는 직접적인 사고의 연쇄(Chain-of-Thought, CoT)를 사용합니다. AIME, CMIMC, BRUMO, AIMO_AMC 전반에 걸쳐, 이 방법은 여러 백본에서 직접 CoT 대비 성능을 향상시킵니다. 나아가 표기 관례를 통제한 라우팅 실험, 조건을 일치시킨 프롬프팅 베이스라인, 문제 수준의 대응 검정, 디코딩 강건성, 제약 조건 품질 감사, 총 토큰(token) 사용량 회계, 그리고 OlympiadBench 평가를 보고합니다. 이러한 분석들은 CFR을 일반적인 수학적 추론의 대체재라기보다는 복구 가능한 제약 조건과 신뢰할 수 있는 1단계 추출에 그 이점이 좌우되는 맞춤형 테스트 타임 개입(test-time intervention)으로 자리매김하게 합니다.
원문 초록
Large language models can derive a plausible mathematical object yet still violate explicit requirements--for example, by omitting a modular reduction, returning a non-integer, or using the wrong encoded answer form. We introduce Constraint-First Reasoning (CFR), a training-free two-stage prompting protocol: Stage 1 extracts and summarizes constraints entailed by the problem, and Stage 2 solves while checking intermediate and final results against that summary. Routed-CFR activates the two-stage protocol only when a text-only regex router detects restrictive cues; otherwise it uses direct chain-of-thought (CoT). Across AIME, CMIMC, BRUMO, and AIMO_AMC, the method improves direct CoT on multiple backbones. We further report convention-controlled routing experiments, matched prompting baselines, problem-level paired tests, decoding robustness, constraint-quality audits, total-token accounting, and an OlympiadBench evaluation. These analyses position CFR as a targeted test-time intervention whose benefit depends on recoverable constraints and reliable Stage 1 extraction, rather than as a general-purpose replacement for mathematical reasoning.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.05254v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.