도구 증강 대규모 언어 모델(LLM)은 정량적 STEM 과제에서 다단계 추론을 크게 개선했지만, 여전히 중요한 잔여 실패 유형이 남아 있다. 바로 구문적으로 올바르게 구성되고, 수학적으로 실행 가능하며, 단위도 일관되지만 문맥에는 근거하지 않은(contextually ungrounded) 중간 추론 단계이다. 기존 접근법은 의미적 의도를 평가할 수 없는 형식 검증기(formal verifier)에 의존하거나, 프로세스 보상 모델(PRM)에 산술과 논리를 모두 검사해야 하는 이중 과제를 부담시킨다. 본 논문에서는 추론을 심볼릭 유효성(Symbolic Validity, $V$)과 의미적 근거성(Semantic Groundedness, $G$)이라는 두 가지 형식적 차원으로 명확하게 분리하는 뉴로-심볼릭 프레임워크를 제안한다. 우리는 하드 필터로 작동하는 결정론적 심볼릭 검증기를 사용하여 $V$를 구성적으로 보장한다. $G$를 평가하기 위해, 검증기가 통과시킨 매니폴드(manifold)를 조건으로 PRM을 학습한다. 이 PRM을 효율적으로 학습하기 위해, 제약을 보존하는 하드 네거티브(검증기는 완벽하게 통과하지만 논리적으로는 결함이 있는 단계)를 알고리즘적으로 생성하는 새로운 데이터 합성 전략인 반사실적 심볼릭 섭동(Counterfactual Symbolic Perturbation, CSP)을 도입한다. 추론 시에는 검증기 우선 제약 탐색(verifier-first constrained search)을 적용하여, 검증기가 다루는 연산에 대해서는 실행 일관성을 보장하고 PRM은 의미적 근거성의 순위를 매기는 데에만 사용한다. 본 방법은 강력한 도구 사용 LLM이 보이는 바로 그 잔여 오류 유형을 겨냥함으로써, 기존 프레임워크의 방대한 휴리스틱 없이도 추론 신뢰성을 크게 향상시킨다.
짧은 사전학습 실행은 실험 비용을 줄일 수 있지만, 아주 적은 규모에서만 강력해 보이는 설정들을 과도하게 승격할 위험도 있습니다. 우리는 Windows A100과 Linux L40S라는 두 개의 이기종 호스트 블록에서 고정된 마이크로 사전학습 러너(micro-pretraining runner)를 대상으로 검증 가능한 단계적 승격(staged-promotion) 프로토콜을 연구합니다. 12개의 사전 스크리닝된 설정에서 시작하여, 비용이 많이 드는 연속 학습 이전에 고정된 승격 규칙을 적용하며 2분, 5분, 10분, 60분, 12시간의 단계별 예산을 사용합니다. 초기 스크린은 의도적으로 불안정한 것으로 간주됩니다. 5분 및 10분 순위는 호스트에 민감하며, 최종 12시간 최상위 조건은 복제된 10분 게이트(gate)에서의 평균 최상 조건과 다릅니다. 단계별로 시드 범위가 다르기 때문에, 이러한 변화는 시드 내 곡선이 아닌 운영적 승격 증거로 해석됩니다. 복제된 60분 게이트는 승격된 세트 내에서 단계적 요인 스크리닝(Staged Factorial Screening) 브리지 참조를 유지하며, 이는 4개의 60분 호스트-시드 셀(host-seed cells) 모두에서 1위를 기록했습니다. 최종 12시간 확인 패키지에서 브리지 조건은 두 개의 시드에 걸친 4개의 호스트-시드 셀 모두에서 1위를 차지했습니다. 반면 탐욕적 비교 대상(greedy comparator)은 고정된 0.010 val_bpb 근사 등가 규칙을 충족하지 못했고, 더 저렴한 d8/ar48 (depth-8, aspect-48) 센티넬(sentinel)은 고정된 0.020 평균 간극 규칙을 충족하지 못했습니다. 실행된 12시간 브랜치는 144 GPU 시간을 소모했으며, 스크리닝 단계를 포함한 전체 단계적 프로토콜은 총 169.2 학습(training) GPU 시간을 기록했습니다. 60분 후보 4개 모두를 계속 학습시켰다면 192 GPU 시간이 소모되었을 것이며, 복제된 10분 후보 9개 모두를 계속 학습시켰다면 432 GPU 시간이 소모되었을 것입니다. 후자의 수치는 실행되지 않은 연속 학습에 대한 회계적 반사실(counterfactuals)일 뿐, 제외된 후보들이 참조를 추월할 수 없었다는 증거가 아닙니다. 이 결과는 제한된 비용 할당에 관한 발견 사항이며, 전역 최적성, 용량 정규화 우위, 또는 적응형 하이퍼파라미터 최적화 방법에 대한 우위를 주장하는 것이 아닙니다.