수치적으로 동등한 문장제 문제는 수량이 소수, 분수, 백분율, 숫자 단어, 과학적 표기법, 또는 정확히 변환된 단위 중 어떤 형태로 쓰이든 동일한 정규(canonical) 답을 내야 합니다. 우리는 3,600개의 정확한 유리수 문제와, 정체성을 보존하는 다섯 가지 변환 계열에 걸친 8,600개의 프롬프트를 생성하고, 다섯 개의 오픈 가중치(open-weight) 시스템을 평가했습니다. LLM 판정자 없이 일반적인 답변 형식을 정규화하는 고정된 구문 감사(syntax audit)를 거친 후, 정규 정확도(canonical accuracy)는 0.969~0.996이지만, 오빗 정확도(orbit correctness)는 0.848~0.981로, 오빗 불변성(orbit invariance)은 0.851~0.981로 떨어집니다. 불변이지만 틀린 오빗은 최대 0.003을 차지합니다. 엄격한 파서(strict parser)에서 나타나는 광범위한 성능 붕괴의 대부분은 곱셈 형태의 과학적 표기법이 구현된 숫자 문법 범위를 벗어나기 때문에 발생하며, 이는 평가기 인터페이스가 추론 실패로 오인될 수 있음을 보여줍니다. 별개의 의미론적 병리 현상도 남아 있습니다. Mistral Small 4는 단위 변환된 입력에서 0.699를 기록했으며, 정답 레이블과 정확히 10의 거듭제곱만큼 차이 나는 오류를 265건 생성했습니다. 비교 대상 조건에 동일한 호출 횟수를 할당한 별도의 9,000회 호출 실험에서, 표현 합의(representation consensus)는 오류가 낮은 부분집합에서 패러프레이즈 합의(paraphrase consensus)보다 나은 성능을 보이지 않았으며, 훨씬 더 많은 오경보(false alarm)를 발생시켰습니다. 함께 제공되는 보조 아카이브에는 고정된(frozen) 벤치마크, 평가 및 감사 기록, 합의 방식의 원시 응답, 매니페스트, 분석 코드, 그리고 한 번의 명령으로 논문을 빌드하는 스크립트가 포함되어 있습니다.
SciTrek은 대규모 언어 모델(LLM)의 장문맥 수치 추론을 평가하고 개선하기 위한 합성 질의응답 데이터셋을 소개한다. 입력이 64K 토큰을 넘는 기존 장문맥 데이터셋은 단순 정보 검색을 대상으로 하거나, 추론을 포함하더라도 인공적 문맥에 의존하며, 두 경우 모두 수치 추론은 대체로 간과되어 왔다. SciTrek은 전문(full-text) 과학 논문 모음에 대해 수치 연산(예: 개수 세기, 정렬, 집계, 비교)을 요구하는 질문으로 이러한 한계를 해결한다. 질문은 논문 메타데이터(제목, 저자, 참고문헌) 데이터베이스에 대한 SQL 쿼리로 공식화하여 자동 생성되며, 정답은 해당 쿼리를 실행하여 얻는다. 기반 SQL은 각 질문이 요구하는 추론에 대한 투명하고 검증 가능한 명세를 제공하여 세밀한 오류 분석을 가능하게 하며, 완전 자동화된 파이프라인은 최소한의 인간 감독으로 임의의 문맥 길이와 데이터셋 규모로 확장되어 데이터 오염을 완화하고 사후 학습을 위한 풍부한 데이터를 제공한다. 광범위한 실험 결과, 최신 공개 가중치 및 독점 LLM은 겉보기에 단순한 질문에서도 어려움을 겪는다. 최고 성능 모델은 128K 토큰에서 정확 일치 46.5%에 불과하며, 문맥이 길어질수록 성능은 지속적으로 저하된다. 세밀한 분석 결과, 인용 관련 질문과 특히 부정을 포함하는 복합 논리 조건에서 체계적인 약점이 드러난다. 마지막으로, SciTrek으로 공개 가중치 모델을 사후 학습하면 수치 추론이 개선되며, 이는 도메인 외 장문맥 과제로 일반화된다.
하이브리드 표·텍스트 데이터에 대한 금융 질의응답은 다중 출처 추론과 정밀한 수치 계산이 필요할 수 있다. 대규모 언어 모델(LLM)은 중간 추론 단계를 생성할 수 있지만, 자연어 근거(rationale)는 산술 오류에 취약해 증류를 위한 신뢰할 수 있는 지도 신호가 되기 어렵다. 프로그램적 증류를 기반으로, 우리는 자유 형식의 텍스트 근거 대신 실행 검증된 Python 프로그램을 사용하여 대규모 교사 모델로부터 소형 학생 모델로 신뢰할 수 있는 수치 추론을 전달하는 접근법을 개발한다. 이 방법은 골드 유도 과정(gold derivations)을 활용해 교사 측 프로그램 합성을 안내하고, 올바르게 실행되어 골드 정답을 산출하는 프로그램만 유지하여 고품질 지도 신호를 보장한다. 또한 교사 모델이 실패한 사례를 재검토하는 반복적 복구 단계를 도입하여, 학생 모델이 새로 검증된 프로그램을 복구하고 학습에 통합할 수 있게 한다. TAT-QA에서의 실험은 본 프레임워크가 하이브리드 금융 추론에 매우 효과적임을 보여준다. 최고 성능의 7B 학생 모델은 테스트 세트에서 87.00 EM / 87.18 F1을 달성하여, 72B 교사 모델(78.46 EM)뿐 아니라 TAGOP, TAT-LLM을 포함한 전통적·강력한 LLM 기반 베이스라인을 크게 상회한다. 이 결과는 실행 검증된 프로그램적 증류가 더 작은 모델을 학습시켜 신뢰할 수 있는 수치 추론을 수행하게 하는 효과적이고 확장 가능한 프레임워크임을 보여준다.
테이블 기반 수치 추론(numerical reasoning)에서 도메인 이동에 따른 성능 저하를 완화하기 위해, TaNOS는 헤더 익명화(header anonymization), 연산 스케치(operation sketch), 그리고 프로그램 우선 방식의 자기지도학습(SSL)을 결합한 지속적 사전학습 프레임워크를 제안한다. 8B 인스트럭션 튜닝 모델에 적용 시 FinQA에서 학습 데이터 10%만으로 80.13%의 실행 정확도를 달성해 전체 데이터로 학습한 SFT 기준선(73.97%)과 GPT-5, Gemini-2.5-Pro를 능가하며, 교차 도메인 실험에서 도메인 간 성능 격차를 2pp 이내로 유지했다.
기존 벤치마크가 간과했던 시장 거래 신호와 기본 재무 정보(fundamentals)를 통합하여 금융 추론 능력을 평가할 수 있는 FinTradeBench를 제안한다. 14개의 대규모 언어 모델(LLM)에 대한 평가 결과, 검색 증강(RAG)은 텍스트 기반 재무 정보 추론에는 효과적이나 거래 신호 추론에는 제한적인 도움만을 제공함을 밝혔다.