arXiv:2610.11889v1 cs.SE

실제 프로그램에서의 정확한 출력 및 체크포인트 상태 예측 평가

Evaluating Exact Output and Checkpoint-State Prediction in Real Programs

Xiaohong Chen, David Bucur, Chenglong Ma, Yi Zhang, Lingming Zhang, Sriram Vishwanath, Grigore Rosu

제출 2026-10-08

저자 비고

arXiv Comments

15 pages. Accepted at the NeurIPS 2026 Workshop on AI for Verifiable Coding. Includes appendices

한국어 초록

우리는 소스 코드와 입력만으로 최종 출력과 체크포인트 상태를 예측하는 벤치마크를 제시한다. 이 벤치마크는 더 짧은 트레이스와 더 긴 트레이스로 짝지어진 입력, 그리고 루프 내부 및 이후의 체크포인트를 추가하여 CRUXEval 방식의 출력 예측을 확장한다. 이 벤치마크는 371개의 Python 및 C++ 프로그램에서 추출한 400개의 사례로 구성되며, 도구나 코드 실행 없이 네 개 모델 패밀리의 일곱 가지 설정에서 평가되었다. 계획된 11,200개의 예측 중 11,151개가 채점 가능한 응답을 산출했다. 추론이 활성화된 설정은 완료된 응답에서 비활성화된 설정보다 33.1~55.2퍼센트포인트 더 높은 성능을 보였다. 가장 우수한 설정은 더 짧은 트레이스의 최종 출력에서 93.0%, 더 긴 트레이스의 최종 출력에서 77.0%, 그리고 두 가지 상태 과제에서 각각 65.5%와 63.5%를 기록했으며, 누락된 응답을 오답으로 처리해도 이 점수는 유지된다. 동일한 소스 코드를 가진 2,397개의 매칭된 Python 비교에서, 더 긴 트레이스 입력으로 변경하면 528건의 정답에서 오답으로의 변화와 147건의 역전이 발생한다. 소스 코드별로 군집화한 분석에서도 이러한 정확도 차이는 유지되는 반면, 보정된 Python 모델에서는 누적 상태 부하와 오류 사이의 양의 증분적 연관성에 대한 근거가 발견되지 않았다. 입력 변경과 체크포인트 과제는 여러 요인을 동시에 변화시키므로, 이러한 차이만으로는 트레이스 길이나 내부 상태 추적 메커니즘을 분리하여 설명할 수 없다. 이 벤치마크는 짧은 출력 점수만으로는 드러나지 않는 오류를 밝혀낸다.

원문 초록

We present a benchmark for predicting final output and checkpoint state from source and input alone. It extends CRUXEval-style output prediction with paired shorter- and longer-trace inputs and checkpoints inside and after a loop. The benchmark contains 400 cases from 371 Python and C++ programs, evaluated under seven settings from four model families without tools or code execution. Of 11,200 planned predictions, 11,151 produced gradable responses. Reasoning-enabled settings outperform their off counterparts by 33.1 to 55.2 percentage points on completed responses. The strongest setting scores 93.0% on shorter-trace final output, 77.0% on longer-trace final output, and 65.5% and 63.5% on the two state tasks; these scores also hold when missing responses count as wrong. Across 2,397 matched Python comparisons with identical source, changing to the longer-trace input yields 528 correct-to-wrong changes and 147 reversals. Source-clustered analyses preserve this accuracy gap, while adjusted Python models give no evidence of a positive incremental association between cumulative state load and error. Changed inputs and checkpoint tasks alter several factors together, so the gaps do not isolate trace length or an internal state-tracking mechanism. The benchmark exposes errors hidden by short-output scores alone.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.11889v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.