우리는 소스 코드와 입력만으로 최종 출력과 체크포인트 상태를 예측하는 벤치마크를 제시한다. 이 벤치마크는 더 짧은 트레이스와 더 긴 트레이스로 짝지어진 입력, 그리고 루프 내부 및 이후의 체크포인트를 추가하여 CRUXEval 방식의 출력 예측을 확장한다. 이 벤치마크는 371개의 Python 및 C++ 프로그램에서 추출한 400개의 사례로 구성되며, 도구나 코드 실행 없이 네 개 모델 패밀리의 일곱 가지 설정에서 평가되었다. 계획된 11,200개의 예측 중 11,151개가 채점 가능한 응답을 산출했다. 추론이 활성화된 설정은 완료된 응답에서 비활성화된 설정보다 33.1~55.2퍼센트포인트 더 높은 성능을 보였다. 가장 우수한 설정은 더 짧은 트레이스의 최종 출력에서 93.0%, 더 긴 트레이스의 최종 출력에서 77.0%, 그리고 두 가지 상태 과제에서 각각 65.5%와 63.5%를 기록했으며, 누락된 응답을 오답으로 처리해도 이 점수는 유지된다. 동일한 소스 코드를 가진 2,397개의 매칭된 Python 비교에서, 더 긴 트레이스 입력으로 변경하면 528건의 정답에서 오답으로의 변화와 147건의 역전이 발생한다. 소스 코드별로 군집화한 분석에서도 이러한 정확도 차이는 유지되는 반면, 보정된 Python 모델에서는 누적 상태 부하와 오류 사이의 양의 증분적 연관성에 대한 근거가 발견되지 않았다. 입력 변경과 체크포인트 과제는 여러 요인을 동시에 변화시키므로, 이러한 차이만으로는 트레이스 길이나 내부 상태 추적 메커니즘을 분리하여 설명할 수 없다. 이 벤치마크는 짧은 출력 점수만으로는 드러나지 않는 오류를 밝혀낸다.
코딩 에이전트(coding agent)는 프로그램이 명세(specification)를 만족하고, 해당 명세가 요구된 동작을 정확히 담아내고 있음을 입증해야 합니다. 본 연구에서는 검증 실패에 대한 전문가의 진단이 어떻게 이러한 작업을 위한 재사용 가능한 지침이 될 수 있는지 살펴봅니다. 본 접근 방식은 K 프레임워크의 실행 가능한 언어 정의와 명세 작성, 증명 수정, 그리고 적절성 감사를 위한 절차 키트를 결합합니다. 164개의 파이썬 프로그래밍 작업으로 구성된 벤치마크인 HumanEval에서 인간 주도형 개발을 진행한 결과, 해당 시맨틱과 키트를 적용하고 두 차례의 집중 수정을 거쳐 최종 AI 감사에서 '통과(Pass)' 판정을 받음으로써 164/164의 성공률을 달성했습니다. 성공적인 증명에서도 해결되지 않은 문제를 감사가 감지할 수 있는지 검증하기 위해, 저자 검토를 거친 12쌍의 정상 패키지와 결함 패키지를 구축했습니다. 모든 패키지는 K 증명을 통과했으며, 완료된 감사는 모든 결함을 식별하고 정상 패키지를 모두 승인했습니다. 이어 연산자 의미가 변경된 31개 프로그램을 대상으로 KleverBench를 사용하여 명세 및 증명 생성을 테스트했습니다. 완전한 수락 규칙 및 동일한 길이의 일반적인 조언과의 비교에서는 두 가지 모델과 예산 설정에 걸쳐 엇갈린 결과가 나타났으며, 이는 자원 한도 내에서 유용한 지침을 선별하는 후속 연구의 필요성을 시사합니다. 인간이 검토한 Optimism 증명은 무제한 가스 환경의 London 시맨틱 하에서 선언된 입력 범위 내 6개 연산에 대해 예상되는 일시 중지 되돌리기(pause revert)를 규명합니다. 본 논문에서는 검증 가능한 정확성 논거를 갖춘 프로그램을 제공하는 에이전트를 향한 진전, 난제, 그리고 교훈을 보고합니다.