PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.39022v3cs.SE

검증 실패로부터 코딩 에이전트를 위한 재사용 가능한 지침 도출하기

From Verification Failures to Reusable Guidance for Coding Agents

코딩 에이전트(coding agent)는 프로그램이 명세(specification)를 만족하고, 해당 명세가 요구된 동작을 정확히 담아내고 있음을 입증해야 합니다. 본 연구에서는 검증 실패에 대한 전문가의 진단이 어떻게 이러한 작업을 위한 재사용 가능한 지침이 될 수 있는지 살펴봅니다. 본 접근 방식은 K 프레임워크의 실행 가능한 언어 정의와 명세 작성, 증명 수정, 그리고 적절성 감사를 위한 절차 키트를 결합합니다. 164개의 파이썬 프로그래밍 작업으로 구성된 벤치마크인 HumanEval에서 인간 주도형 개발을 진행한 결과, 해당 시맨틱과 키트를 적용하고 두 차례의 집중 수정을 거쳐 최종 AI 감사에서 '통과(Pass)' 판정을 받음으로써 164/164의 성공률을 달성했습니다. 성공적인 증명에서도 해결되지 않은 문제를 감사가 감지할 수 있는지 검증하기 위해, 저자 검토를 거친 12쌍의 정상 패키지와 결함 패키지를 구축했습니다. 모든 패키지는 K 증명을 통과했으며, 완료된 감사는 모든 결함을 식별하고 정상 패키지를 모두 승인했습니다. 이어 연산자 의미가 변경된 31개 프로그램을 대상으로 KleverBench를 사용하여 명세 및 증명 생성을 테스트했습니다. 완전한 수락 규칙 및 동일한 길이의 일반적인 조언과의 비교에서는 두 가지 모델과 예산 설정에 걸쳐 엇갈린 결과가 나타났으며, 이는 자원 한도 내에서 유용한 지침을 선별하는 후속 연구의 필요성을 시사합니다. 인간이 검토한 Optimism 증명은 무제한 가스 환경의 London 시맨틱 하에서 선언된 입력 범위 내 6개 연산에 대해 예상되는 일시 중지 되돌리기(pause revert)를 규명합니다. 본 논문에서는 검증 가능한 정확성 논거를 갖춘 프로그램을 제공하는 에이전트를 향한 진전, 난제, 그리고 교훈을 보고합니다.