PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.04232v1cs.SE

중간 형식 명세를 활용한 코드 LLM 추론 학습

Teaching Code LLMs to Reason with Intermediate Formal Specifications

자연어 명세와 달리, 실행 가능한 형식 명세(formal specification)는 코드의 검증, 디버깅, 수정을 위한 기계 검증 가능한 제약 조건을 제공한다. 그러나 이러한 명세를 작성하는 것은 노동 집약적이며, 기존의 대규모 언어 모델(LLM) 기반 방법들은 주로 전체 프로그램의 사전/사후 조건(pre/postcondition)을 추론하는 데 그쳐, 프로그래머가 알고리즘을 추론할 때 의존하는 중간 의미적 확약을 놓친다. 또한 본 연구에서는 현재 CodeLLM에 프롬프트를 제공하면 구문적으로 유효하지 않거나, 자명하거나, 동작을 변경하는 결함을 거부하기에 너무 약한 실행 가능한 어서션(assertion)이 자주 생성됨을 보인다. 본 논문에서는 실행 가능한 체크포인트(checkpoint) 명세 생성을 연구하며, 이는 예상되는 중간 상태를 기술하기 위해 의미 있는 프로그램 내부 지점에 어서션을 삽입하는 것이다. 우리는 검증된 참조 프로그램, 동작 변경 뮤턴트(mutant), 다중 턴 명세 개선 트레이스로부터 학습하는 검증 유도 CodeLLM 학습(training) 프레임워크인 SpecCoder를 소개한다. SpecCoder는 올바른 실행에서는 성립하고 결함 있는 실행은 거부하는 명세를 선택하여, 명세를 수동적 주석에서 실행 가능한 증거로 전환한다. 이 설정을 평가하기 위해, 테스트 스위트, 참조 솔루션, 사람이 제출한 버그 있는 코드를 포함한 최근 Codeforces 경쟁 프로그래밍 문제들로 구성된 벤치마크인 HumanExec을 소개하며, 이는 명세 생성, 프로그램 정확성 검사, 프로그램 수정의 세 가지 태스크를 지원한다. HumanExec에서의 실험 결과, SpecCoder는 기본 CodeLLM 대비 체크포인트 명세 품질을 크게 향상시킨다. Qwen2.5-Coder 모델 전반에 걸쳐 SpecCoder는 인라인 명세의 정확성을 최대 55.8%, 완전성을 최대 358.1%, 실행 가능한 어서션 유효성을 최대 26.6% 향상시킨다. 이러한 성과는 하위 작업인 정확성 추론 및 수정에도 이어지며, 실행 가능한 체크포인트가 신뢰할 수 있는 검증을 위한 세밀한 증거를 제공함을 보여준다.