Re:Form -- 대규모 언어 모델에서 강화학습을 활용한 확장 가능한 형식 소프트웨어 검증의 인간 어노테이션 감소: Dafny에 대한 예비 연구
Re:Form -- Reducing Human Annotations in Scalable Formal Software Verification with RL in LLMs: A Preliminary Study on Dafny
비형식 언어 기반(예: 인간 언어) 대규모 언어 모델(LLM)을 강화학습(RL)으로 학습하는 기존 방식은 중요한 학습 신호를 제공하는 검증 과정이 신뢰할 수 없고 확장도 어렵다는 근본적인 문제를 안고 있다. 실제로 널리 사용되는 대형 독점 모델들은 검증 가능한 프로그램을 거의 생성하지 못한다. 이에 대한 유망하지만 아직 충분히 탐구되지 않은 대안이 형식 언어 기반 추론이다. 생성 모델이 형식 언어 공간(예: Dafny)에서 동작하는 엄밀한 형식 시스템에 LLM을 그라운딩하면, 추론 과정과 결과를 자동으로 수학적으로 증명 가능한 방식으로 검증할 수 있다. 이 능력은 대규모의 신뢰할 수 있는 형식 소프트웨어 검증을 달성하는 데 핵심적이다. LLM의 추론 및 코딩 능력을 유도하기 위해 인간이 어노테이션한 사고의 연쇄(Chain-of-Thought)와 답변을 활용하는 것이 일반적인 관행이나, 복잡한 프로그래밍 작업을 감독하기 위한 이러한 사전 정보를 제공하는 것은 감당하기 어려울 정도로 많은 자원을 소모한다. 본 연구에서는 파일럿 스터디의 주요 환경으로 형식 언어인 Dafny를 사용하여 인간 어노테이션을 줄이는 방법을 체계적으로 탐구한다. 우리의 파이프라인은 자동화되고 확장 가능한 데이터 큐레이션 파이프라인의 도입과, 형식 언어 검증기의 피드백을 통합한 세심한 강화학습 설계에 주로 의존한다. 우리는 명세 추론을 위해 자동 형식화된 명세를 갖춘 합성적 형식 프로그램 벤치마크인 DafnyComp를 소개한다. 우리의 지도 미세조정(SFT) 단계는 소규모 모델(예: 0.5B)도 구문적으로 유효하고 검증 가능한 Dafny 코드를 생성할 수 있게 하여 독점 모델을 능가한다. 정규화를 적용한 강화학습은 성능을 더욱 향상시켜, 도메인 외부 작업에 대한 더 강한 일반화를 달성하고 도전적인 DafnyComp 벤치마크에서 모든 강력한 기준 모델을 능가한다.