Doc2Spec: 문법 귀납을 통해 자연어로부터 정형 프로그래밍 명세 합성하기
Doc2Spec: Synthesizing Formal Programming Specifications from Natural Language via Grammar Induction
API 구현 및 사용이 자연어 프로그래밍 규칙을 준수하도록 보장하는 것은 소프트웨어의 정확성, 보안성 및 신뢰성에 매우 중요합니다. 정형 검증(Formal verification)은 강력한 보장을 제공할 수 있지만 정밀한 명세를 필요로 하며, 이를 수작업으로 작성하는 것은 어렵고 비용이 많이 듭니다. 이러한 문제를 해결하기 위해, 자연어 API 규칙으로부터 도메인 특화 문법을 자동으로 유도(induce)하고 이를 활용하여 명세 생성을 유도하는 멀티 에이전트(multi-agent) 프레임워크인 Doc2Spec을 제안합니다. Doc2Spec은 도메인에 구애받지 않는 논리적 뼈대를 문법 템플릿으로 고정하고, 대규모 언어 모델(LLM)에 프롬프트를 제공하여 도메인 특화 술어(predicate)와 정렬(sort)을 추론하며, 생성된 문법 내에서 각 규칙을 정형화합니다. 이를 통해 신뢰할 수 없는 원샷(one-shot) 변환을 제약되고 검사 가능한 단계들의 시퀀스로 전환합니다. Solidity와 Rust를 아우르는 6개 벤치마크 전반에서 Doc2Spec은 문법 유도가 없거나 이를 단계화되지 않은 단일 단계로 수행하는 베이스라인 대비 정밀도를 0.28, 재현율을 0.37 향상시켜, 문법 기반 정형화 및 단계별 파이프라인의 이점을 입증했습니다. 나아가 정형화된 규칙을 통해 기호 실행(symbolic-execution) 도구가 이전에 알려지지 않았던 142개의 규칙 위반을 발견할 수 있도록 지원함으로써 규칙의 정확성과 실질적인 유용성을 확인했습니다.