검증을 위한 다양화: 태스크 동치 프로그램이 검증 가능성에서 차이를 보이는 경우
Diversifying to Verify: When Task-Equivalent Programs Differ in Verifiability
프로그램 검증은 소프트웨어 정확성을 위해 매우 중요하지만, 완전히 검증된 프로그램을 실제로 생성하는 것은 여전히 어려운 과제입니다. 본 논문은 동일한 태스크 수준 의미론(task-level semantics)을 만족하도록 생성된 여러 프로그램에서 구현 구조가 자동화된 검증 가능성에 영향을 미치는지 연구합니다. 우리는 Why3를 위한 단계적 대규모 언어 모델(LLM) 기반 파이프라인인 Diversify2Verify를 제시합니다. 이 파이프라인은 표현 특화 계약(representation-specific contracts)을 추론하고, 다양한 재귀적 및 명령형 배열/리스트 구현을 생성 및 테스트하며, 한정된 검증기 유도 어노테이션 복구(verifier-guided annotation repair)를 통해 검증을 시도합니다. 또한 우리는 정수, 배열, 리스트에 걸친 73개 태스크로 구성된 검증 지향 벤치마크를 구축하여 292개의 구현 변형을 생성하였습니다. Diversify2Verify는 초기에 96개의 아티팩트를 검증하고, 두 차례의 복구 과정을 거친 후 154개를 검증함으로써 아티팩트 수준의 검증률을 32.9%에서 52.7%로 향상시킵니다. 태스크 수준에서는 73개 태스크 중 49개에서 최소 하나의 변형이 검증되어 67.1%의 성공률을 기록합니다. 이러한 결과는 태스크 동치 구현들이 검증 가능성에서 실질적인 차이를 보일 수 있으며, 구현 다양성이 검증 친화적인 아티팩트를 찾는 데 도움이 됨을 보여줍니다.