QTestBench: LLM 생성 양자 코드 평가를 위한 테스트 프레임워크
QTestBench: A Test Framework for Evaluating LLM-Generated Quantum Code
대규모 언어 모델(LLM)은 고전적인 코드 생성에서 우수한 결과를 보여주었으며, 해당 코드를 보호하는 단위 테스트를 작성하는 데에도 점점 더 많이 활용되고 있습니다. 그러나 양자 소프트웨어에 대해서도 동일한 역할을 수행할 수 있는지는 명확하지 않습니다. 양자 프로그램은 확률론적이고, 수치적 허용 오차에 의존하며, 도메인 특화 검사기(checker)를 통해 판단되기 때문에 잘 구성된 테스트라 할지라도 벤치마크의 판정과 불일치할 수 있기 때문입니다. 기존의 양자 벤치마크는 모델이 올바른 솔루션을 생성하는지 여부만 측정할 뿐, 모델이 생성한 테스트가 올바른 구현과 결함이 있는 구현을 구별할 수 있는지는 측정하지 못합니다. 본 논문에서는 LLM이 생성한 양자 테스트 스위트를 독립적인 벤치마크 검사기와 비교 평가하며, 테스트 자체를 결코 정답(ground truth)으로 간주하지 않는 프레임워크인 QTestBench를 소개합니다. 각 태스크에 대해 QTestBench는 모델이 구문적, 의미적, 동작적 테스트를 생성하도록 프롬프트를 제공하고, 런타임에 후보 솔루션을 주입하며, 각각 별개의 진단 질문에 답하는 세 가지 검증(validation) 코호트 하에서 각 테스트 판정과 검사기의 레이블을 비교합니다. 저자들은 8개의 PennyLane QHack 챌린지와 10개의 Qiskit HumanEval 태스크에서 5개의 LLM을 벤치마크합니다. 생성된 스위트는 거의 항상 실행되지만 변별력은 이에 미치지 못합니다. 가장 우수한 생성 모델도 QHack에서 0.71, Qiskit HumanEval에서 0.34의 테스트 품질에 도달하므로, 실행 가능성만으로는 테스트 품질이 과대평가됩니다. 오라클로 검증된 합성 뮤턴트는 결함이 전혀 발생하지 않은 10개 중 3개의 Qiskit 태스크처럼 자연적인 결함 솔루션이 희소할 때 버그 감지 추정치를 안정화합니다. QTestBench는 LLM이 생성한 양자 테스트의 신뢰성을 평가하기 위한 재현 가능하고 프레임워크 간 비교가 가능한 벤치마크를 제공합니다.