QTestBench: LLM 생성 양자 코드 평가를 위한 테스트 프레임워크
QTestBench: A Test Framework for Evaluating LLM-Generated Quantum Code
한국어 초록
대규모 언어 모델(LLM)은 고전적인 코드 생성에서 우수한 결과를 보여주었으며, 해당 코드를 보호하는 단위 테스트를 작성하는 데에도 점점 더 많이 활용되고 있습니다. 그러나 양자 소프트웨어에 대해서도 동일한 역할을 수행할 수 있는지는 명확하지 않습니다. 양자 프로그램은 확률론적이고, 수치적 허용 오차에 의존하며, 도메인 특화 검사기(checker)를 통해 판단되기 때문에 잘 구성된 테스트라 할지라도 벤치마크의 판정과 불일치할 수 있기 때문입니다. 기존의 양자 벤치마크는 모델이 올바른 솔루션을 생성하는지 여부만 측정할 뿐, 모델이 생성한 테스트가 올바른 구현과 결함이 있는 구현을 구별할 수 있는지는 측정하지 못합니다. 본 논문에서는 LLM이 생성한 양자 테스트 스위트를 독립적인 벤치마크 검사기와 비교 평가하며, 테스트 자체를 결코 정답(ground truth)으로 간주하지 않는 프레임워크인 QTestBench를 소개합니다. 각 태스크에 대해 QTestBench는 모델이 구문적, 의미적, 동작적 테스트를 생성하도록 프롬프트를 제공하고, 런타임에 후보 솔루션을 주입하며, 각각 별개의 진단 질문에 답하는 세 가지 검증(validation) 코호트 하에서 각 테스트 판정과 검사기의 레이블을 비교합니다. 저자들은 8개의 PennyLane QHack 챌린지와 10개의 Qiskit HumanEval 태스크에서 5개의 LLM을 벤치마크합니다. 생성된 스위트는 거의 항상 실행되지만 변별력은 이에 미치지 못합니다. 가장 우수한 생성 모델도 QHack에서 0.71, Qiskit HumanEval에서 0.34의 테스트 품질에 도달하므로, 실행 가능성만으로는 테스트 품질이 과대평가됩니다. 오라클로 검증된 합성 뮤턴트는 결함이 전혀 발생하지 않은 10개 중 3개의 Qiskit 태스크처럼 자연적인 결함 솔루션이 희소할 때 버그 감지 추정치를 안정화합니다. QTestBench는 LLM이 생성한 양자 테스트의 신뢰성을 평가하기 위한 재현 가능하고 프레임워크 간 비교가 가능한 벤치마크를 제공합니다.
원문 초록
Large language models (LLMs) have shown strong results in classical code generation and are increasingly used to write the unit tests that safeguard that code. Whether they can do the same for quantum software is less clear, because quantum programs are probabilistic, depend on numerical tolerances, and are judged by domain-specific checkers, so a well-formed test can still disagree with the benchmark's verdict. Existing quantum benchmarks measure whether a model produces a correct solution, but not whether its tests can distinguish correct implementations from faulty ones. We introduce QTestBench, a framework that evaluates LLM-generated quantum test suites against independent benchmark checkers, never treating the tests themselves as ground truth. For each task, QTestBench prompts models to produce syntactic, semantic, and behavioral tests, injects candidate solutions at runtime, and compares each test verdict with the checker's label under three validation cohorts, each answering a distinct diagnostic question. We benchmark five LLMs on eight PennyLane QHack challenges and ten Qiskit HumanEval tasks. Generated suites almost always execute, but discrimination lags behind: the best generator reaches a test quality of 0.71 on QHack and 0.34 on Qiskit HumanEval, so executability alone overstates test quality. Oracle-verified synthetic mutants stabilize bug-detection estimates when natural faulty solutions are scarce, as on three of ten Qiskit tasks that yield none. QTestBench offers a reproducible, cross-framework benchmark for the trustworthiness of LLM-generated quantum tests.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PhySimCode: 물리 비디오-코드 생성을 위한 벤치마크 및 평가 방법
PhySimCode: A Benchmark and Evaluation Method for Physics Video to Code Generation
멀티모달 대규모 언어 모델(MLLM)은 비디오 이해와 코드 생성에 뛰어나지만, 비디오에 내재된 물리 법칙을 복원할 수 있는지는 명확하지 않다. 이는 비디오를 실행 가능한 시뮬레이션으로 변환하고 로보틱스에서 구조화된 물리적 감독(supervision)을 제공하는 데 필수적인 능력이다. 모션 비디오에 대한 캡션 생성이 모델이 그 지배 역학(governing dynamics)을 추론했거나, 정량적 매개변수를 추정했거나, 코드로부터 관찰된 장면을 재생성할 수 있음을 의미하지는 않는다. 기존 비디오-물리 벤치마크는 타당성(plausibility), 속성 추정, 미래 상태 예측을 평가하지만, 모델이 시각적 역학을 실행 가능한 시뮬레이션 코드로 변환할 수 있는지에 대해서는 제한적인 통찰만 제공한다. 우리는 물리 비디오-코드 생성을 위한 벤치마크인 PhySimCode를 소개한다: 원본 비디오만 주어졌을 때, 모델은 관련 물리를 추론하고, 매개변수 값을 복원하며, 입력 비디오를 재현하는 실행 가능한 Python 코드를 생성해야 한다. 이 데이터셋은 해석적(analytic) SciPy 시뮬레이션과 PyBullet으로 렌더링된 강체(rigid-body), 관절체(articulated), 유체(fluid), 접촉이 많은(contact-rich) 장면에 걸친 162개의 물리 현상을 다루는 160.6K개의 절차적으로 생성된 샘플을 포함한다. 각 샘플은 시뮬레이션 코드, 물리적 매개변수, 렌더링된 비디오, 그리고 관찰(observations), 법칙(laws), 상미분방정식(ODE), 수치 방법(numerical methods), 검증(validation) 검사를 다루는 구조화된 사고의 연쇄(chain-of-thought)를 함께 제공한다. 우리는 물리 법칙의 정확성, 시뮬레이션 동등성, 코드 실행 가능성, 매개변수 복원 측면에서 10개의 최신 비공개 및 공개 소스 MLLM을 평가한다. 모델들은 물리 법칙을 안정적으로 서술하지만(5점 만점에 4.27-4.93점), 비디오로부터 이를 추론하는 데에는 5점 만점에 1.51-2.47점만을 기록했으며, 최고 성능 시스템(Claude Sonnet 4.6)도 실제값(ground-truth) 매개변수의 ±20% 이내로 복원한 비율은 7.7%에 불과해, 비디오-시뮬레이션 간의 상당한 격차를 드러냈다. 2,430개 비디오로 구성된 평가 세트는 https://huggingface.co/datasets/SourajaKundu123/PhySimCode 에서, 평가 코드는 https://github.com/SourajaKundu/PhySimCode 에서 확인할 수 있다.
테스트는 통과하지만 의미는 놓치다: 계획 기반 데이터프레임 코드 생성에서 나타나는 해석적 고착(Interpretive Lock-In)의 증거
Passing Tests, Missing Semantics: Evidence of Interpretive Lock-In in Plan-Based DataFrame Code Generation
계획(planning)과 수정(revision)은 생성된 코드를 과제 명세에 더 가깝게 만들기 위한 것이다. 그러나 잘못된 해석이 계획, 구현, 테스트 전반에 걸쳐 지속될 수 있는데, 우리는 이러한 패턴을 해석적 고착(interpretive lock-in)이라 부른다. 우리는 TPC Benchmark DS에서 파생된 30개의 데이터프레임(DataFrame) 과제에서 이 위험을 조사하며, Frozen One-Pass, Test-Guided Revision, PlanAudit-Guided Revision 세 가지 파이프라인을 비교한다. 테스트 통과 수는 22/30에서 29/30, 그리고 30/30으로 증가했지만, 생성된 솔루션 중 저장된 참조 출력과 일치하는 것은 하나도 없었다. 평가자 대조군(evaluator control)은 57/57건에서 예상된 결과를 반환했다. 동일 엔진 SQL 재실행은 28/30건의 참조 결과를 재현했으나, 이들 과제에서 테스트를 통과한 77개의 실행 전부가 여전히 참조 결과와 일치하지 않았다. PlanAudit-Guided Revision은 3/30개 과제에서 코드 점수를, 11/30개 과제에서 테스트 커버리지를 개선했지만, 두 지표 모두 쌍대 비교(paired) 중앙값 변화는 0이었다. 실패 분석 결과, 요구사항을 누락한 테스트, 후보 코드가 정의한 스키마를 그대로 채택한 테스트, 판별력이 없는 픽스처(fixture)를 사용한 테스트, 혹은 구현의 잘못된 로직을 그대로 반복한 테스트가 드러났다. 열 개의 표적 과제에 대한 새로운 생성(fresh generation)에서는 참조 일치가 0/30건이었고, 테스트를 통과한 실행 중 25/25건이 거짓 통과(false pass)였다. 이러한 결과는 인과적이라기보다는 진단적인 성격을 가진다. 각 파이프라인은 피드백, 그라운딩(grounding), 호출 예산, 편집 권한 면에서 차이가 있으며, 본 연구는 하나의 모델과 적격 과제당 하나의 주요 생성만을 사용한다. 판정 이전의 인간 라벨이 보존되지 않았기 때문에 평가자 간 일치도(inter-rater agreement)는 재구성할 수 없으며, 메커니즘 분석은 여전히 탐색적 수준에 머문다. 전반적으로, 자체 생성 테스트의 성공률이 점점 높아졌음에도, 재현되지 않은 참조 결과를 제외한 이후에도 의미적 정확성(semantic correctness)은 확립되지 않았다.
작지만 강력하게: 자기 진화 에이전트를 위한 개선 신호로서의 테스트 스위트
Small but Mighty: Test Suites as Improvement Signals for Self-Evolving Agents
자기 진화 에이전트(self-evolving agent)는 자신의 하네스(harness)를 재작성하며 어떤 재작성본을 유지할지 결정해야 하므로, 에이전트의 개선 신호는 재작성본이 통과해야 하는 검증이 됩니다. 에이전트 롤아웃(rollout)으로 재작성을 검증하는 것은 비용이 많이 들고 주관적인 반면, 저장소 자체의 테스트와 같은 실행 가능한 검증은 동작을 변화시키는 재작성을 포착하기에는 너무 희소하여 그중 4분의 1만을 거부합니다. 우리는 그 대신 테스트 피드백을 실행 가능한 신호로 삼고, 신호가 조밀하고 유익할 수 있도록 품질-다양성(quality-diversity) 진화 알고리즘을 통해 작으면서도 강력한 테스트 스위트(test suite)를 탐색합니다. TeSearch는 스위트 크기를 행동 기술자(behavior descriptor)로 취급하여 모든 크기에서 품질을 추구하고 작고 강력한 스위트에 도달할 수 있도록 하며, 해당 기술자에 대한 액추에이터로서 대규모 언어 모델(LLM)의 노이즈를 제거하는 전이 커널(transition kernel)을 탐색 과정에서 학습합니다. 129개의 실제 모듈과 세 가지 백본에 걸쳐, TeSearch는 LLM 기반 진화 탐색을 포함해 비교된 모든 방법 중 가장 높은 품질의 스위트를 제공하며, LLM 기반 방법 중 가장 작은 크기를 달성합니다. 자기 진화 에이전트의 개선 신호로 사용되었을 때, 이는 4.0%의 오경보율(false-alarm rate)과 결정당 3.5초의 속도로 동작을 변화시키는 재작성의 59.9%를 거부하여 저장소 자체 테스트의 25.3%와 대비를 이룹니다. 코드와 데이터는 https://github.com/ccsnow127/TeSearch 에서 확인할 수 있습니다.
AgentSWE: 코딩 에이전트는 사용자가 실제로 원하는 에이전트를 구축할 수 있는가?
AgentSWE: Can Coding Agents Build the Agent You Actually Want?
소프트웨어 제작이 소프트웨어 자체의 손에 맡겨짐에 따라, 코딩 에이전트(coding agent)가 사용자의 자체 워크플로에 맞춤화된 에이전트를 구축하도록 위임받는 사례가 점차 늘어나고 있습니다. 이러한 위임에는 제공된 에이전트가 단지 그렇게 보이는 것에 그치지 않고, 구축 목적이었던 요구사항을 충실히 수행할 것이라는 암묵적인 가정이 깔려 있습니다. 그러나 기존의 어떤 벤치마크도 이 가정을 검증하지 않습니다. 본 논문에서는 자연어 요구사항으로부터 완전한 에이전트를 제작하는 생성(Creation), 프로덕션 에이전트 코드베이스의 수정(Editing), 측정 가능한 목표를 향한 최적화(Optimization)라는 에이전트 개발 수명 주기의 3단계를 아우르는 에이전트 소프트웨어 엔지니어링 벤치마크인 AgentSWE를 소개합니다. 25개의 각 태스크는 시험이라기보다는 의뢰의 형태로 구성됩니다. 즉, 빌더는 소수의 예시 케이스를 바탕으로 반복 개선하고, 인수 평가 단계에서는 엄격한 통과/실패 기준을 적용한 요구사항 기반 루브릭에 따라(최적화의 경우 원본 벤치마크 자체의 목표에 따라) 고정된 제출물을 전체 요구사항을 포괄하도록 설계된 홀드아웃(held-out) 케이스에서 실행하여 동작을 채점합니다. 다양한 모델과 하네스에 걸쳐 여러 코딩 에이전트를 평가한 결과, 요구사항이 요구하는 바를 제대로 제공하는 에이전트는 전무했습니다. 빌더가 시연하는 모습과 실제로 제공하는 결과물 사이의 격차는 예외적인 경우가 아니라 일반적인 현상이었습니다. 실패 궤적에 대한 실증적 분석을 통해 확인된 반복적인 실패 모드로는 가시적인 케이스에 대한 과적합, 완성된 것처럼 보이는 코드 이면의 빈껍데기 런타임, 근거 없는 완료 주장 등이 있었으며, 이는 코딩 에이전트가 요청받은 에이전트를 구축하는 방법을 학습할 수 있는 각각의 신호가 됩니다.
ProgramGym: 장기 프로그램 재현 에이전트를 위한 학습 환경 확장
ProgramGym: Scaling Training Environments for Long-Horizon Program Reproduction Agents
코딩 에이전트(coding agent)는 저장소 내의 이슈를 해결하거나 주어진 요구사항 명세서로부터 저장소를 생성하는 것을 넘어, 소프트웨어 엔지니어처럼 처음부터(from scratch) 프로그램을 구축하는 데 점점 더 많이 활용되고 있습니다. 그러나 에이전트가 필요한 요구사항을 직접 파악하고 시스템 설계 방식을 결정하도록 강제하는, 확장 가능하고 검증 가능한 학습(training) 환경은 여전히 부족합니다. 또한 기존 에이전트 워크플로는 구현 전에 참조 프로그램을 탐색하는 장기(long-horizon) 개발 과정을 지속하기 어렵습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 장기 프로그램 재현 에이전트를 위한 확장 가능한 학습 환경 프레임워크이자 Program-Env 및 Program-Agent로 구성된 ProgramGym을 소개합니다. 구체적으로 Program-Env는 런타임 샌드박스 빌드와 블랙박스 테스트 품질을 복구하는 피드백 기반 루프를 통해 저장소로부터 검증 가능한 학습 환경을 구축합니다. 이 새로운 파이프라인을 활용하여 C, C++, Go, Rust에 걸친 1,648개의 학습 환경을 확보했습니다. Program-Agent는 컴파일 검사 및 실패 복구를 위한 리비전 관리와 함께 분석, 구현, 검토의 역할 분리 워크플로를 결합합니다. ProgramBench 실험 결과는 Program-Env와 Program-Agent 모두 프로그램 재현 성능을 향상시킴을 보여줍니다. 이렇게 구축된 환경에서 얻은 궤적으로 미세조정(fine-tuning)을 수행하면 Qwen3.8-27B의 성능이 34.87%에서 42.84%로 향상됩니다. Program-Agent는 베이스 및 SFT 모델의 성능을 각각 55.71%와 56.25%까지 추가로 향상시키며, 두 모델 모두 일부 플래그십 모델을 능가합니다. 처음부터 프로그램을 구축하는 코딩 에이전트에 대한 후속 연구를 지원하기 위해 ProgramGym을 공개할 예정입니다.
모든 정답 수정이 같은 성능을 내지는 않는다: 저장소 수준 이슈 해결에서 패치 성능에 대한 실증적 연구
Not All Correct Fixes Run Alike: An Empirical Study of Patch Performance in Repository-Level Issue Resolution
SWE-bench와 같은 저장소 수준 이슈 해결(issue resolution) 벤치마크는 제출된 패치를 주로 정확성 테스트 통과 여부로 평가하며, 테스트를 통과한 서로 다른 패치들 간의 런타임 성능(runtime performance)은 대부분 탐구되지 않은 채로 남아 있다. 패치 성능을 평가하는 것은 필수적이지만, 각 벤치마크 인스턴스마다 성능 워크로드를 설계하는 데 비용이 많이 들어 어렵다. 그러나 이러한 벤치마크는 이미 자연스러운 후보를 제공하는데, 바로 이슈 수정으로 영향을 받는 동작을 실행하는 내장 FAIL_TO_PASS(F2P) 테스트이다. 따라서 우리는 제공된 F2P 테스트를 패치 성능 평가에 재활용할 수 있는지 조사한다. 전체적으로 우리는 Claude Opus 5, GPT 5.6, DeepSeek V4 Pro, Qwen 3.8 Max라는 네 가지 프런티어(frontier) 모델을 SWE-agent와 결합하여 SWE-bench 및 SWE-bench-Live의 검증된(verified) 분할에서 사전 필터링된 측정 가능한 코퍼스(corpus)를 해결하도록 하였으며, 그 결과 개발자의 정답(ground-truth) 패치를 포함해 최소 두 개 이상의 서로 다른 정답 해법을 가진 262개 사례를 얻었다. 이후 우리는 각 해법의 런타임 성능을 네이티브 F2P 테스트에서 명령어 수(instruction count)와 실제 경과 시간(wall-clock time)으로 측정하고, 더 강건한 통계적 판별 기준으로 선행 연구에서 제안된 RSD 대신 Welch ANOVA를 사용한다. 우리는 이 방법론이 런타임 성능에서 뚜렷한 판별 능력을 보이며, 거의 절반에 가까운 사례에서 패치 간 성능 차이를 식별해냄을 발견한다. 우리의 실증적 연구는 생성된 패치의 런타임 성능이 LLM의 이슈 해결률(resolution rate)과 무관하며, 모델 순위가 거의 뒤바뀐다는 것을 보여준다. 사례 연구(case study)는 또한 성능 분석이 정확성 평가에서는 간과된 일부 패치의 아키텍처적 회귀(architectural regression)를 드러낸다는 것을 보여준다. 이러한 발견은 해결률이 저장소 수준 이슈 해결에 대한 LLM의 능력을 충분히 특성화하지 못한다는 것을 시사하며, 향후 평가에서 해결률과 함께 패치 성능을 함께 고려하도록 동기를 부여한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted at the 2026 IEEE 2nd International Conference on Quantum Artificial Intelligence (QAI), 2026