LLM은 런타임 동작을 추론할 수 있는가? 저장소 수준의 동적 벤치마크
Can LLMs Reason About Runtime Behavior? A Repository-Level Dynamic Benchmark
대규모 언어 모델(LLM)은 코딩 작업에 점점 더 많이 사용되고 있지만, 코드 실행에 대해 추론하는 능력은 여전히 불분명하다. 기존의 저장소 수준 QA 벤치마크는 주로 정적 코드 이해를 평가하며 LLM 기반 평가에 의존하는 경우가 많고, 실행 추론 벤치마크는 대부분 코드 스니펫이나 함수 수준에 국한되어 있다. 본 논문에서는 동적 실행 추론을 위한 저장소 수준 벤치마크인 SWE-Flux를 소개한다. SWE-Flux는 실제 Python 저장소 12개에 걸쳐 실행에 근거한(execution-grounded) 인스턴스 480개를 포함하며, 정답은 수작업으로 작성하거나 LLM으로 판정하는 대신 계측(instrumented)된 테스트 실행에서 자동으로 수집된다. 이 벤치마크는 제어 흐름, 루프, 프로그램 상태, 데이터플로우, 예외, 프로그램 불변식(invariant)에 대한 단일 테스트 및 다중 테스트 질문을 다룬다. 다섯 개의 LLM을 평가한 결과, 이 작업은 여전히 어려운 것으로 나타났다. 가장 우수한 모델도 정확도가 37%에 불과하다. 모델은 불변식, 프로시저 내(intra-procedural) 제어 흐름, 예외, 단순한 루프와 같은 국소적 동작에서는 더 나은 성능을 보이지만, 데이터플로우, 프로시저 간(inter-procedural) 실행, 정밀한 상태 추론, 테스트 스위트 수준의 집계에서는 어려움을 겪는다. 마지막으로, 오라클 수집 파이프라인이 입력 교란(input perturbation)을 사용하여 새로운 벤치마크 변형을 생성할 수 있음을 보인다. 이 파이프라인은 선택된 인스턴스의 거의 90%에 대해 유효한 변형을 성공적으로 수집하며, 그 결과 생성된 변형은 평가 대상 모델들에게 훨씬 더 어렵다.