jetbrains.com

이 이메일 도메인이 관측된 논문 1건

arXiv:2606.27406v1cs.SE

코딩 LLM의 암묵적 소프트웨어 월드 모델 평가를 향하여

Towards Evaluation of Implicit Software World Models in Coding LLMs

소프트웨어 공학은 인간이 수행하든 AI 에이전트(agent)가 수행하든, 소프트웨어가 어떻게 동작하는지에 대한 추론을 요구한다. 우리는 이러한 추론을 뒷받침하는 내부 모델을 소프트웨어 월드 모델(software world model)이라 부르며, 현재의 코드 실행 벤치마크가 그중 잘 연구된 한 영역—제어 흐름(control flow)—을 다룬다고 본다. 본 논문에서는 관찰 가능한 축을 실행 자원(execution resources)으로 전환함으로써 더 넓은 범위의 평가에 한 걸음 나아간다: 테스트 결과와 예외 클래스(exception class)에 더해, 메서드 및 라인 수준의 세분성에서 피크 메모리, wall-clock time, 순위화된 프로파일러(profiler) 출력을 예측한다. 우리는 SWE-bench Verified를 데이터 소스로 사용하여 테스트를 실제 소프트웨어 공학 작업에 가깝게 유지한다. 테스트된 모든 모델은 최첨단(frontier) 모델을 포함해 미미한 성능과 취약한(brittle) 동작을 보이며, 이는 소스 코드가 어떻게 작성되는지와 대조적으로 소프트웨어가 어떻게 실행되는지에 대한 이해 부족을 시사한다.