PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.25402v2cs.SE

LibEvoBench: Probing Temporal Knowledge Stratification in Code Generation Models

Large software projects often depend on older versions of libraries, even as APIs continue to evolve across releases. This creates a challenge for LLMs: they must maintain knowledge of multiple API versions, not merely the latest or most common one. However, current LLMs are trained on temporally mixed corpora and lack explicit mechanisms for such version-specific reasoning, leading to anachronistic errors - calling APIs as they exist in a different library version. To systematically evaluate this phenomenon, we introduce LibEvoBench, a multi-task benchmark spanning multiple versions of widely used Python libraries, along with a new metric, the Software Evolution Understanding Score (SEUS), to measure models' consistency when working with evolving APIs. Our results show that state-of-the-art models are largely version-oblivious: performance degrades for evolving APIs, while for stable APIs it remains the same across versions. Moreover, simply specifying the target version provides no benefit, while relevant documentation significantly boosts models' accuracy. These findings highlight a systematic limitation of current training paradigms and motivate new approaches for temporally grounded knowledge in code generation.

arXiv:2607.02469v1cs.SE

TestEvo-Bench: An Executable and Live Benchmark for Test and Code Co-Evolution

소프트웨어 테스트와 코드의 공동 진화(co-evolution)를 평가하기 위해, 152개의 오픈소스 Java 프로젝트에서 실제 커밋 이력을 기반으로 746개의 테스트 생성 및 509개의 테스트 업데이트 태스크를 포함한 실행 가능한 라이브 벤치마크 TestEvo-Bench를 제안한다. Claude Code, Gemini CLI, SWE-Agent 등 최신 에이전트를 평가한 결과 테스트 생성에서 최대 77.5%, 테스트 업데이트에서 74.6%의 성공률을 달성했지만, 학습 데이터 오염을 줄이기 위해 모델의 학습 컷오프 이후 태스크로 한정할 경우 성공률이 유의미하게 하락했다.