PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00425v1cs.SE

작동하는 코드, 작동하지 않는 환경: AI 생성 소프트웨어의 환경 재현성 측정

Code That Works, Environments That Don't: Measuring Environment Reproducibility in AI-Generated Software

코드 생성은 대규모 언어 모델(LLM)의 핵심 역량으로 부상하였으며, 이제 코딩 에이전트(agent)는 자연어 프롬프트로부터 기능적으로 올바른 소프트웨어 프로젝트를 생성할 수 있습니다. 그러나 기능적 정확성(functional correctness)만으로는 생성 품질의 중요한 차원을 포착하지 못합니다. 생성된 코드를 실행하는 데 필요한 의존성을 정확히 식별하는 것으로 정의되는 환경(environment) 명세 또한 이에 못지않게 중요합니다. 본 연구에서는 환경 명세를 위한 에이전트 프로토콜을 개발하고, 선언된 의존성, 런타임에 설치된 의존성, 그리고 필요충분한 의존성으로 구성된 3개 층(layer) 프레임워크를 도입하여 환경 명세 관점에서 코딩 에이전트를 체계적으로 평가합니다. 이 프로토콜을 사용하여 코딩 에이전트가 소프트웨어 환경 의존성을 체계적으로 잘못 명세하는 정도와 이러한 오명세가 3개의 에이전트, 4개의 언어, 50개의 프로그래밍 작업에 걸쳐 어떻게 달라지는지 평가합니다. 실험 결과, 현재의 코딩 에이전트는 이 차원에서 체계적인 일반화 실패를 보이며, 기능 테스트로는 감지할 수 없는 불일치하거나 중복되거나 불완전한 의존성 명세를 생성하는 것으로 나타났습니다. 여러 에이전트에 걸쳐 동일한 작업에 대한 의존성 집합 일치도는 7%로 낮았으며, 최신 에이전트에서도 유의미한 개선이 나타나지 않아 이러한 실패가 스케일링이나 최신성으로 해결되지 않음을 시사합니다. 가장 큰 차이는 선언된 의존성 층과 런타임 의존성 층 사이에서 발생하며, 모델의 학습(training) 분포에서 학습된 환경 사전 확률(priors)이 주된 원인임을 보여줍니다. 본 연구 결과는 환경 명세가 현재의 벤치마크에서는 포착하지 못하는 코드 생성 품질의 독자적이고 측정 가능한 축임을 규명하며, 기능적 정확성과 환경적 이식성을 함께 최적화하는 학습 목표 및 평가 프로토콜의 필요성을 제시합니다.