PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.18293v1cs.SE

바이브 코딩이 내 숙제를 먹어버렸다: 그린필드(greenfield) 소프트웨어 엔지니어링 및 프로그래밍에 대한 AI 접근 방식 평가

Vibe Coding Ate My Homework: An evaluation of AI approaches to greenfield software engineering and programming

바이브 코딩(vibe coding)이 그린필드(greenfield) 소프트웨어 엔지니어링에 얼마나 쓸 수 있는지와 이를 측정하는 벤치마크를 검토하고, Python의 단순·독립 그린필드 프로그래밍 과제에서 대규모 언어 모델(LLM)의 수행력을 평가하는 평가 스위트를 제안한다. 프롬프트를 기술적 깊이에 따라 나눠 여러 LLM에 보내고 생성 코드가 요구를 충족하는지 점수화함으로써, 바이브 코딩의 신뢰성과 벤치마크 설계를 범위 있게 분석한다.

arXiv:2510.07315v2cs.CL

SWE-IF: 코드 평가를 인간 선호도와 정렬하기

SWE-IF: Aligning Code Evaluation with Human Preference

대규모 언어 모델(LLM)은 바이브 코딩(vibe coding)을 촉진했으며, 이는 사용자가 자신의 바이브 체크(vibe check)를 통과할 때까지 자연어 상호작용을 통해 LLM을 활용해 코드를 생성하고 반복적으로 개선하는 방식입니다. 바이브 체크는 인간 선호도를 반영하는 것으로, 단순한 기능성을 넘어섭니다. 즉, 해결책은 직관적으로 옳게 느껴지고, 가독성이 좋으며, 의도를 보존하고 정확성을 유지해야 합니다. 그러나 현재의 코드 평가는 여전히 pass@k 지표에 국한되어 기능적 정확성만을 측정하며, 사용자가 일상적으로 적용하는 비기능적 지시사항은 간과하고 있습니다. 본 논문에서 우리는 기능적 정확성 외에 바이브 체크의 기반이 되는 누락된 요소가 바로 지시사항 준수(instruction following)라고 가정합니다. 모델의 코드 지시사항 준수 능력을 측정 가능한 신호로 정량화하기 위해, 우리는 30가지 검증 가능한 코드 지시사항에 대한 분류 체계와 결정론적 검증기(deterministic verifiers)를 포함하는 VeriCode를 제시합니다. 우리는 이 분류 체계를 활용해 기존 평가 스위트를 보강하여, 지시사항 준수와 기능적 정확성을 모두 평가할 수 있는 테스트베드인 SWE-IF를 구축했습니다. 31개의 LLM을 평가한 결과, 가장 강력한 모델조차도 여러 지시사항을 동시에 준수하는 데 어려움을 겪으며 기능적 퇴보(functional regression)를 보이는 것으로 나타났습니다. 무엇보다 중요한 점은 기능적 정확성과 지시사항 준수를 결합한 복합 점수가 인간 선호도와 가장 높은 상관관계를 보이며, 지시사항 준수가 LLM 간의 성능을 가르는 주요 구분 요소로 작용한다는 것입니다. 우리의 코드, 데이터, 분류 체계는 https://github.com/maszhongming/SWE-IF에서 확인할 수 있습니다.