PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.27409v2cs.SE

SWE-NFI: 비기능적 개선을 위한 코딩 에이전트 연구 및 벤치마킹

SWE-NFI: Studying and Benchmarking Coding Agents for Non-Functional Improvements

코딩 에이전트(coding agent)가 정확성 중심의 벤치마크에서 인상적인 성능을 달성했음에도 불구하고, 동작을 보존하는 비기능적 개선(NFI)을 수행하는 능력은 여전히 충분히 연구되지 않았습니다. 실제 소프트웨어 개발에서 개발자는 관찰 가능한 동작을 변경하지 않고 소프트웨어 품질을 지속적으로 개선하지만, 기존 벤치마크는 주로 기능적 정확성만을 평가하며 이러한 비기능적 개선을 평가하는 데는 제한적인 지원만을 제공합니다. 본 논문에서는 기능적 정확성을 넘어 NFI에 대해 코딩 에이전트를 평가하기 위한 벤치마크인 SWE-NFI를 제시합니다. SWE-NFI는 오픈소스 Python 프로젝트의 실제 병합된 풀 리퀘스트(PR)로부터 구축된 188개의 태스크를 포함합니다. 저자들은 개발자 중심의 5가지 NFI 측면을 92개의 실행 가능한 규칙으로 구체화하고, 원본 코드의 주요 속성이 보존되는지 평가하기 위해 태스크별 기능 보존 검사를 먼저 적용한 후 규칙 기반 NFI 평가를 수행하는 평가 스위트를 개발했습니다. 이러한 검사를 통과한 출력에 대해, 원본 코드 대비 해당 태스크의 목표 측면에 대한 정규화된 규칙 점수의 변화로 NFI 개선도를 측정합니다. 8개의 상용 및 오픈소스 에이전트 구성을 평가하고 각 태스크마다 각 구성을 5회씩 실행했습니다. 유효한 에이전트 출력 중 최대 70.0%만이 모든 태스크별 기능 보존 검사를 만족했습니다. 이러한 검사를 통과한 출력 중에서도 NFI 성능은 측면에 따라 상당한 차이를 보였습니다. 특히 평가된 모든 구성은 로직 패턴(Logic Patterns)에서 0.0에서 1.3 사이의 평균 개선도를 달성하여 인간 기준(Human Reference) 평균인 1.5에 미치지 못했습니다. 본 연구의 벤치마크와 발견점은 비기능적 개선 측면에서 코딩 에이전트를 평가하고 추가적인 발전이 필요한 NFI 측면을 식별할 수 있는 재현 가능한 기반을 제공합니다.

arXiv:2503.09020v4cs.SE공식 코드 · Papers with Code

품질 인식 선호 학습을 통한 LLM 생성 코드의 비기능적 품질 준수 향상

Enhancing the Non-Functional Quality Compliance of LLM-Generated Code through Quality-Aware Preference Learning

대규모 언어 모델(LLM)은 상용 코드 자동완성 엔진에 널리 채택되어 코딩 효율과 생산성을 크게 높였다. 그러나 기능적으로 올바른 LLM 생성 코드라도 코딩 표준과 모범 사례를 위반하는 비기능적 품질 문제—예를 들어 스타일 불량이나 유지보수성 부족—를 보일 수 있다. 이를 해결하기 위해, 우리는 LLM이 기준을 준수하는 코드를 생성하도록 유도하는 품질 인식 선호 학습 프레임워크를 제안한다. 우리 접근법은 세 단계로 구성된다. 첫째, 각 쌍이 특정 비기능적 품질 이슈를 보이는 코드와 그 이슈를 해결한 수정 버전을 포함하는, 기준 위반·기준 준수 샘플 쌍으로 데이터셋을 구축한다. 둘째, 품질에 민감한 코드 영역을 강조하기 위한 적응형 토큰 가중 메커니즘을 설계한다. 셋째, 순위 손실(ranking loss)과 언어 모델링 손실 및 KL 발산을 결합한 하이브리드 최적화 목표를 도입하여 효과적인 비교 최적화를 가능하게 한다. DeepSeek-Coder와 Qwen2.5-Coder에 대한 광범위한 실험에서, 우리 방법은 기능적 정확성을 유지하면서 목표 비기능적 품질 기준 준수를 크게 개선하였으며, Qwen2.5-Coder에 대해 MBPP-sanitized에서 Quality Reciprocal Score(QRS)가 75.7% 상대 증가를 달성했다. 7B 모델의 미세조정에는 3시간 미만이 필요하여 실용적 타당성이 높음을 보여준다. 절제 연구와 사용자 연구가 제안 프레임워크의 효과를 추가로 뒷받침한다.