PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.30573v1cs.LG

SWE-INTERACT: SWE 벤치마크를 사용자 주도 장기 코딩 세션으로 재구성하기

SWE-INTERACT: Reimagining SWE Benchmarks as User-Driven Long-Horizon Coding Sessions

우리는 멀티턴(multi-turn) 대화형 사용자 주도 소프트웨어 엔지니어링 태스크에서 코딩 에이전트를 평가하기 위한 새로운 테스트베드인 SWE-Interact를 소개한다. 기존의 최신 SWE 벤치마크는 일반적으로 완전한 요구사항을 사전에 제공하고 자율적 구현에 대해 에이전트를 평가한다. 이와 달리, SWE-Interact는 에이전트를 실제적인 개발자 워크플로우에 배치한다. 세심하게 설계된 사용자 시뮬레이터는 모호하거나 불완전한 지시에서 시작하여, 요구사항을 점진적으로 공개하고, 에이전트의 작업 공간을 검토하며, 전체 태스크 목표가 완전히 전달될 때까지 구체적인 피드백, 수정 사항, 새로운 제약 조건을 제공한다. 실제 코딩 에이전트 상호작용에 대한 대규모 연구에 기반한 이 설정은 에이전트가 사용자 의도를 파악하고, 변화하는 요구사항에 적응하며, 자신의 이전 작업을 기반으로 발전할 수 있는지를 검증한다. 최신 모델 및 오픈 가중치(open-weight) 모델 일체를 대상으로 한 실험에서, 단일 턴(single-turn) SWE 태스크에서의 높은 성능이 멀티턴 사용자 주도 워크플로우로 안정적으로 이전되지 않음을 확인했다. 최고 성능 모델이 단일 턴 기준선(baseline) 태스크의 약 50%를 해결하는 반면, 해당하는 SWE-Interact 태스크는 25%만 해결한다. 평가에서 가장 강력한 모델인 Opus 4.8과 GPT 5.5를 포함한 모델들은 모호한 초기 지시에서도 양호한 출발을 보이고, 사용자가 모든 요구사항을 제시할 때까지 지속적으로 수행하며, 요구사항을 더 잘 통합하고 깔끔한 코드를 작성한다. 그러나 이들 모델도 여전히 과도한 에이전트 행동, 요구사항 망각, 기술적 실수로 인한 문제를 겪는다. 성능이 낮은 모델들은 모호한 상황에서 부진한 시작을 보이고, 일찍 포기하며, 지시를 잊거나 무시하고 코드를 더 많이 재작성한다. 전반적으로, SWE-Interact는 최신 모델 개발을 위한 직교적(orthogonal)이고 실세계에 가까운 역량 축, 즉 사용자가 개입된 대화형 목표 발견 및 반복적 개선을 측정한다.