PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.25396v1cs.CL

혼자서는 통과하지만 함께하면 실패한다: 병렬 LLM 에이전트 개발에서의 의미적 조율 벤치마킹

Passes Alone, Fails Together: Benchmarking Semantic Coordination in Parallel LLM-Agent Development

병렬로 동작하는 코딩 에이전트(agent)는 각자 단독으로는 잘 동작하지만 병합하면 실패하는 패치를 만들어 낼 수 있다. 이는 한 에이전트가 다른 에이전트가 여전히 의존하고 있는 인터페이스나 규칙을 변경할 때 발생한다. 우리는 의미적 조율(semantic coordination)을 평가하는 벤치마크 stale을 사용하여 이러한 실패를 연구한다. 우리의 평가는 각 패치를 단독으로 적용한 경우와 두 패치를 결합한 경우에 동일한 테스트를 실행하며, 패치를 결합했기 때문에 새로 발생한 실패만을 집계한다. 평가에는 세 가지 계층을 사용한다. 인터페이스 변경을 통제한 합성 과제, 병합된 풀 리퀘스트(pull request) 쌍, 그리고 실제 Django 헬퍼를 사용해 구성한 과제이다. 채점 절차를 수정한 후, 마이닝한 417개 Django 쌍에 대한 834회 실행 중 간섭이 나타난 경우는 단 한 건뿐이었다. 12개의 Django 헬퍼를 사용해 구성한 과제에서는 실행의 97%에서 간섭이 발생했다. 동시에 이루어진 변경이 완료되었음을 설명하는 메시지를 제공하자 실행의 82%가 복구되었다. 검토를 거친 풀 리퀘스트에는 해결되지 않은 병렬 변경이 거의 없을 수 있으며, 이는 실제 코드를 사용한 통제된 과제에서 에이전트가 실패하는 경우에도 마찬가지이다. 구성된 과제에서의 실패율은 이러한 문제가 실제로 얼마나 자주 발생하는지를 추정하는 값이 아니다.