PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13395v1cs.SE

ProgramGym: 장기 프로그램 재현 에이전트를 위한 학습 환경 확장

ProgramGym: Scaling Training Environments for Long-Horizon Program Reproduction Agents

코딩 에이전트(coding agent)는 저장소 내의 이슈를 해결하거나 주어진 요구사항 명세서로부터 저장소를 생성하는 것을 넘어, 소프트웨어 엔지니어처럼 처음부터(from scratch) 프로그램을 구축하는 데 점점 더 많이 활용되고 있습니다. 그러나 에이전트가 필요한 요구사항을 직접 파악하고 시스템 설계 방식을 결정하도록 강제하는, 확장 가능하고 검증 가능한 학습(training) 환경은 여전히 부족합니다. 또한 기존 에이전트 워크플로는 구현 전에 참조 프로그램을 탐색하는 장기(long-horizon) 개발 과정을 지속하기 어렵습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 장기 프로그램 재현 에이전트를 위한 확장 가능한 학습 환경 프레임워크이자 Program-Env 및 Program-Agent로 구성된 ProgramGym을 소개합니다. 구체적으로 Program-Env는 런타임 샌드박스 빌드와 블랙박스 테스트 품질을 복구하는 피드백 기반 루프를 통해 저장소로부터 검증 가능한 학습 환경을 구축합니다. 이 새로운 파이프라인을 활용하여 C, C++, Go, Rust에 걸친 1,648개의 학습 환경을 확보했습니다. Program-Agent는 컴파일 검사 및 실패 복구를 위한 리비전 관리와 함께 분석, 구현, 검토의 역할 분리 워크플로를 결합합니다. ProgramBench 실험 결과는 Program-Env와 Program-Agent 모두 프로그램 재현 성능을 향상시킴을 보여줍니다. 이렇게 구축된 환경에서 얻은 궤적으로 미세조정(fine-tuning)을 수행하면 Qwen3.8-27B의 성능이 34.87%에서 42.84%로 향상됩니다. Program-Agent는 베이스 및 SFT 모델의 성능을 각각 55.71%와 56.25%까지 추가로 향상시키며, 두 모델 모두 일부 플래그십 모델을 능가합니다. 처음부터 프로그램을 구축하는 코딩 에이전트에 대한 후속 연구를 지원하기 위해 ProgramGym을 공개할 예정입니다.

arXiv:2606.17454v3cs.AI

에이전트 궤적을 통한 모델 행동 분석

Dissecting model behavior through agent trajectories

AI 에이전트 성능은 단순한 모델링 문제에 그치지 않고 본질적으로 시스템적인 문제입니다. 모델의 고급 역량은 에이전트 하네스(harness)를 통해 구현됩니다. 따라서 모델의 가정과 하네스의 동작 사이의 간극은 모델의 온전한 역량이 에이전트 성능으로 이어지는 것을 쉽게 방해할 수 있습니다. 본 연구에서는 이를 모델이 의도하는 바와 하네스가 실행하는 것 사이(그리고 그 반대)의 불일치를 뜻하는 '의도-실행(intent-execution)' 간극으로 공식화합니다. 우리는 이러한 의도-실행 간극을 최소화하는 것이 도구 및 실행 루프와 같은 하네스 설계의 다른 측면만큼이나 중요하다고 주장합니다. 이러한 하네스-모델 정렬(alignment)의 영향을 보여주기 위해, 우리는 'Simple Strands Agent'(SSA)라는 단순하고 사용자 맞춤 설정이 가능한 하네스를 개발합니다. SSA는 소수의 모델별 선호도뿐만 아니라 다양한 모델 계열(Claude, Gemini, GPT, Grok, Qwen 등) 전반에 걸쳐 일반화되는 공통 패턴의 대부분을 찾는 것을 목표로 합니다. 본 논문의 기여는 두 가지입니다. (i) 널리 사용되는 에이전트 벤치마크(SWE-Pro, SWE-Verified, Terminal-Bench-2, Deep-SWE)에서 다양한 모델 제공사 계열이 보고한 pass@1 성능을 재현하거나 개선합니다. (ii) SSA가 생성한 154k개의 궤적 분석을 바탕으로, 프론티어 모델 전반에서 비교적 균등하게 나타나는 경향이 있는 pass@1 수치 그 너머를 살펴봅니다. 에이전트 궤적을 코드 상태 공간으로 표현함으로써, 해법 거리(solution distance)와 역추적(backtracking)을 계산하여 문제 해결 행동에서 모델 수준의 차이를 관찰합니다. 수정 빈도, 테스트 활동, 상태 전이와 같은 더 세분화된 지표는 개별 모델이 문제 해결의 여러 단계에 걸쳐 노력을 어떻게 배분하는지를 보여줍니다.

arXiv:2606.10662v2cs.MA

공유 컨텍스트를 활용한 탈중앙화 다중 에이전트 시스템

Decentralized Multi-Agent Systems with Shared Context

다중 에이전트 시스템(MAS)은 대규모 언어 모델(LLM) 에이전트를 병렬로 실행하여 장기적인(long-horizon) 과제에서 확장성을 제공할 수 있지만, 기존 설계는 이러한 병렬성의 상당 부분을 에이전트가 다른 에이전트를 기다리거나 동료의 작업을 다시 수행하는 버블(bubble)로 낭비합니다. 이러한 버블은 에이전트 간의 소통 방식에서 기인합니다. 독립적인 에이전트는 아무것도 공유하지 않아 동료가 이미 발견한 것을 재발견하고, 피어 간 소통(peer-communicating)을 하는 에이전트는 동기식 라운드에서 대기하며, 중앙 집중식 오케스트레이션 하에서는 메인 에이전트가 진행 상황이 전달되는 동안 서브에이전트의 작업 완료를 기다리며 블로킹(block)됩니다. 본 논문에서는 메인 에이전트를 공유 컨텍스트 및 작업 큐(task queue)로 대체하여 이러한 버블을 제거하는 기존 에이전트 하네스 기반의 MAS 프레임워크인 탈중앙화 언어 모델(DeLM)을 제안합니다. 에이전트는 비동기식으로 작업을 가져오고, 발견한 내용을 확인하는 즉시 게시하며, 모든 피어의 상태가 전체에 공개된 상태에서 서로의 진행 상황을 기반으로 작업을 발전시키거나 수정합니다. Terminal-Bench 4.0 및 DeepSWE v1.1의 장기 과제와 SWE-bench Verified에서 DeLM은 모든 설정에서 Codex, Claude Code, 이들의 네이티브 서브에이전트, AOrchestra보다 더 정확하고 빠르며, 가장 강력한 기준선(baseline) 대비 정확도를 최대 17.5포인트 향상시키고 기반이 되는 하네스보다 최대 2.49배 빠르게 실행됩니다. 에이전트가 프로그램을 처음부터 다시 구축하는 ProgramBench에서 DeLM은 Claude Code보다 더 빠른 진전을 보이며, 120분 예산 내에서 테스트 통과율을 최대 19.9포인트 더 높게 달성합니다. 코드는 프로젝트 웹사이트인 https://yuzhenmao.github.io/DeLM/ 에서 확인할 수 있습니다.

arXiv:2606.17799v2cs.SE

Position: 코딩 벤치마크는 에이전트 기반 소프트웨어 엔지니어링과 정렬되지 않았다

Position: Coding Benchmarks Are Misaligned with Agentic Software Engineering

코딩 에이전트는 소프트웨어 엔지니어링의 주요 방식이 되었지만, 이를 비교하는 데 사용하는 벤치마크는 에이전트 이전 시대에 설계되었다: 모델, 하네스, 환경을 단일 엔드투엔드 점수로 축약하며, 일반적으로 하나의 기준 해답에 대해 계산되고, 반복을 위한 구성 요소 수준의 신호가 없다. 우리는 현재의 코딩 벤치마크가 에이전트 기반 소프트웨어 엔지니어링과 정렬되지 않았다고 주장한다. 실제로 코딩 에이전트는 모델이 아니라 시스템 하네스—모델, 하네스, 컨텍스트, 환경, 피드백 신호의 복합체—이며, 이 중 어느 하나도 인접한 모델 세대 간의 차이와 비교할 만한 폭으로 벤치마크 점수를 움직일 수 있다. 우리는 세 가지 증상을 논의한다: (i) 벤치마크 점수가 모델과 하네스의 나머지 부분을 혼동함, (ii) 단일 기준 해답에 대한 채점이 동등하게 유효한 대안을 불이익으로 처리함, (iii) 개별 하네스 구성 요소 수준의 신호 부재로 엔드투엔드 시스템 점수를 반복적으로 개선하기 어려움.

arXiv:2607.00990v1cs.SE

SWE-Doctor: Guiding Software Engineering Agents with Runtime Diagnosis from Multi-Faceted Bug Reproduction Tests

버그 재현 테스트(BRT)를 패치 생성 단계에 직접 활용하면 오히려 성능이 저하됨을 예비 연구로 밝히고, 이를 해결하기 위해 이슈의 다양한 동작 요구사항을 반영한 다면적 BRT를 생성한 뒤 실행 결과를 런타임 진단 레코드로 변환해 패치 생성을 안내하는 SWE-Doctor를 제안한다. SWE-Doctor는 SWE-bench Verified에서 평균 75.7%, 더 어려운 SWE-bench Pro에서 59.4%의 이슈 해결률을 달성하며 기존 에이전트 대비 최대 8.9%p 향상된 성능을 보였다.

arXiv:2607.00700v1cs.SE

LLVM-Bench: Benchmarking and Advancing Large Language Models for LLVM Compiler Issue Resolution

LLVM 컴파일러 이슈 자동 해결을 위한 최초의 대규모 벤치마크인 LLVM-Bench(423개 실제 태스크)와 이슈 재현·패치 적용·컴파일러 빌드·테스트 실행을 자동화하는 평가 플랫폼 LLVM-Gym을 구축하여 4개 대규모 언어 모델(LLM) 및 3개 에이전트를 종합 평가한 결과, 현 기법의 해결률이 11% 미만에 그침을 확인하였다. 이를 개선하고자 다양한 기법의 패치를 통합·필터링·선별하는 경량 앙상블 접근법 LLVM-Ens를 제안하여 해결률 최대 21.99%를 달성하였다.

arXiv:2606.28434v1cs.SE

SWE-MeM: Learning Adaptive Memory Management for Long-Horizon Coding Agents

Long-horizon software engineering agents often need to manage lengthy and noisy interaction histories under limited context budgets. Existing memory management methods typically rely on static compression workflows or impose rigid constraints on compression timing and granularity. Moreover, these approaches fail to jointly optimize memory management and issue resolution capabilities to improve performance while reducing token usage. We present SWE-MeM, a training framework for proactive and on-demand memory management in software engineering agents. SWE-MeM provides a flexible memory tool that lets agents decide when, what, and how to compress based on trajectory state, task progress, and remaining context budget. We train agents with synthesized proactive memory-management trajectories and Memory-aware GRPO, which jointly optimizes memory management and issue resolution through memory-aware trajectory splitting and step-level credit assignment. On SWE-Bench Verified, SWE-MeM achieves 43.4% and 60.2% resolve rate with 4B and 30B models, respectively, outperforming existing memory management baselines in both performance and efficiency.

arXiv:2606.18733v1cs.SE

SWE-Future: 미래 지향 소프트웨어 엔지니어링 에이전트를 위한 예측 조건부 데이터 합성

SWE-Future: Forecast-Conditioned Data Synthesis for Future-Oriented Software Engineering Agents

SWE-Future는 $T_0$ 이전 저장소 정보만으로 기능 구현·버그 수정·리팩터링 등 미래 작업 유형을 예측하고, 이후 풀 리퀘스트는 검증에만 쓰며 과거 PR 재현 없이 미래 지향 코딩 작업을 합성하는 예측 조건부 데이터 합성 방법이다. 80개 저장소 소급 검증에서 주요 의미 일치 지표로 58.1% 미래 작업 관련성을 달성했고, 검증된 예측 유형으로 61개 저장소에 걸친 200개 코딩 에이전트 작업 데이터셋을 구축했다.