풀 리퀘스트 이전: 다중 에이전트 조정(Multi-Agent Coordination) 마이닝
Before the Pull Request: Mining Multi-Agent Coordination
한국어 초록
자율 코딩 에이전트는 현재 수백만 개의 풀 리퀘스트(PR)를 생성하지만, 대규모 연구에 따르면 이들의 PR은 더 빨리 생성되지만 수락율은 낮습니다. 이는 풀 리퀘스트 수준의 텔레메트리로는 설명할 수 없는 조정 및 신뢰의 격차입니다. 우리는 누락된 신호가 PR 이전, 즉 동시 실행 에이전트가 공유 작업을 선점하고, 분할하며, 충돌하는 방식에 존재한다고 주장합니다. 우리는 중앙 서버가 필요 없고 기록을 git 자체 내부에 저장하는 오픈 소스 조정 기반인 grite를 통해 이 과정을 연구합니다. 따라서 추가 전용, 서명된 이벤트 로그가 조정 과정을 직접 포착합니다. 우리는 (i) 이 공유 기반이 제한된 오버헤드로 중복 및 충돌 작업을 줄인다는 것을 보여줍니다. 팀원의 작업을 단순히 재수행하는 작업의 비중은 78%에서 0%로 감소하는 반면, 유용한 처리량은 3배 이상 증가합니다. (ii) 파일 기반 추적기가 동시 쓰기를 손실하는 반면, 모든 에이전트의 로그 사본은 쓰기가 조용히 누락되지 않고 동일한 상태로 수렴합니다. 그리고 (iii) 로그는 출처(provenance)와 함께 구체적인 실패 모드(충돌하는 편집, 락 기아, 중복 재발견, 닫기 경쟁)를 자동으로 복원할 수 있는 마이닝 가능한 아티팩트로, 이 중 다수는 풀 리퀘스트 기록에서는 보이지 않습니다. 우리는 데이터셋, 하네스(harness), 마이닝 툴킷을 공개합니다.
원문 초록
Autonomous coding agents now open millions of pull requests, yet large-scale studies find their PRs are produced faster but accepted less often - a coordination and trust gap that pull-request-level telemetry cannot explain. We argue the missing signal lives before the PR, in how concurrent agents claim, divide, and collide over shared work. We study this process through grite, our open-source coordination substrate that needs no central server and stores its records inside git itself, so its append-only, signed event log captures the coordination process directly. We show that (i) this shared substrate reduces duplicate and conflicting work at bounded overhead - the share of work that merely re-does a teammate's task falls from 78% to 0% while useful throughput more than triples; (ii) every agent's copy of the log converges to the same state with no write silently dropped, where a file-based tracker loses concurrent writes; and (iii) the log is a mineable artefact from which concrete failure modes - conflicting edits, lock starvation, redundant rediscovery, race-to-close - are automatically recoverable with provenance, several invisible in pull-request history. We release the dataset, harness, and mining toolkit.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19616v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Proof-or-Stop: 에이전트를 믿지 말고 증거를 믿어라 -- 검증 가능한 증거 게이트 라이프사이클 제어를 위한 루프 엔지니어링
Proof-or-Stop: Don't Trust the Agent, Trust the Evidence -- Loop Engineering for Verifiable Evidence-Gated Lifecycle Control
자율 코딩 에이전트가 점점 더 다단계 소프트웨어 작업을 수행하고 있지만, reviewed, tested, DONE, ready-to-merge와 같은 라이프사이클 상태는 최신 증거로 뒷받침되지 않는 한 주장에 불과하다. 우리는 Proof-or-Stop Lifecycle Control을 제안한다. 이 방법은 신선하고 추적 가능한 소스 상태에 결합된 기계적으로 검증 가능한 증거가 관련 게이트를 충족할 때만 라이프사이클 전환을 허용한다. 이 방법은 에이전트 출력을 라이프사이클 상태가 아닌 주장으로 취급하며, proof를 운영적으로는 명시된 신뢰 모델 하에서 게이트 허용 증거를 의미하는 것으로 사용한다(의미론적 프로그램 정확성이 아님). 오픈소스 구현을 메커니즘 테스트, 통계적 검정력을 갖춘 제어 정책 ablation, 운영된 자기 적용(self-application) 증거를 통해 평가한다. 무인 루프 엔진은 10개 시나리오 모두를 통과했으며 false-DONE은 0건이었다. 로컬 키 영수증 번들은 18개 변조 클래스를 거부했으며 false accept는 0건이었다. 9,240셀 ablation에서 사전 등록된 A4 대 A2-prime 비교는 연산 예산 기반 naive loop 하에서 주입된 1,800셀 중 31건이었던 visible-pass/hidden-fail 증폭을 gated loop 하에서는 1,800셀 중 2건으로 줄였다. 이는 not-amplified rate에서 1.6 percentage point 개선이며 95% 신뢰구간은 [0.8, 2.5]이다. 거의 동일한 연산량의 A3 대 A4 비교(1,800 중 14건 대 1,800 중 2건)는 이득이 단순히 리뷰어를 추가하는 것이 아니라 review를 라이프사이클 게이트로 강제하는 것과 연관됨을 시사한다. 자기 적용 코퍼스에는 565개 스토리와 1,007개 리뷰 발견이 포함되며 94.8%가 해결되었고, 68행의 high/critical cross-vendor exhibit가 있다. 이러한 결과는 Proof-or-Stop이 라이프사이클이 어떤 자율 에이전트 주장에 행동할 수 있는지를 결정하는 모델 불문·호스트 중립적 제어 층으로서 타당함을 뒷받침한다. 평가는 하나의 모델 계열, 24개 ablation 태스크, 자체 호스팅 코퍼스로 제한된다.
EvoClawBench: 에이전트는 자신의 실행 이력에서 재사용 가능한 스킬을 학습할 수 있는가?
EvoClawBench: Can Agents Learn Reusable Skills from Their Own Runs?
기존 에이전트 벤치마크는 주로 태스크 완료, 도구 사용, 또는 스킬 유용성을 테스트하지만, 런타임이 자신의 실행 이력에서 얻은 증거를 재사용 가능한 스킬로 변환하여 작성 오버헤드 이후 새로운 실행을 개선할 수 있는지는 독립적으로 평가하지 않는다. 우리는 반복적이고 픽스처(fixture) 기반 태스크에서의 이 폐쇄 루프(closed-loop) 스킬 학습 문제를 위한 벤치마크인 EvoClawBench를 소개한다. EvoClawBench는 스킬 없이 직접 실행하는 방식, 실행 전 PreSkill을 작성하는 방식, 그리고 첫 번째 실행 증거로부터 PostSkill을 요약한 뒤 새로운 두 번째 실행을 수행하는 방식을 비교한다. 이 스위트는 코딩, 데이터, 오피스, 보안, 운영, 도메인 문서 워크플로우에 걸친 100개의 태스크와 502개의 하위 문제를 포함하며, 여러 에이전트 런타임을 지원한다. 로컬 실행 환경에서 OpenClaw와 nanobot을 이용한 실험 결과, 직접 실행의 기준선 성능은 런타임에 크게 의존하는 것으로 나타났다: OpenClaw는 모든 모델에서 20% 미만을 유지하는 반면, nanobot은 56.45%에서 96.13% 범위를 보인다. 자체 작성 스킬은 혼재된 효과를 나타낸다. nanobot GPT-5.4는 모든 모드에서 96% 이상을 유지하고 MiniMax-M2.7은 PostSkill에서 90.97%에서 94.50%로 향상되지만, nanobot DeepSeek-V4-Pro는 PreSkill에서 77.77%에서 4.80%로, PostSkill에서는 0.99%로 급락한다. OpenClaw도 유사한 비단조적(non-monotonic) 동작을 보이며, 일부 스킬 실행은 기준선에 근접하는 반면 다른 것들은 성능이 붕괴된다. 이러한 결과는 에이전트 자신의 실행 이력으로부터 재사용 가능한 스킬을 학습하는 것이 에이전트 루프에 스킬 작성을 추가함으로써 자동적으로 얻어지는 이점이 아니라, 선택적이고 비용에 민감한 과정임을 나타낸다.
Proxy OPD: On-Policy Distillation with Transferable Relative Proxy Update for Large Language Models
Code-Anchored Review Feedback Improves Correctness and Lowers Hosted Editing Cost on Large R Files
GameReplica: 비전-언어 에이전트를 위한 블랙박스 시각적 게임 복제 벤치마크
GameReplica: A Benchmark for Black-Box Visual Game Replication by Vision-Language Agents
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.