arXiv:2610.01108v2 cs.CL

AgSpec: 코딩 에이전트 파이프라인에서 검색 기반 추측 디코딩의 한계 극복

AgSpec: Pushing the Limits of Retrieval-Based Speculative Decoding in Coding Agent Pipelines

Sumin Lee, Sukmin Cho, Seungjae Lim, Youngjin Kwon

제출 2026-10-01

한국어 초록

검색 기반 추측 디코딩(speculative decoding, SD)은 기존 텍스트에서 후속 내용을 복사하여 토큰(token) 초안을 생성하므로, 코드, 로그 및 이전 시도를 반복적으로 재생성하는 코딩 에이전트(agent)에 매우 적합하다. 그러나 기존 방법들은 에이전트 파이프라인에서 한계를 보인다. 재사용 가능한 텍스트의 상당 부분이 말뭉치(corpus)에 누락되어 있거나 에이전트가 출력하는 형태와 다르게 저장되어 있으며, 초안 길이가 에이전트에 따라 수락 길이가 달라지고 턴이 진행됨에 따라 변화한다는 점을 간과한다. 본 논문에서는 기존 검색 엔진이 코딩 에이전트 파이프라인에서 충족하지 못했던 말뭉치 및 초안 길이 정책을 제공하는 프레임워크인 AgSpec을 제안한다. AgSpec은 세션, 작업 공간(workspace) 및 전역 말뭉치에서 검색을 수행하여, 진행 중인 세션 궤적(trajectory)을 보존하고 열린 파일들을 에이전트의 출력 형식에 맞춰 인덱싱한다. 또한 오프라인 프로파일링을 통한 상한값으로 각 에이전트의 초안 길이를 제한하고 검증 피드백을 통해 온라인에서 길이를 적응적으로 조절한다. 두 가지 저장소 수준(repository-level) 다중 에이전트 코딩 벤치마크(benchmark)에서 AgSpec은 대부분의 평가 환경에서 5개의 검색 기반 드래프터 및 EAGLE-3을 능가하며, 자기회귀 디코딩 대비 생성 처리량을 배치(batch) 크기 1에서 최대 4.37$\times$, 배치 크기 16에서 최대 4.76$\times$까지 향상시킨다. 또한 AgSpec은 저장소나 다중 에이전트 파이프라인이 없는 벤치마크에서도 효과를 유지하여, 이러한 성능 향상이 전반적인 코딩 에이전트로 일반화됨을 보여준다.

원문 초록

Retrieval-based speculative decoding (SD) drafts tokens by copying continuations from existing text, which suits coding agents that repeatedly reproduce code, logs, and earlier attempts. Yet existing methods fall short in agent pipelines: much of the reusable text is missing from their corpora or stored in a form that differs from what the agent emits, and their draft lengths ignore that accept length varies across agents and drifts over turns. We present AgSpec, a framework that supplies the corpus and draft-length policies that existing retrieval engines lack in coding-agent pipelines. AgSpec retrieves from session, workspace, and global corpora, retaining the ongoing session trajectory and indexing opened files in the agent's emission format. It bounds each agent's draft length with an offline-profiled cap and adapts the length online from verification feedback. On two repository-level multi-agent coding benchmarks, AgSpec outperforms five retrieval-based drafters and EAGLE-3 in most evaluated settings, raising generation throughput over autoregressive decoding up to 4.37$\times$ at batch size 1 and 4.76$\times$ at batch size 16. AgSpec also remains effective on benchmarks without a repository or a multi-agent pipeline, showing that its gains generalize to coding agents broadly.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01108v2
  2. arXiv:2610.01108v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.