타임아웃 캐스케이드를 이용한 코딩 에이전트의 추론 비용 절감
Reducing Inference Cost of Coding Agents with Timeout Cascades
한국어 초록
AI 코딩 에이전트는 대규모 언어 모델의 가장 인기 있는 응용 중 하나가 되었다. 그러나 에이전트형 AI는 막대한 GPU 연산 자원을 필요로 하며, 이는 수익성과 대규모 운영 가능성을 제한한다. 본 논문에서는 더 작고 저렴한 모델이 정확도를 희생하지 않고 이 비용을 줄일 수 있는지 조사한다. 2024년 이후 공개된 36개의 대형 및 소형 오픈 웨이트 모델을 소프트웨어 엔지니어링 벤치마크에서 평가한 결과, 최근 소형 모델이 대형 모델과의 정확도 격차를 좁히고 있음을 확인하였다. 이 격차의 구조를 조사한 결과, 격차는 소형 언어 모델이 해결하지 못하는 어려운 과제에 크게 집중되어 있으며, 쉬운 과제와 중간 난이도 과제에서는 매우 좋은 정확도를 달성한다. 이 관찰에 따라, 소형 모델을 먼저 시도하고 필요할 때만 대형 모델로 승격하는 하이브리드 추론 전략을 사용하면 정확도를 희생하지 않고 총 GPU 시간 비용을 최대 33%, SWE-bench Verified의 전체 과제에서는 16.4% 절감할 수 있음을 보인다. 놀랍게도 이 단순한 캐스케이드는 오라클 방식의 과제 라우터에 거의 필적하며, 복잡한 학습형 과제 라우터 없이 최소한의 엔지니어링 복잡도로 비용 인식형 코딩 에이전트를 실제 환경에 배포할 수 있는 실용적 경로를 보여 준다.
원문 초록
AI coding agents have become one of the most popular applications of large language models. Yet, agentic AI comes at the cost of a tremendous amount of GPU compute resources, which limits its profitability and its viability at scale. In this paper, we investigate whether smaller, cheaper models can cut this cost without sacrificing accuracy. We evaluate 36 popular large and small open-weight models released since 2024 on a software engineering benchmark, and find that recent small models are closing the accuracy gap compared to their large counterparts. We investigate the structure of this gap and find that the gap is highly concentrated around hard tasks that small language models fail to solve while achieving remarkably good accuracy for easy and medium complexity tasks. Following this observation, we show that by utilizing a hybrid inference strategy that tries a small model first and escalates to a large one only when needed, we can achieve up to 33% reduction in total GPU-hour costs and 16.4% on all tasks from SWE-bench Verified, without sacrificing accuracy. Strikingly, this simple cascade nearly matches an oracle-style task router, highlighting a practical path for deploying cost-aware coding agents in production without complex learned task routers and with minimal engineering complexity.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24324v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.