arXiv:2604.16529 cs.SE

Scaling Test-Time Compute for Agentic Coding

제출 2026-04-16

한국어 초록

테스트 시점 스케일링(test-time scaling)은 대규모 언어 모델을 개선하는 강력한 방법이 되었다. 그러나 기존 방법은 직접 비교, 순위화, 또는 정제가 가능한 짧고 경계가 명확한 출력에 가장 적합하다. 장기 지평(long-horizon) 코딩 에이전트는 이러한 전제를 위반한다. 각 시도는 에이전트가 수행한 행동, 관찰, 오류, 그리고 부분적인 진전을 담은 확장된 궤적을 생성하기 때문이다. 이러한 설정에서 핵심 과제는 더 많은 시도를 생성하는 것이 아니라, 이전 경험을 효과적으로 선택하고 재사용할 수 있는 형태로 표현하는 것이다. 우리는 롤아웃 궤적의 압축된 표현을 기반으로 한 에이전트형 코딩(agentic coding)용 테스트 시점 스케일링 프레임워크를 제안한다. 우리의 프레임워크는 각 롤아웃을 구조화된 요약으로 변환하여, 핵심 가설, 진행 상황, 실패 모드를 보존하는 동시에 신호가 낮은 추적(trace) 세부 정보는 제거한다. 이 표현은 상호 보완적인 두 가지 추론 시점 스케일링 형태를 가능하게 한다. 병렬 스케일링을 위해, 우리는 소규모 그룹 비교를 통해 롤아웃 요약의 집단을 재귀적으로 축소하는 Recursive Tournament Voting(RTV)을 도입한다. 순차 스케일링을 위해서는, 이전 시도로부터 증류된 요약을 조건으로 새로운 롤아웃을 생성하도록 Parallel-Distill-Refine(PDR)을 에이전트 설정에 맞게 조정한다. 우리의 방법은 SWE-Bench Verified와 Terminal-Bench v2.0 전반에서 프런티어 코딩 에이전트의 성능을 일관되게 향상시킨다. 예를 들어, 우리의 방법을 사용하면 Claude-4.5-Opus는 SWE-Bench Verified(mini-SWE-agent)에서 70.9%에서 77.6%로, Terminal-Bench v2.0(Terminus 1)에서 46.9%에서 59.1%로 향상된다. 우리의 결과는 장기 지평 에이전트를 위한 테스트 시점 스케일링이 본질적으로 표현, 선택, 재사용의 문제임을 시사한다.

요약

테스트 시점 스케일링(test-time scaling)은 대규모 언어 모델(LLM)을 향상시키는 강력한 방법이 되었습니다. 하지만 기존 방법은 짧고 경계가 분명한 출력에는 잘 맞는 반면, 장기적인 코드 에이전트(agentic coding)의 긴 실행 궤적에는 잘 적용되지 않습니다. 이 설정에서는 단순히 더 많은 시도를 생성하는 것보다, 이전 경험을 효과적으로 선택하고 재사용할 수 있는 형태로 표현하는 것이 핵심 과제가 됩니다. 저자들은 각 롤아웃(rollout) 궤적을 중요한 가설, 진행 상황, 실패 양상을 보존하는 구조화된 요약으로 변환하는 테스트 시점 스케일링 프레임워크를 제안합니다. 이 표현을 바탕으로 병렬 스케일링(parallel scaling)에서는 Recursive Tournament Voting(RTV)을 통해 소규모 비교를 반복하며 롤아웃 요약의 집단을 점진적으로 좁혀 나갑니다. 순차 스케일링(sequential scaling)에서는 Parallel-Distill-Refine(PDR)을 에이전트 환경에 맞게 확장해, 이전 시도에서 정제된 요약을 조건으로 새로운 롤아웃을 생성합니다. 이 방법은 SWE-Bench Verified와 Terminal-Bench v2.0에서 최신 코드 에이전트의 성능을 일관되게 향상시켰으며, 예를 들어 Claude-4.5-Opus는 SWE-Bench Verified에서 70.9%에서 77.6%로, Terminal-Bench v2.0에서 46.9%에서 59.1%로 개선되었습니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.