PyTorchKR Papers

최신 논문

총 79편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12463v3cs.AI

코딩 에이전트 기반 모델의 중간 학습을 위한 함수 인식 중간 채우기(FIM)

Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models

코딩 에이전트는 진행 중인 추론에 외부 도구의 반환값을 통합해야 하며, 이 능력은 코드에 대한 표준 좌→우 사전학습(pre-training)에서 전방 방향으로만 드러납니다. 우리는 코딩 에이전트의 행동-관측-지속(action-observation-continuation) 루프가 구조적으로 함수 호출 지점과 동형(isomorphic)이라는 점을 관찰합니다. 호출자(caller)가 인자를 바인딩하고, 피호출자(callee)가 다른 곳에서 계산된 값을 반환하며, 하위 코드가 그 값을 소비합니다. 이러한 조건화(conditioning) 구조는 일반 코드에서 인터넷 규모로 존재합니다. 우리는 함수 인식 중간 채우기(FIM) 중간 학습을 통해 이를 활용합니다. 이는 프로그램 의존성 그래프 분석과 복잡도-추론 가능성(complexity-inferability) 이중 기준을 통해 선택된 함수를 마스킹하는 자기지도(self-supervised) 목적 함수입니다. Qwen2.5-Coder-Instruct(7B/14B)와 Qwen3-8B를 968개 GitHub 저장소에서 수집한 26억 토큰 규모의 오염 제거(decontaminated) 코퍼스로 중간 학습한 뒤, 기존 에이전트형 사후 학습 파이프라인을 적용합니다. 중간 학습은 7B/14B에서 SWE-Bench-Verified를 +2.8/+3.0, Qwen3-8B에서 +3.2 향상시킵니다. SWE-Bench-Lite에서는 동일 모델에서 +3.7/+4.0/+5.4의 향상을 얻습니다. 이 향상은 두 가지 사후 학습 파이프라인(R2E-Gym, SWE-Smith)과 비 Qwen2.5 기반(Qwen3-8B with SWE-Lego)에서도 유지됩니다. 도메인 내 이득을 넘어, 중간 학습은 에이전트형 사후 학습이 그렇지 않으면 비에이전트 코딩(예: LiveCodeBench) 및 비코딩 도구 사용 벤치마크(tau-bench, BFCL)에 가하는 능력 침식을 완화합니다. 중간 학습 코퍼스는 Python 코드만 포함하지만, 함수 호출 귀납적 바이어스(inductive bias)는 사후 학습 후에도 유지되어 일관된 향상을 가져옵니다.

arXiv:2606.17799v2cs.SE

Position: 코딩 벤치마크는 에이전트 기반 소프트웨어 엔지니어링과 정렬되지 않았다

Position: Coding Benchmarks Are Misaligned with Agentic Software Engineering

코딩 에이전트는 소프트웨어 엔지니어링의 주요 방식이 되었지만, 이를 비교하는 데 사용하는 벤치마크는 에이전트 이전 시대에 설계되었다: 모델, 하네스, 환경을 단일 엔드투엔드 점수로 축약하며, 일반적으로 하나의 기준 해답에 대해 계산되고, 반복을 위한 구성 요소 수준의 신호가 없다. 우리는 현재의 코딩 벤치마크가 에이전트 기반 소프트웨어 엔지니어링과 정렬되지 않았다고 주장한다. 실제로 코딩 에이전트는 모델이 아니라 시스템 하네스—모델, 하네스, 컨텍스트, 환경, 피드백 신호의 복합체—이며, 이 중 어느 하나도 인접한 모델 세대 간의 차이와 비교할 만한 폭으로 벤치마크 점수를 움직일 수 있다. 우리는 세 가지 증상을 논의한다: (i) 벤치마크 점수가 모델과 하네스의 나머지 부분을 혼동함, (ii) 단일 기준 해답에 대한 채점이 동등하게 유효한 대안을 불이익으로 처리함, (iii) 개별 하네스 구성 요소 수준의 신호 부재로 엔드투엔드 시스템 점수를 반복적으로 개선하기 어려움.

arXiv:2607.03525v2cs.SE

GameEngineBench: 실제 C++ 런타임 환경에서 코딩 에이전트 평가

GameEngineBench: Evaluating Coding Agents on Real C++ Runtime Environments

게임 엔진은 실시간 시뮬레이션, 렌더링, 물리, 상호작용, 네트워킹, 에셋 파이프라인을 제공하므로, 게임뿐만 아니라 헬스케어, 로보틱스, 건축, 제조 등 다양한 분야의 3D 애플리케이션에서도 높은 가치를 지닌다. 게임 개발은 이러한 시스템이 가장 성숙하고 공개적으로 이용 가능한 분야이기 때문에, 상태 기반(stateful)의 인터랙티브한 실시간 시스템 내에서 C++ 코드를 수정해야 하는 코딩 에이전트(coding agent)를 평가하기 위한 실용적인 테스트베드를 제공한다. 우리는 9개의 실제 게임 저장소를 기반으로 구축된, Unreal Engine 5 프로젝트 내의 범위가 한정된 C++ 구현 태스크에서 코딩 에이전트를 평가하기 위한 벤치마크인 GameEngineBench를 제시한다. 평가 세트는 게임플레이 메커닉, 멀티플레이어 동작, AI 및 월드 오케스트레이션, 애니메이션 및 이동, UI 및 세션 코드, 로딩 동작, 온라인 서비스 통합, 영속성, 데이터 직렬화, XR 동작, 렌더링 지향 플러그인에 걸친 110개의 태스크로 구성된다. 이 태스크들은 실행 가능한 Unreal Engine 프로젝트 내에서 컴파일되고 동작 테스트를 만족하는 네이티브 C++ 변경을 모델이 수행하도록 요구한다. 12개의 평가 구성에서 가장 강력한 모델은 55.5%의 pass@1에 도달하였으며, 31개의 태스크는 모든 구성에서 미해결로 남았다. 우리의 결과는 최전선 코딩 에이전트가 실시간 인터랙티브 소프트웨어를 위한 깊이 통합된 C++ 개발에 여전히 어려움을 겪고 있음을 보여주며, 게임 엔진 벤치마크가 기존 소프트웨어 엔지니어링 평가를 보완하는 가치 있는 수단임을 강조한다.

arXiv:2607.14037v1cs.SE

GitHub 프로젝트의 에이전트 코딩 도구 초기 채택

Early Adoption of Agentic Coding Tools by GitHub Projects

에이전트 코딩 도구는 소프트웨어 프로젝트에 풀 리퀘스트(PRs)를 생성하고 제출하는 능력이 점점 커지고 있으며, 소프트웨어 개발에서 새로운 형태의 인간-에이전트 협업을 도입하고 있다. 기존 연구들은 에이전트가 생성한 기여의 PR 수준 결과를 검토해 왔지만, 프로젝트 수준에서 에이전트 코딩 도구가 어떻게 채택되고 관리되는지에 대해서는 잘 알려져 있지 않다. 본 논문에서는 인기 GitHub 저장소 2,361개의 에이전트 PR 25,264건을 분석하여 (1) 에이전트 코딩 도구의 채택, (2) 프로젝트 수준의 에이전트 PR 생산성, (3) 인간-에이전트 협업 패턴을 조사한다. 결과에 따르면 중앙값 기준 저장소는 3개월 동안 에이전트 PR을 1~2건만 생성하며, 이는 집중적인 채택이 소수의 프로젝트에 집중되어 있음을 나타낸다. 동시에 소규모 프로젝트(기여자 1~5명)는 중대규모 및 대규모 프로젝트보다 더 높은 참여 비율과 평균 수준의 에이전트 PR 활동을 보인다. 또한 프로젝트 수준의 에이전트 PR 생산성에서도 상당한 편차가 관찰된다. 소수의 프로젝트는 3개월 관측 기간 동안 참여자당 36건의 PR이라는 업계 보고 추정치를 초과하지만, 대부분의 프로젝트는 이 임계값 미만에 머문다. 마지막으로, 인간-에이전트 협업은 한 명의 개발자가 에이전트의 기여를 검토하고/또는 수정하는 단일 인간 감독 모델이 지배적이며, 다수 인간 협업 패턴은 드물다. 이러한 발견은 오픈소스 프로젝트가 에이전트 코딩 도구 주변에서 인간 감독을 어떻게 조직하는지에 대한 초기 실증적 증거를 제공하며, 에이전트가 생성한 기여의 성공적인 통합은 에이전트 역량의 발전뿐만 아니라 이를 사용하는 인간 및 조직적 프로세스에도 달려 있음을 시사한다. 본 연구는 에이전트 채택의 초기 스냅샷을 포착하므로, 향후 연구에서는 채택 패턴이 시간에 따라 어떻게 변화하는지 계속 추적해야 한다.

arXiv:2607.13091v1cs.SE

축적된 행동 규칙을 통한 자기 개선 AI 코딩 에이전트: 폐루프 프레임워크

Self-Improving AI Coding Agents Through Accumulated Behavioral Rules: A Closed-Loop Framework

대규모 언어 모델(LLM) 기반 코딩 에이전트는 인간 리뷰 피드백에서 받은 수정 사항을 유지하는 메커니즘이 없기 때문에 세션 간에 동일한 유형의 실수를 반복한다. 우리는 수락된 모든 리뷰 코멘트를 지속적인 행동 규칙으로 구체화하여, 에이전트가 자체적으로 탐지할 수 있는 오류 유형의 집합을 점진적으로 확장하는 폐루프 프레임워크를 제안한다. 이 프레임워크는 버전 관리되는 지시 파일에 축적되는 규칙 집합, 코드 제출 전에 실행되는 자기 검토 체크리스트, 규칙 집합이 성장함에 따라 그 무결성을 보장하는 자동화된 검증을 결합한다. 35개 이상의 서비스로 구성된 마이크로서비스 플랫폼에 배포한 결과, 규칙 집합은 실제 리뷰 피드백에서 파생된 5개에서 18개의 행동 규칙, 15개 이상의 언어별 표준, 15개 항목의 자기 검토 체크리스트로 성장했다. 코드 생성, PR 리뷰, 사고 조사, 교차 서비스 리팩터링에 걸친 11회의 기록된 작업 세션에서 얻은 실증 결과를 제시한다. 축적된 규칙이 리뷰 노력을 저수준 정확성에서 설계 수준의 검증으로 전환시키고, 규칙에 의해 금지된 오류 유형에 대해 측정된 0% 재발률을 달성하며, 이질적인 에이전트 인터페이스 간에 전이된다는 것을 관찰한다. 경험적 LLM 학습(Reflexion, ExpeL, Voyager) 및 자동화된 코드 리뷰(CodeReviewer, SWE-bench agents) 관련 연구와 우리 접근법을 비교하여, 우리 프레임워크가 가중치 업데이트 없이 지속적인 세션 간 학습을 달성하고, 합성 벤치마크가 아닌 프로덕션 코드베이스에서 동작하며, 기존 벤치마크가 측정하지 않는 직교 차원(시간에 따른 행동 일관성)을 다룬다는 것을 보여준다. 그 결과, 단 하나의 모델 가중치도 변경하지 않고 매 리뷰 주기마다 개선되며 인간 협업자들의 엔지니어링 지혜를 축적하는 코딩 에이전트가 된다.

arXiv:2607.13085v1cs.CR

아키텍처보다 먼저 기준선: 자율 침투 테스트를 위한 코딩 에이전트 평가

Baselines Before Architecture: Evaluating Coding Agents for Autonomous Penetration Testing

최근 자율 침투 테스트 논문들은 최첨단 LLM 주변에 다중 구성요소 보안 하네스(harness)를 추가하면서 높은 벤치마크 점수를 보고하고 있다. 이러한 시스템은 종종 아키텍처와 백본 모델을 모두 바꾸기 때문에, 성능이 기저 모델에서 오는 것인지 하네스에서 오는 것인지 구분하기 어렵다. 본 논문은 기본 코딩 CLI 에이전트를 plain-agent 기준선으로 사용하여 104개 태스크 XBOW 벤치마크에 대한 통제된 연구를 제시한다. 먼저 Codex, OpenCode, Pi를 동일한 GPT-5 모델, 예산, 타깃 인터페이스, 채점 규칙으로 실행한다. 이 단계에서 동일 모델 기준선 중 가장 강한 것을 식별하고, 보안 특화 프롬프트 변형이 관측된 점수를 개선하는지 검증한다. 다음으로 기본 Codex 스캐폴드(scaffold)를 가장 가까운 모델 매칭을 따르는 공개된 MAPTA 및 PentestGPT V2 결과와 비교한다. 마지막으로 동일한 스캐폴드 내에서 모델 스케일링(scaling)을 측정하기 위해 GPT-5.2와 GPT-5.5로 plain-agent 실험을 반복한다. 결과는 혼합적이지만 실용적인 그림을 보여준다. 특화 하네스는 측정 가능한 벤치마크 향상을 추가하고 비용 효율성을 개선할 수 있지만, plain 코딩 에이전트도 이미 벤치마크의 상당 부분을 해결한다. 반복된 plain-agent 실행은 union coverage에서 일부 공개 아키텍처 점수와 동등하거나 이를 초과할 수 있으며, 더 새로운 모델은 동일한 스캐폴드를 실질적으로 개선한다. 향후 평가에서는 벤치마크 향상을 아키텍처 설계만으로 귀인하기 전에 모델이 매칭된 plain-agent 기준선을 보고해야 한다.

arXiv:2607.06624v2cs.AI

AgentLens: 코딩 에이전트 평가를 위한 프로덕션 평가 기반 궤적 리뷰

AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation

대화형 코드 에이전트를 위한 프로덕션 평가 기반 벤치마크인 AgentLens를 제시한다. 대부분의 코드 에이전트 벤치마크는 한 번의 실행을 단일 비트로 축소한다—과제가 통과했는가?—하지만 실제로 이러한 에이전트를 사용하는 사람들은 전체 궤적을 경험한다: 에이전트가 지시를 따르는 방식, 도구를 사용하는 방식, 자신의 작업을 검증하는 방식, 실수로부터 회복하는 방식, 그리고 그 과정에서 사용자와 소통하는 방식. AgentLens는 그 전체 궤적을 평가한다. 객관적 검사가 존재하는 형식 검증을 대규모 언어 모델(LLM)이 작성한 궤적 리뷰 및 나란히 비교와 결합하여, 각 실행마다 점수가 그렇게 된 이유에 대한 읽기 쉬운 설명을 제공한다. 이로 인해 AgentLens는 모델 순위 매기기 이상의 용도로 유용하다: 모델 행동을 진단하고, 자체 에이전트의 연속 버전을 비교하며, 야간 평가 파이프라인에서 제품 회귀를 포착하는 데 사용한다. 벤치마크는 https://github.com/agent-lens/agent-lens-bench 에서 오픈 소스로 공개한다.

arXiv:2607.08983v1cs.SE

SCATE: 비용 효율적인 테스트 생성을 위한 코딩 에이전트 감독 학습

SCATE: Learning to Supervise Coding Agents for Cost-Effective Test Generation

자율 코딩 에이전트가 자동화된 테스트 생성을 크게 발전시켰음에도, 이들은 근본적으로 게으른 생성(lazy generation)이라는 현상에 의해 제한된다. 이는 에이전트가 작업을 조기에 종료하고 복잡한 프로그래밍 로직을 체계적으로 회피하여 불충분한 코드 커버리지를 초래하는 현상이다. 현재 이러한 조기 종료를 완화하려면 지속적인 인간-참여(human-in-the-loop) 감독이 필요하다. 인간의 직관에 대한 이러한 과도한 의존은 자동화 생성의 효율성 이점을 상쇄하는 병목 현상을 야기한다. 우리는 테스트 생성 과정에서 인간 개입을 대체하는 코딩 에이전트의 적응형 자동 감독 프레임워크인 SCATE를 제안한다. 감독을 문맥적 밴딧(contextual bandit) 문제로 공식화함으로써, SCATE는 현재 커버리지와 클래스 테스트 가능성 지표를 기반으로 가장 유망한 테스팅 행동을 선택하는 방법을 학습하여, 불필요한 생성 노력을 최소화하면서 커버리지 향상을 극대화한다. 우리의 실증적 평가는 SCATE가 다양한 코딩 에이전트와 원활하게 통합됨을 보여준다. GEMINI-CLI에 적용했을 때, 에이전트 단독 기준선 대비 라인 커버리지 32.3%, 브랜치 커버리지 30.9% 향상을 달성한다. CLAUDE CODE와의 비교는 프레임워크가 각 에이전트의 고유한 강점을 최적화하기 위해 정책을 동적으로 적응시킴을 확인한다. SCATE는 또한 모든 지표에서 최신 비에이전트 방식을 일관되게 능가한다.

arXiv:2607.03968v2cs.SE

채팅에서 거부되고 코드로 작성되다: IDE 코딩 에이전트에서의 워크플로우 수준 탈옥 구성

Refused in Chat, Written in Code: Workflow-Level Jailbreak Construction in IDE Coding Agents

대규모 언어 모델(LLM)은 점점 더 IDE에 통합된 코딩 에이전트로 배포되고 있으며, 이러한 에이전트는 태스크를 분해하고 파일을 생성·편집하며 코드를 실행하고 여러 턴에 걸쳐 출력을 개선한다. 그러나 이들의 안전성은 여전히 챗봇처럼 평가되는 경우가 많다: 유해한 프롬프트 하나와 응답 하나를 독립적으로 판단하는 방식이다. 우리는 워크플로우 수준 탈옥 구성(workflow-level jailbreak construction)을 소개한다. 이는 유해한 목적이 단일 직접 프롬프트를 통해 생성되는 것이 아니라 소프트웨어 개발 워크플로우의 일반적인 단계에 걸쳐 조립되는 실패 모드이다. Visual Studio Code에서 GitHub Copilot을 사용하여 네 가지 비공개 가중치(closed-weight) 백엔드인 Claude Sonnet 4.6, Claude Haiku 4.5, Gemini 3.1 Pro, Gemini 3.5 Flash를 연구하였다. Hammurabi's Code, HarmBench, AdvBench에서 수집한 204개의 프롬프트에 걸쳐, 직접 채팅·CSV 읽기·단일 단계 코드 수정 기준선 조건에서 모델들은 거의 완전한 거부 반응을 보였으며, 각 기준선 조건에서 성공적인 응답은 816개 중 8개에 불과하였다. 그러나 전체 워크플로우 조건에서는 동일한 프롬프트와 백엔드가 816/816개의 안전하지 않은 교시 샷(teaching-shot) 완성을 생성하였으며, 이는 엄격한 루브릭 하에 두 명의 전문가 평가자가 독립적으로 확인하였다. 이러한 결과는 대화형 거부 벤치마크가 배포된 코딩 에이전트의 안전성을 크게 과대평가할 수 있음을 보여주며, 개별 채팅 턴뿐만 아니라 다중 턴 IDE 워크플로우와 그 생성 아티팩트 전반에 걸쳐 안전성을 추론하는 방어 기제의 필요성을 제기한다.

arXiv:2607.02134v2cs.AI

Coding-agents can replicate scientific machine learning papers

코딩 에이전트(coding agent)가 논문 자료만으로 과학적 머신러닝 논문의 계산적 주장을 재현할 수 있도록, 각 주장을 증거와 연결된 타겟으로 관리하는 Paper-replication 워크플로우를 제안한다. 퍼시스턴트 작업 공간과 검증 체크를 통해 에이전트의 최종 메시지가 아닌 워크스페이스 상태로 완료 여부를 판단하며, 4편의 논문에 대한 12회 독립 실행에서 158개의 모든 타겟이 보고서 커버리지와 매칭되었다.

arXiv:2607.07946v1cs.SE

DeepSWE: 독창적이고 장기 목표 공학 과제에서 최첨단 코딩 에이전트 측정

DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks

DeepSWE는 기존 SWE-bench 계열 벤치마크의 사전학습 데이터 오염과 상속된 테스트의 채점 신뢰성 문제를 해결하기 위해, 91개 오픈소스 저장소에서 직접 작성한 113개의 장기 소프트웨어 공학 과제를 제공하는 코딩 에이전트 평가 벤치마크다. 수작업으로 제작된 기능 검증기를 사용해 LLM 심판과의 불일치율을 SWE-Bench Pro 대비 약 10배 낮추면서(1.4% 대 32.4%), 최첨단 에이전트 간 성능 차이를 더 넓은 점수 범위로 구분한다.

arXiv:2607.07980v1cs.SE

AI 시대의 코드 리뷰에 관한 3,100개의 의견: 실무자 담론으로부터 인과 이론 구축

3100 Opinions on Code Review in an AI World: Building Causal Theory from Practitioner Discourse

코딩 에이전트가 이제 풀 리퀘스트 전체를 작성하게 되면서, 이것이 코드 리뷰에 미치는 영향에 대해 실무자들의 의견이 첨예하게 갈린다. 코드 리뷰가 병목 지점이 되는지, 인간의 리뷰가 여전히 필요한지, 그리고 코드 리뷰가 한때 쌓아주던 이해력을 조용히 잠식하는지에 대한 논쟁이다. 저장소 마이닝 연구는 표면적 트렌드를 측정하지만 그 이면의 메커니즘을 거의 설명하지 못하며, 트렌드 자체도 불안정한 것으로 나타난다. 동기 부여 목적으로 수행한 공개 GitHub 활동 관찰 분석에 따르면, 에이전트가 작성한 풀 리퀘스트는 인간이 작성한 것보다 리뷰 빈도가 낮고, 수 배 빠르게 병합되며, 논의도 적다. 그러나 이러한 트렌드의 방향은 동등하게 타당한 다른 분석 선택에 따라 반전되므로, 이 흔적들은 무엇이 변하고 있는지는 보여주되 왜 그런지는 설명하지 못한다. 메커니즘을 규명하기 위해, 우리는 실무자 담론을 대규모로 종합하여 설명적 이론을 구축한다. 구체적으로 38,709개의 회색 문헌(엔지니어링 블로그와 Reddit 스레드)을 수집하고, 코드 리뷰에 실질적으로 관련된 문서를 필터링한 후, 대규모 언어 모델(LLM) 보조 파이프라인으로 층화 무작위 표본 3,100개를 코딩하여, 26개의 구성 개념과 67개의 관계(지향 관계 64개, 경합 관계 3개)로 이루어진 인과 모델을 구축한다. 이 이론의 핵심 주장은 리뷰가 코딩 에이전트의 소프트웨어에 대한 효과가 결정되는 제어 지점이며, AI는 그 효과의 방향을 고정하지 않는다는 것이다. 방향을 결정하는 것은 팀이며, 구성원 인간의 전문성과 리뷰 프로세스를 구조화하는 방식에 달려 있다. 이 이론은 경쟁하는 입장들을 명시적으로 드러내고, "AI가 코드 리뷰를 변화시키고 있다"는 명제를 명명된 구성 개념과 조절 변수를 갖춘 반증 가능한 명제로 전환한다. 부차적 기여로서, 우리는 소프트웨어 공학 연구를 위한 확장 가능한 템플릿으로서 LLM 보조 회색 문헌 이론 구축 방법과 공개 구현체를 제공한다.

arXiv:2607.02514v2cs.AI

Distributed Attacks in Persistent-State AI Control

자율적으로 코드를 반복 배포하는 AI 코딩 에이전트의 지속 상태(persistent state) 환경에서 공격자가 여러 PR에 걸쳐 악성 행동을 분산시키는 "점진적 공격(gradual attack)" 전략을 분석하는 Iterative VibeCoding 벤치마크를 제안하며, 단일 모니터로는 점진적·비점진적 공격 모두를 막을 수 없음을 보인다. 상태 추적 링크-트래커(link-tracker) 모니터와 4개 모니터 앙상블을 결합하면 점진적 공격 회피율을 93%에서 47%로 낮출 수 있으나, 최첨단 모니터 모델을 사용해도 여전히 높은 회피율이 유지됨을 확인했다.

arXiv:2606.22504v1cs.CR

잔류 권한: 코딩 에이전트를 위한 취소 가능한 자원 및 효과 역량

Lingering Authority: Revocable Resource-and-Effect Capabilities for Coding Agents

코딩 에이전트가 하위 목표에만 필요한 자원 권한을 태스크 전체에 걸쳐 불필요하게 유지하는 "잔류 권한(lingering authority)" 문제를 다루며, 참조 모니터 PORTICO를 통해 요청-허가-호출 생명주기 기반의 취소 가능한 역량 관리 메커니즘을 제안한다. 실험 결과 PORTICO는 클로저 이후 금지된 효과의 재사용 시도를 10/10 차단하고 금지 효과 실행을 0/6으로 기록한 반면, 비취소 비교기는 각각 10/10 허용 및 6/6 실행을 허용했다.

arXiv:2607.02931v1cs.AI

VERITAS: 과학 연구를 위한 범용 복제 도구를 향하여

VERITAS: Towards a General-Purpose Replication Tool for Scientific Research

AI 도구들이 과학 논문 출판을 가속화하는 반면, 이를 검토하는 시스템들은 속도를 따라가기 어려워지고 있으며, 발표된 연구의 독립적 검증은 더 어렵고 동시에 더 중요해지고 있다. 수동 복제(replication)는 느리고 비용이 많이 들기 때문에, 점점 더 많은 연구들이 코딩 에이전트를 활용하여 이 과정의 일부를 자동화하고 있다. 기존의 노력들은 대부분 자체 파이프라인 내에서만 실행되는 동반 에이전트를 포함한 벤치마크 형태로 패키징되어 있으며, 범용 복제 도구는 존재하지 않는다. 우리는 CLI 코딩 에이전트를 기반으로 구축된 도메인-비종속 복제 프레임워크인 VERITAS를 제시한다. 논문, 코드 저장소, 또는 둘 모두가 주어지면, VERITAS는 논문의 주장을 추출하고, 문제가 발생할 때마다 이를 해결하면서 방법론을 실행하며, 실험 실행 결과에 근거하여 각 주장을 판단한다. 파이프라인은 중요도 가중 복제 점수(Replication Score), 적용된 모든 수정 사항의 심각도 평가 로그, 그리고 수정된 코드베이스를 반환한다. 우리는 컴퓨터 과학, 사회과학, 의학, 천체물리학에 걸친 65편의 논문으로 구성된 CORE-Bench와 ReplicationBench에서 VERITAS를 평가한다. 동일한 모델(model)과 호스트 환경(environment)에서의 두 가지 강력한 Claude Code 기준선(baseline)과 비교했을 때, VERITAS는 최첨단 성능을 달성하며 두 벤치마크의 모든 지표에서 선두를 차지한다.

arXiv:2607.02911v1cs.SE

CoACT: 코딩 에이전트를 위한 액션 보존 관측 압축

CoACT: Action-Preserving Observation Compression for Coding Agents

대규모 언어 모델(LLM) 기반 코딩 에이전트는 개발 환경과의 반복적인 상호작용을 통해 소프트웨어 엔지니어링 작업을 수행하는데, 이 과정에서 반환된 관측(observation)이 컨텍스트에 누적되어 추론 비용의 주요 원인이 된다. 관측 압축은 관측을 컨텍스트에 추가하기 전에 단축함으로써 이 비용을 줄인다. 그러나 기존 방법들은 압축이 에이전트의 후속 행동에 미치는 영향을 명시적으로 모델링하지 않기 때문에 효율성과 효과성 간의 균형이 여전히 만족스럽지 않다. 본 논문은 코딩 에이전트를 위한 액션 보존 관측 압축 방법인 CoACT를 제안한다. CoACT는 다음 액션 보존(NAP, next-action preservation)을 기반으로 구축되며, NAP는 압축된 관측이 원본 관측과 동일한 다음 액션을 유도할 것을 요구한다. 에이전트의 즉각적인 다음 액션을 확인함으로써, NAP는 압축이 지속적인 작업 수행에 필요한 정보를 보존하는지 여부에 대한 실용적인 신호를 제공한다. 학습 과정에서 교사 모델은 먼저 각 관측의 다중 압축 후보를 생성한다. CoACT는 이후 NAP에 기반한 액션 보존 보상을 사용하여 에이전트의 다음 액션을 변경시킬 후보를 필터링하고, 길이 감소 보상을 사용하여 경량 압축기의 지도 학습을 위한 간결한 후보를 선택한다. 세 가지 에이전트 모델을 사용한 SWE-bench Verified 실험에서 CoACT는 평균 총 토큰 소비를 33.0% 감소시키면서 비압축 에이전트에 근접한 작업 수행 효과를 유지함을 보인다.

arXiv:2607.02807v1cs.AI

SwarmResearch: 개방형 발견을 위한 코딩 에이전트 오케스트레이션

SwarmResearch: Orchestrating Coding Agents for Open-Ended Discovery

autoresearch와 같은 장기 실행 코딩 에이전트는 개방형 문제에 대한 최적화를 지속적으로 발견할 수 있다. 그러나 이러한 에이전트는 단일 고수준 접근법으로 수렴하는 경향이 있으며, 이후 저수준 수정을 진행하면서 문제에 대한 다른 우월한 접근법을 놓친다. 우리는 두 가지 하네스 수준의 설계 선택이 이러한 행동에 기여한다고 가설을 세운다: 단일 장기 실행 에이전트에 컨텍스트를 누적하는 것과 수정 가능한 단일 프로그램 상태만을 노출하는 것이다. 우리는 SwarmResearch를 소개한다. 이는 Shepherd 에이전트가 전역 컨텍스트를 활용하여 각각 자신의 git 브랜치에서 로컬 컨텍스트로 동작하는 Search 에이전트 집단을 이끄는 오케스트레이터-서브에이전트 하네스이다. 개방형 최적화 태스크에서 SwarmResearch는 고수준 탐험을 통해 15개 태스크 중 13개에서 최신 대규모 언어 모델(LLM) 가이드 진화 및 다중 에이전트 기법과 비교하여 더 나은 혹은 동등한 솔루션을 발견한다. 직렬 및 병렬 에이전트의 고정 스케일링과 비교하여, SwarmResearch의 오케스트레이터 가이드 스케일링은 다양한 탐색 깊이에서 병렬성을 조정함으로써 더 우수한 성능의 솔루션을 발견한다.

arXiv:2607.02389v1cs.AI

Steerability via constraints: a substrate for scalable oversight of coding agents

Coding agents are capable; human oversight is the bottleneck. Unconstrained agents introduce security risks, erode codebase scalability, and make human review increasingly costly. We argue that the same methods used for decades to manage large human engineering teams: access control, network policies, strict coding conventions enforced by tooling; transfer directly to coding agents, and are cheaper (in token) than recent agentic scaffolding. We sketch a start-to-end system on this principle, and report a controlled experiment in scalable oversight: a small reviewer (Gemma 4 e4b) inspects a Python codebase containing 11 inserted backdoors. Recall rises from 54.5% (unconstrained, no tools) to 90.9% (constrained substrate plus a ~200-LoC `docs` CLI), with substrate and tools contributing independently. We choose Python deliberately: substrate-level oversight gains are largest where the language gives the fewest guarantees by default; the principles extend to languages like Rust.

arXiv:2607.01211v1cs.SE

Are Performance-Optimization Benchmarks Reliably Measuring Coding Agents?

GSO, SWE-Perf, SWE-fficiency 등 코드 에이전트의 성능 최적화 능력을 평가하는 리포지토리 수준 벤치마크들이 실제로 신뢰할 수 있는 측정 도구인지 감사한 연구로, 740개 태스크를 4종 Google Cloud 머신에서 재실행한 결과 참조 패치의 교차 머신 유효성이 현저히 낮고(GSO 39/102, SWE-Perf 11/140), 채점 규칙에 따라 리더보드 순위가 크게 달라짐을 밝혔다. 또한 공개된 10개 제출물 기준으로 재실행 유효 태스크의 85.3%는 이미 적어도 하나의 제출물이 참조 패치 수준에 도달해 있어, 집계 순위만으로는 에이전트의 실질적 진보를 정확히 파악할 수 없음을 보인다.

arXiv:2606.30560v1cs.LG

TraceLab: LLM 서빙을 위한 코딩 에이전트 워크로드 특성 분석

TraceLab: Characterizing Coding Agent Workloads for LLM Serving

Claude Code와 Codex의 실제 일상 사용에서 수집한 약 4,300개 세션, 35만 LLM 스텝, 43만 툴 호출 규모의 코딩 에이전트 워크로드 트레이스(TraceLab)를 공개하며, 긴 자율 루프, 짧은 출력을 동반한 긴 컨텍스트, 두꺼운 꼬리 분포의 툴 호출, 높지만 불완전한 프리픽스 캐시 히트율 등의 특성을 분석했다. 이를 통해 낮은 오버헤드의 툴 호출, append 길이 인식 기반 프리필, 의미 인식 기반 툴 지연 예측, 개선된 KV 캐시 관리 등 LLM 서빙 최적화를 위한 구체적 방향을 제시한다.