arXiv:2606.11447v1 cs.CL

AI 코딩 에이전트는 사회과학 연구 결과를 재현할 수 있다

AI Coding Agents Can Reproduce Social Science Findings

Meysam Alizadeh, Mohsen Mosleh, Fabrizio Gilardi, Atoosa Kasirzadeh, Joshua Tucker

제출 2026-06-09

한국어 초록

최근의 일화적인 증거는 AI 코딩 에이전트가 원본 데이터와 코드가 주어지면 발표된 연구 결과를 재현할 수 있음을 시사하지만, 사회과학 전반에 걸친 체계적인 평가는 여전히 제한적입니다. 기존 평가 벤치마크는 규모가 작거나, 올바르게 실행되지 않는 코드와 같은 재현 자료 자체의 문제로 인해 에이전트 성능을 왜곡하는 등 부족한 점이 있습니다. 이에 본 연구에서는 SocSci-Repro-Bench를 소개합니다. 이 벤치마크는 4개 학문 분야와 13개 실질적 영역에 걸친 221개 작업으로 구성되어 있으며, 사용 가능한 자료로 결과가 완전히 재현 가능한 연구나 데이터 누락으로 인해 재현 불가능함이 명백한 연구를 바탕으로 구축되어 에이전트의 재현 능력을 분리하여 측정할 수 있게 합니다. 두 가지 최첨단 코딩 에이전트인 Claude Code와 Codex를 평가한 결과, 두 에이전트 모두 상당 부분의 사회과학 연구 결과를 재현할 수 있음을 확인했으며, Claude Code가 Codex보다 현저히 더 우수한 성능을 보였습니다. 이러한 재현율은 유사한 재현 가능성 벤치마크에서 일반적인 대규모 언어 모델(LLM) 기반 에이전트에 대해 이전에 보고된 수치를 상당히 초과합니다. 두 에이전트 모두 근본적인 연구 질문 식별이 필요한 추론 작업에서도 강력한 성능을 보였으며, 추가 분석 결과 이러한 결과가 주로 암기에 의해 주도되는 것은 아님을 시사합니다. 재현 자료와 함께 원본 논문 PDF를 제공하면 성능이 다소 향상되지만, 재현이 불가능한 작업에서는 바이어스(bias)가 발생합니다. 또한, 에이전트가 미묘한 프롬프트 프레이밍(prompt framing)을 통해 확인적 사양 검색(confirmatory specification search) 쪽으로 유도될 수 있음을 보여줍니다. 종합적으로 이러한 발견은 최소한 일부 최첨단 코딩 에이전트가 계산 워크플로우의 신뢰할 수 있는 실행자로 기능할 수 있음을 시사하며, AI 시스템이 과학적 생산에서 더 큰 역할을 담당하게 됨에 따라 신중한 벤치마킹과 프롬프트 설계의 필요성을 강조합니다.

원문 초록

Recent anecdotal evidence suggests that AI coding agents can reproduce published findings when provided with original data and code; yet systematic evaluation across social sciences remains limited. Existing evaluation benchmarks are insufficient, either small or conflate agent performance with problems in the reproduction materials themselves, such as code that fails to execute correctly. Here we introduce SocSci-Repro-Bench, a benchmark of 221 tasks spanning four disciplines and 13 substantive domains, constructed from studies whose results are either fully reproducible with available materials or demonstrably non-reproducible due to missing data, allowing us to isolate agents' reproduction capacity. Evaluating two frontier coding agents, Claude Code and Codex, we find that both can reproduce a large share of social science findings, with Claude Code substantially outperforming Codex. These reproduction rates considerably exceed those previously reported for general-purpose LLM-based agents on comparable reproducibility benchmarks. Both agents also perform strongly on a reasoning task requiring identification of underlying research questions, and additional analyses suggest that results are not primarily driven by memorization. Providing the original paper PDF alongside replication materials modestly improves performance but introduces bias on tasks where reproduction is impossible. We also show that agents can be nudged toward confirmatory specification search through subtle prompt framing. Together, these findings suggest that at least some frontier coding agents can serve as reliable executors of computational workflows while underscoring the need for careful benchmarking and prompt design as AI systems assume larger roles in scientific production.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.11447v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13361v1cs.SE공통 태그 Benchmarking, Code Generation, coding agents

AgentSWE: 코딩 에이전트는 사용자가 실제로 원하는 에이전트를 구축할 수 있는가?

AgentSWE: Can Coding Agents Build the Agent You Actually Want?

소프트웨어 제작이 소프트웨어 자체의 손에 맡겨짐에 따라, 코딩 에이전트(coding agent)가 사용자의 자체 워크플로에 맞춤화된 에이전트를 구축하도록 위임받는 사례가 점차 늘어나고 있습니다. 이러한 위임에는 제공된 에이전트가 단지 그렇게 보이는 것에 그치지 않고, 구축 목적이었던 요구사항을 충실히 수행할 것이라는 암묵적인 가정이 깔려 있습니다. 그러나 기존의 어떤 벤치마크도 이 가정을 검증하지 않습니다. 본 논문에서는 자연어 요구사항으로부터 완전한 에이전트를 제작하는 생성(Creation), 프로덕션 에이전트 코드베이스의 수정(Editing), 측정 가능한 목표를 향한 최적화(Optimization)라는 에이전트 개발 수명 주기의 3단계를 아우르는 에이전트 소프트웨어 엔지니어링 벤치마크인 AgentSWE를 소개합니다. 25개의 각 태스크는 시험이라기보다는 의뢰의 형태로 구성됩니다. 즉, 빌더는 소수의 예시 케이스를 바탕으로 반복 개선하고, 인수 평가 단계에서는 엄격한 통과/실패 기준을 적용한 요구사항 기반 루브릭에 따라(최적화의 경우 원본 벤치마크 자체의 목표에 따라) 고정된 제출물을 전체 요구사항을 포괄하도록 설계된 홀드아웃(held-out) 케이스에서 실행하여 동작을 채점합니다. 다양한 모델과 하네스에 걸쳐 여러 코딩 에이전트를 평가한 결과, 요구사항이 요구하는 바를 제대로 제공하는 에이전트는 전무했습니다. 빌더가 시연하는 모습과 실제로 제공하는 결과물 사이의 격차는 예외적인 경우가 아니라 일반적인 현상이었습니다. 실패 궤적에 대한 실증적 분석을 통해 확인된 반복적인 실패 모드로는 가시적인 케이스에 대한 과적합, 완성된 것처럼 보이는 코드 이면의 빈껍데기 런타임, 근거 없는 완료 주장 등이 있었으며, 이는 코딩 에이전트가 요청받은 에이전트를 구축하는 방법을 학습할 수 있는 각각의 신호가 됩니다.

arXiv:2610.13395v1cs.SE공통 태그 Benchmarking, Code Generation, coding agents

ProgramGym: 장기 프로그램 재현 에이전트를 위한 학습 환경 확장

ProgramGym: Scaling Training Environments for Long-Horizon Program Reproduction Agents

코딩 에이전트(coding agent)는 저장소 내의 이슈를 해결하거나 주어진 요구사항 명세서로부터 저장소를 생성하는 것을 넘어, 소프트웨어 엔지니어처럼 처음부터(from scratch) 프로그램을 구축하는 데 점점 더 많이 활용되고 있습니다. 그러나 에이전트가 필요한 요구사항을 직접 파악하고 시스템 설계 방식을 결정하도록 강제하는, 확장 가능하고 검증 가능한 학습(training) 환경은 여전히 부족합니다. 또한 기존 에이전트 워크플로는 구현 전에 참조 프로그램을 탐색하는 장기(long-horizon) 개발 과정을 지속하기 어렵습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 장기 프로그램 재현 에이전트를 위한 확장 가능한 학습 환경 프레임워크이자 Program-Env 및 Program-Agent로 구성된 ProgramGym을 소개합니다. 구체적으로 Program-Env는 런타임 샌드박스 빌드와 블랙박스 테스트 품질을 복구하는 피드백 기반 루프를 통해 저장소로부터 검증 가능한 학습 환경을 구축합니다. 이 새로운 파이프라인을 활용하여 C, C++, Go, Rust에 걸친 1,648개의 학습 환경을 확보했습니다. Program-Agent는 컴파일 검사 및 실패 복구를 위한 리비전 관리와 함께 분석, 구현, 검토의 역할 분리 워크플로를 결합합니다. ProgramBench 실험 결과는 Program-Env와 Program-Agent 모두 프로그램 재현 성능을 향상시킴을 보여줍니다. 이렇게 구축된 환경에서 얻은 궤적으로 미세조정(fine-tuning)을 수행하면 Qwen3.8-27B의 성능이 34.87%에서 42.84%로 향상됩니다. Program-Agent는 베이스 및 SFT 모델의 성능을 각각 55.71%와 56.25%까지 추가로 향상시키며, 두 모델 모두 일부 플래그십 모델을 능가합니다. 처음부터 프로그램을 구축하는 코딩 에이전트에 대한 후속 연구를 지원하기 위해 ProgramGym을 공개할 예정입니다.

arXiv:2610.10610v1cs.SE공통 태그 Benchmarking, Code Generation, coding agents

코드 이해는 코딩 에이전트의 병목 현상이다

Code Understanding is a Bottleneck for Coding Agents

코딩 에이전트(coding agent)를 위한 저장소 벤치마크(예: SWE-bench)는 편집된 코드 라인 수가 작업 난이도를 예측할 수 있다고 가정하는 경우가 많지만, 이러한 데이터셋은 코드와 작업 유형에 대한 통제가 미흡하여 어떤 능력이 실제로 에이전트 오류를 유발하는지 파악하기 어렵게 만듭니다. 우리는 엄격한 에이전트 평가를 위한 코딩 능력 청사진인 CABRA(Coding Ability Blueprint for Rigorous Agent evaluation)를 제시합니다. CABRA는 작업을 호출 그래프(call graph) 변환 형태로 처음부터 구축하며, 함수 순회, 검색, 런타임 해석, 인스트럭션 추종의 네 가지 축에서 작업 크기 매개변수를 통해 난이도를 조절합니다. 우리는 6,840개의 CABRA 작업에서 8개의 대규모 언어 모델(LLM)과 6개의 코딩 에이전트를 실행하여 다음을 입증합니다. 1) 작업 크기가 커질수록 LLM의 정확도는 떨어지지만, 에이전트는 도구(예: grep)로 작업을 오프로딩하여 거의 완벽한 상태를 유지합니다. 2) 더 큰 CABRA 작업은 읽기 및 분석을 위한 도구 호출을 더 많이 유발하는 한편, SWE-bench Verified에 대한 별도 연구에서는 이러한 도구 호출 수가 편집된 코드 라인 수보다 에이전트의 정확도를 더 잘 예측함을 보여주며, 이는 에이전트의 작업 난이도가 단순히 편집을 수행하는 것만이 아니라 편집할 코드를 이해하는 데 있을 수 있음을 시사합니다. 3) 두 클래스에 걸쳐 분기되는 로직을 분석하는 심층적인 이해 작업으로 CABRA를 확장했을 때 에이전트 정확도가 마침내 떨어지면서 이러한 발견을 뒷받침합니다. 더 나아가, 우리는 도구에 의해 사소해진 LLM의 약점(예: needle-in-a-haystack)과 코딩 에이전트가 여전히 어려워하는 단순 편집 이상의 능력(예: 이해)을 드러내기 위해, SWE-bench 스타일의 작업과 통제된 진단을 결합하는 CABRA와 같은 합성 평가가 필요하다고 주장합니다.

arXiv:2610.10619v1cs.SE공통 태그 Benchmarking, Code Generation, coding agents

TestJack: 코딩 벤치마크 결과를 신뢰할 수 있는가? 평가자 진화를 통한 에이전트 기반 코딩 벤치마크 감사

TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution

대규모 언어 모델(LLM) 에이전트(agent)는 새로운 코드 벤치마크의 폭발적인 증가와 함께 소프트웨어 엔지니어링 환경을 빠르게 재편하고 있습니다. 그러나 거의 모든 기존 벤치마크는 여전히 수십 년 된 동일한 기준에 의존하고 있습니다. 즉, 고정된 단위 테스트 세트를 통과하면 해당 솔루션이 올바르다고 판단하는 것입니다. 이러한 테스트는 불충분한 경우가 많습니다. 작업에 필요한 요구사항 중 일부만 검사하므로, 에이전트가 모든 테스트를 통과하면서도 보상 해킹(reward hacking)을 하거나 필수 동작을 은밀히 누락할 수 있습니다. 결과적으로 더 높은 벤치마크 점수는 더 뛰어난 문제 해결 능력보다는 평가자에 더 잘 적응했음을 부분적으로 반영할 수 있습니다. 기존 연구들은 정적 테스트 증강에 초점을 맞추고 있습니다. 즉, 어떠한 시도도 관찰하기 전에 각 작업의 테스트를 사전에 한 번 강화하므로, 실제 시도가 실제로 어떻게 실패하는지를 간과합니다. 본 논문에서는 고정된 테스트를 넘어 패치를 평가하기 위한 확장 가능한 프레임워크인 TestJack을 소개합니다. TestJack은 각 시도마다 패치가 위반할 수 있는 프롬프트 요구사항을 겨냥한 테스트를 생성하고, 정답 패치가 통과한 테스트만 유지하며, 모든 시도 실패를 재검토합니다. 따라서 확인된 각 실패는 재생 가능한 테스트를 통해 뒷받침됩니다. 또한 평가 비용을 줄이기 위해 무작위로 추출된 시도 샘플을 심층 감사하고, 그 결과로 얻은 테스트를 동일한 작업의 모든 시도에 재사용하는 경량 변형 모델도 소개합니다. 6개의 프론티어 모델 백엔드와 DeepSWE 및 SWE Marathon을 포함한 5개 벤치마크에 걸쳐 평가한 결과, 현재 올바른 것으로 판정된 모델 시도의 약 34.4%가 작업 요구사항을 위반하여 전체 해결률(resolution rate)이 50.6%에서 33.2%로 낮아지는 것을 발견했습니다. 본 연구 결과는 현재 코딩 에이전트 평가의 근본적인 한계를 드러냅니다. LLM이 고정된 평가자에 맞추어 최적화하는 능력이 향상됨에 따라, 평가자 자체도 더욱 적응적으로 진화해야 합니다.

arXiv:2609.38269v2cs.SE공통 태그 Benchmarking, Code Generation, coding agents

Zero2Repo: 코딩 에이전트는 처음부터 저장소를 구축할 수 있는가?

Zero2Repo: Can Coding Agents Build Repositories from Scratch?

코딩 에이전트(agent)는 기존 소프트웨어를 패치하는 것을 넘어 직접 구축하도록 요구받는 경우가 점점 늘고 있으나, 처음부터(from-scratch) 저장소를 구축하는 능력을 측정하는 벤치마크는 대부분 단일 언어로 제한되어 있으며 수작업으로 큐레이션된 작업에 의존합니다. 본 논문에서는 에이전트가 제품 요구사항 정의서(PRD), 인터페이스 명세서, 빈 작업 공간을 전달받아 프로젝트의 네이티브 생태계에 맞는 완전한 저장소를 제공해야 하는 벤치마크인 Zero2Repo를 소개합니다. 작업들은 실제 버전이 고정된 오픈소스 프로젝트를 동작 사양, 재현 가능한 환경, 그리고 숨겨진 인수 테스트로 변환하는 언어 무관 저작 파이프라인을 통해 생성됩니다. 각 작업은 실행을 통해 검증(validation)됩니다. 즉, 업스트림 프로젝트에서 파생된 참조 구현이 테스트를 통과해야 하며, 적대적 검증을 통해 테스트가 잘못된 구현을 거부함을 입증해야 합니다. 평가는 격리된 컨테이너에서 프로덕션 코딩 에이전트를 실행하고, 명시적인 제출 전까지 인수 테스트를 비공개로 유지하며, LLM 판정 없이 모든 테스트를 통과했을 때만 이진 보상(reward)을 부여합니다. 이 파이프라인과 하네스는 특정 언어에 국한된 가정을 두지 않아 주류 프로그래밍 생태계 전반에 적용 가능하며, 현재 릴리스에는 Python, TypeScript, Go, C++ 작업이 포함되어 있습니다. 프론티어 모델들이 학습(training) 중에 보았을 가능성이 매우 높은 저장소에서 추출한 11개 작업에서도 가장 뛰어난 에이전트조차 10개만 해결했으며, 실패한 모든 제출물은 숨겨진 테스트의 90~99%를 통과했습니다. 또한 상위 2개 에이전트의 경우 실패한 테스트의 67~100%가 하위 시스템 누락이 아닌 사양에 명시된 단일 누락이나 발생 빈도가 낮은 규칙에서 비롯되었으므로, 각 실패는 구체적인 개선 목표가 됩니다.

arXiv:2609.39564v1cs.AI공통 태그 Benchmarking, Code Generation, coding agents

A2Z GameSpec-Bench: 코딩 에이전트는 게임 설계 명세로부터 얼마나 충실하게 게임을 생성할 수 있는가?

A2Z GameSpec-Bench: How Faithfully Can Coding Agents Generate Games from Game Design Specifications?

완전한 애플리케이션 개발을 코딩 에이전트(agent)에 위임하려면 단순한 프롬프팅을 통해 그럴듯한 결과물을 만들어내는 것이 아니라 의도된 설계를 보존해야 한다. 게임 개발은 까다로운 테스트베드를 제공하는데, 장문의 게임 설계 문서(Game Design Document, GDD)는 게임 로직, 시각적 렌더링, 플레이어 상호작용 전반에 걸쳐 함께 작동해야 하는 요구사항을 기술하기 때문이다. 그러나 기존의 게임 개발 벤치마크는 일반적으로 간결한 명세를 사용하며, 장문 GDD에서 이러한 측면들 간의 상호 의존적인 요구사항을 평가하는 데 제한적인 지원만을 제공한다. 우리는 에이전트의 엔드투엔드 게임 개발을 평가하기 위한 100개의 장문 GDD로 구성된 벤치마크인 A2Z GameSpec-Bench를 소개한다. 우리는 게임이 GDD 요구사항을 충족하고 그 요구사항들 간의 관계를 보존하는지를 확인하여 충실도(faithfulness)를 측정한다. 각 GDD는 규칙, 제약 조건, 선행 관계(prerequisite relation)를 포함하는 의존성 인식 계약(dependency-aware contract)으로 변환된다. 게임 개발 관행을 따라, 우리는 소스 코드 검사와 에이전트가 생성한 테스트 정책을 결합하여 시나리오 기반 리플레이와 적응형 플레이테스팅을 수행한다. 계약은 에이전트와 수정 라운드 전반에 걸쳐 고정된 상태로 유지되며, 동일한 요구사항과 연결된 판정과 근거는 일관된 비교와 실패 탐지를 지원한다. 우리의 평가 결과, 현재 에이전트는 코드 구현과 실제 플레이 전반에 걸쳐 상호 의존적인 요구사항을 동시에 충족하는 데 어려움을 겪는 것으로 나타났다. 요구사항별 피드백은 두 라운드 이후 자기 수정(self-revision) 대비 GDD 충실도를 10.9% 상대적으로 향상시킨다. A2Z GameSpec-Bench는 구현 판정을 넘어선 엔드투엔드 명세 준수 능력을 평가하며, 더 충실한 게임 개발을 지원하기 위한 맞춤형 피드백을 제공한다. 코드와 데이터셋은 https://a2z-gamespec-bench.github.io 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.