PyTorchKR Papers

최신 논문

총 57편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.21597v1cs.SE

ATLAS: 대규모 소프트웨어 생태계의 에이전트 기반 분류체계

ATLAS: Agentic Taxonomy of Large-Scale Software Ecosystems

GitHub 오픈소스 생태계에는 저장소를 위한 체계적인 계층 분류체계가 없고 GitHub Topics는 평면적·불일치하며 전체의 67%만 포괄한다. ATLAS는 대규모 언어 모델(LLM) 전역 지식과 실제 저장소 분포를 결합해 Designer Agent가 분할 차원을 제안하고 Classifier Agent가 분류하며, 분류 실패를 자기 교정형 정제 루프로 반영하는 최초의 end-to-end 프레임워크로 2,001개 저장소 벤치마크에서 Taxonomy Quality F-score(TQF) 83.13%와 대안 발견 P@1 85.71%를 달성한다.

arXiv:2606.22417v1cs.AI

코드는 메모리가 아니다: 코딩 에이전트 내부의 구조적 코드베이스 인덱스

Code Isn't Memory: A Structural Codebase Index Inside a Coding Agent

코딩 에이전트는 이제 LLM과 작업 중인 저장소에 대한 검색을 교차 수행하며, 배포된 하네스마다 검색 구현 방식이 크게 다르다. 고정된 코딩 에이전트 하네스와 고정된 모델 환경에서, 구조적 코드베이스 인덱스를 추가하면 실제로 비용이나 해결(resolve) 성능이 바뀌는가? 우리는 세 가지 군(인덱스가 있는 하네스, 동일 하네스에서 인덱스 없음, agentic-grep 비교군)으로 SWE-PolyBench Verified와 SWE-bench Pro에서 실험했으며, Claude Opus 4.7을 전 구간 고정하고 세 개 시드에 걸쳐 누수 감사를 거친 과제별 샌드박스에서 수행했다. 하네스 내 ablation은 큰 localization(국소화) 이득과 통계적으로 유의하게 분리된 resolve 이득을 낳으며, 셀당 비용 페널티는 없고 solve당 비용은 더 낮다. 하네스 간 교차 검증에서는 인덱스가 agentic-grep 기준선 대비 resolve나 localization에서 퇴보하지 않으며, 역시 비용 페널티가 없다. 셀별 제외 원장, 누수 감사 스크립트, localization 추출기, 결과 데이터베이스를 공개한다. 따라서 구조적 코드베이스 인덱스의 배포 관련 질문은 실행 비용이 너무 비싼지(여러 시드에 걸쳐 인덱스는 agentic grep보다 낮은 $/solved를 기록한다)가 아니라, 워크로드에 구조적 순위가 효과를 발휘하는 다중 파일 변경이 포함되는지 여부이다.

arXiv:2606.20615v1cs.AI

AI-SDLC 프로세스 명세화: 인간-에이전트 경계를 위한 프로토콜 언어

Specifying AI-SDLC Processes: A Protocol Language for Human-Agent Boundaries

에이전트는 이제 소프트웨어 개발 수명 주기 전반에 걸쳐 일급(first-class) 팀 구성원으로 참여하지만, 이러한 협업에 필요한 인간-에이전트 책임 경계, 승인 게이트(approval gates), 거버넌스 제약을 표현할 명세 언어는 아직 존재하지 않는다. 기존 접근법은 프로세스를 에이전트 프롬프트에 인코딩하여(드리프트(drift)에 취약), 인접 영역(워크플로 관리, 비즈니스 프로세스)을 대상으로 하거나, 일부 조각(접근 제어, 승인 게이트)만 다룬다. 우리는 AI-SDLC 프로세스를 프로토콜로 명세하기 위한 도메인 특화 언어(DSL)를 제안하며, 형식적 구문, 잘 형성됨(well-formedness) 조건, 운영 의미론(operational semantics), 집행 불변식(enforcement invariants)을 포함한다. 이 언어는 정책(선언된 의도)과 메커니즘(구조적 집행)을 구분하여, 구현체가 검증 토큰 및 capability 경계 같은 원시 구문(primitives)을 통해 프로세스 비결정성(non-determinism)을 제한할 수 있게 한다. 세 가지 결과가 뒤따른다. 실패율 분석은 구조적 집행이 시스템 실패율을 에이전트와 검증자 비율의 가중 곱으로 한정하는 반면, 행동적 준수(behavioral compliance)는 누적적이거나 거의 포화(saturating)에 가까운 증가를 허용함을 보여준다. 2+N 팀 패턴(두 개의 human-in-control 역할과 N개의 전문화된 에이전트 구성원)은 AI-SDLC에 대한 고전적 직무 분리(Separation of Duties)를 형식화한다. 오케스트레이션 루프의 Kleene 클로저(Kleene closure)와 반사적(reflexive) 프로토콜 준수 검증은 특수 사례 구성요소가 아니라 설계 속성으로 등장한다. 우리는 이 기여를 다중 에이전트 프레임워크(MetaGPT), 워크플로 명세(FlowAgent, BPMN 확장), capability 기반 보안(SAGA)과 대비하여 위치 짓는다: 신규성은 개별 원시 구문이 아니라 특정 통합에 있다. 동작하는 구현이 타당성을 입증하며, 실증 평가(evaluation)는 향후 과제이다.

arXiv:2606.19753v1cs.AI

그라운딩된 추론: 결정론적으로 캡슐화된 생성 모델을 위한 원칙

Grounded Inference: Principles for Deterministically Encapsulated Generative Models

생성 모델을 전통적인 컴퓨팅 시스템에 통합하는 것은 엄청난 기회와 막대한 위험을 동시에 내포하고 있습니다. 많은 초기 도입자가 막대한 비용을 치르며 이러한 위험을 깨달았지만, 전통적인 시스템에 인공지능(AI)을 통합할 때의 위험을 완화하기 위한 기초 프레임워크가 여전히 필요합니다. 이 논문은 확률적 모델의 결정론적 캡슐화를 가능하게 하도록 설계된 AI 혼합 아키텍처의 4가지 구체적인 프리미티브를 정의하여 이 기초를 확립합니다. 또한, 이 분야 엔지니어들에게 경고가 되도록 업계 전반에 걸쳐 널리 나타나는 두 가지 포괄적인 안티 패턴을 정립합니다. 이 프레임워크는 생성 모델 제공자가 차세대 생성 모델 인터페이스를 구축할 수 있는 기반을 제공하는 동시에, 전통적인 시스템에 AI를 성공적으로 통합할 수 있도록 설계되었습니다.

arXiv:2606.18284v1cs.LG

솔버 병목 현상 극복: 학습 가능한 프론티어에서의 태스크 생성기 학습

Breaking the Solver Bottleneck: Training Task Generators at the Learnable Frontier

솔버 롤아웃이 필요한 태스크 생성기 강화학습(RL)은 SWE처럼 평가 비용이 큰 영역에서 병목이 된다. PROPEL은 일회성 솔버 결과로 학습한 활성화 프로브(probe)가 목표 해결율을 대리해 생성기 평가를 단일 순전파로 줄이며, 수학·코드·SWE에서 학습 가능한 프론티어 태스크 비율을 약 두 배 가까이 높인다.

arXiv:2606.19121v1cs.SE

AI가 작성하고 AI가 관리함: 391회 연속 세션에 걸친 의미 공간 제어 및 인덱스 병증 제거

Written by AI, Managed by AI: Semantic Space Control and Index Sickness Elimination Across 391 Consecutive Sessions

장기 LLM 협업에서 개념 드리프트(conceptual drift)를 해결하기 위한 지배적인 공학적 직관은 더 형식적인 제약을 통해 더 신뢰할 수 있는 출력을 얻는 것입니다. 즉, 기호 식별자 시스템을 설계하고, 시스템 프롬프트에 방어적 규칙을 축적하며, 컨텍스트 윈도우를 확장하는 것입니다. 저희의 공학 기록에 따르면, 장기 설정에서 이 방향은 설계 의도와 반대되는 효과를 낼 수 있습니다. 약 한 달과 391회의 협업 세션에 걸친 실제 소프트웨어 프로젝트(Bang-v3)에서 행동 연구 방법을 사용하여, 우리는 이러한 전략들의 실패 과정을 문서화하고 분석했습니다. 기호 시스템이 복잡도 임계값을 초과하면, LLM은 더 정확해지지 않습니다. 대신 비즈니스 의미에 대한 진정한 이해를 포기하고 기호 층 내에서 자기 참조적 추론으로 후퇴하며, 내부적으로는 일관되어 보이지만 물리적으로는 현실과 단절된 출력을 생성합니다. 우리는 이 실패 패턴을 "인덱스 병증(Index Sickness)"이라 명명하고, 그 전형적 발현을 "환각 입법(Phantom Legislation)"이라 명명했습니다. 우리는 이 원리를 "팽 원칙(Semantic Vitality Law)"이라 명명했습니다: 명시적 목적을 담은 자연어는 기호 표현보다 훨씬 더 높은 정보 품질을 전달합니다. 이로부터 우리는 그 물리적 공학 메커니즘인 "기준선-로그 물리적 분리(Baseline-Log Physical Separation)"를 설계하고 검증했습니다. 동일한 프로젝트에서 이 메커니즘은 AI 지시 사항의 양을 약 75% 감소시켰으며, 이후 약 150회의 세션 동안 인덱스 병증의 재발은 관찰되지 않았습니다. 이중 언어 동반 버전(중국어)이 보충 자료로 포함되어 있습니다.

arXiv:2606.18293v1cs.SE

바이브 코딩이 내 숙제를 먹어버렸다: 그린필드(greenfield) 소프트웨어 엔지니어링 및 프로그래밍에 대한 AI 접근 방식 평가

Vibe Coding Ate My Homework: An evaluation of AI approaches to greenfield software engineering and programming

바이브 코딩(vibe coding)이 그린필드(greenfield) 소프트웨어 엔지니어링에 얼마나 쓸 수 있는지와 이를 측정하는 벤치마크를 검토하고, Python의 단순·독립 그린필드 프로그래밍 과제에서 대규모 언어 모델(LLM)의 수행력을 평가하는 평가 스위트를 제안한다. 프롬프트를 기술적 깊이에 따라 나눠 여러 LLM에 보내고 생성 코드가 요구를 충족하는지 점수화함으로써, 바이브 코딩의 신뢰성과 벤치마크 설계를 범위 있게 분석한다.

arXiv:2606.17164v1cs.CL

PromptMN: 의사 프롬프팅 언어

PromptMN: Pseudo Prompting Language

프롬프팅은 인간과 생성형 AI 사이의 주된 인터페이스가 되었지만, 많은 자연어 프롬프트는 여전히 취약하다. 역할, 목표, 제약, 기대 출력은 종종 산문 속에 묻혀 있거나 암묵적으로 남겨진다. 에이전트 및 소프트웨어 개발 워크플로에서 첫 전달 단계의 오해석은 모든 단계로 전파될 수 있으며, 에이전트 실패의 상당 부분은 모델 한계가 아니라 컨텍스트 모호성에서 비롯된다. 본 논문은 PromptMN을 소개한다. PromptMN은 역할, 목표, 요구사항, 우선순위, 제약, 계획, 입력, 출력을 포괄하는 간결한 % 접두사 타입 지시문으로 자연어를 주석 처리하는 의사 프롬프팅 도메인 특화 언어이다. 의미 해석(semantic resolution)을 통해 작성자는 어떤 순서로든 작성할 수 있고, 모델은 기능에 따라 지시문을 해석한다. PromptMN은 비공식적 프롬프팅과 프로그래밍 스타일 의사코드 사이에 위치한다. 검사 가능하고 재사용할 수 있을 만큼 구조화되어 있으면서도, 소프트웨어 개발 생명주기(SDLC) 전반에 걸친 분석가, 관리자, 개발자, 이해관계자에게 충분히 가벼운 수준이다. PromptMN은 역프롬프트 엔지니어링과도 결합된다. 모델에게 원하는 결과를 PromptMN으로 다시 서술하도록 요청하면, 사용자는 실행 전에 추론된 역할, 목표, 제약, 누락된 가정을 검토할 수 있어 수정 주기를 줄이고 사람과 AI 도구를 정렬하는 재사용 가능한 산출물을 얻을 수 있다. PromptMN의 실현 가능성은 Claude Fable 5, Claude Opus 4.8, Gemini 3.1 Pro, GPT-5.5를 포함한 여러 최첨단 모델에서 평가된다. 모델들은 미세조정 없이 반복, 조건문, 메서드, 소수 판별 작업과 같은 복잡한 구조를 포함한 PromptMN 지시문을 올바르게 해석했다. 동일한 어휘는 제시된 SDLC 시나리오의 신규 코드베이스, 유지보수, 재설계에 걸쳐 적용된다. 대규모 검증은 향후 과제로 남아 있지만, 이러한 초기 결과는 PromptMN이 더 명확하고 검토 가능한 인간-AI 상호작용을 향한 실용적 진전임을 시사한다.

arXiv:2606.17588v1cs.SE

제목-초록 선별에서의 대규모 언어 모델(LLM) 이해: 불일치에서 권장사항까지

Understanding LLMs in Title-Abstract Screening: From Disagreements to Recommendations

여러 연구에서 체계적 문헌 고찰(SRs)의 제목-초록 선별을 위해 대규모 언어 모델(LLMs)을 사용하는 것을 조사했으며, 엇갈리는 정확도를 보고했습니다. 그러나 신뢰성에 대한 문제는 대부분 해결되지 않은 상태로 남아 있습니다. 본 연구에서는 정량적인 LLM-인간 일치 지표를 넘어, LLM이 실패하는 방식과 이유를 정성적으로 조사합니다. 또한 실행 가능한 권장사항을 제안합니다. 우리는 6개의 소프트웨어 공학 SRs과 1,000편 이상의 1차 연구 논문에 걸쳐 LLM과 연구자 간의 불일치를 분석했습니다. 각 SR에 대해 논문은 인간 전문가와 제로샷 모드의 LLM에 의해 독립적으로 선별되었으며, 그 결과 0.52에서 0.77 사이의 카파 값을 도출했습니다. 정성적 분석 결과, 인간-LLM 불일치는 핵심 용어의 경계 모호성, 키워드 과잉 강조, 잘못된 주제 추론과 같은 반복적이고 식별 가능한 원인에서 비롯되는 것으로 나타났습니다. 이러한 발견을 바탕으로, 배포 전 의미적 이해를 검증하고, 여러 LLM을 실행하며, 경계선 사례에 검증 노력을 집중하는 것과 같은 권장사항을 제안합니다. 우리의 권장사항이 미치는 영향을 검증하기 위한 향후 연구가 필요하며, SRs에서의 LLM 사용에 대한 규범적 가이드라인을 개발하기 위한 커뮤니티의 노력이 필요합니다.

arXiv:2606.17203v1cs.SE

신뢰 인식 다중 에이전트 추적성: 일관된 소프트웨어 아티팩트 관리를 위한 신뢰도 보정 지식 그래프

Trust-Aware Multi-Agent Traceability: Confidence-Calibrated Knowledge Graphs for Consistent Software Artifact Management

다중 에이전트 AI 시스템은 요구사항 분석, 아키텍처 설계, 테스트 생성, 추적성 연결(linking)을 포함한 소프트웨어 공학 작업을 자동화하는 데 점점 더 많이 사용되고 있습니다. 이러한 에이전트들이 공유된 소프트웨어 아티팩트(artifacts)에 대해 순차적 파이프라인(pipeline)으로 작동할 때, 상위 스트림 에이전트가 만든 오류와 낮은 신뢰도를 가진 결정은 하위 단계로 전파되어, 고립된 요구사항(orphaned requirements), 모순된 연결, 그리고 안전 중요(safety-critical) 도메인에서 중대한 위험을 초래하는 규정 준수 격차(compliance gaps)를 발생시킵니다. 우리는 공유된 지식 그래프(knowledge graph)가 중앙화된 의미론적 메모리이자 조정 표면(surface) 역할을 하는 신뢰 인식 조정 프레임워크를 제안합니다. 이를 통해 에이전트들은 보정된 신뢰도 점수를 사용하여 서로의 기여를 평가하고 이를 기반으로 구축할 수 있습니다. 우리의 접근 방식은 임베딩 기반 검색과 LLM(대규모 언어 모델) 기반 다기준 분석을 결합한 2단계 추적성 연결 예측 파이프라인, 도출 시간(derivation-time)과 검증(validation) 시간의 신뢰도 비교를 가능하게 하는 추적성 시딩(seeding) 메커니즘, 그리고 신뢰도 임계값 게이팅(gating), 신뢰도 발산 감지, 충돌 해결을 통해 파이프라인 상호작용을 관리하는 일관성 프로토콜을 도입합니다. 우리는 연결 예측 보정, 프로토콜 효과성, 임계값 민감도, 추적성 시딩의 영향을 측정하는 자동차 소프트웨어 공학 사례 연구를 통해 평가를 수행했습니다. 제거 연구(ablation studies)는 신뢰도 보정이 효과적인 파이프라인 조정에 필수적임을 확인했습니다.

arXiv:2606.18023v1cs.LG

LoopCoder-v2: 효율적인 테스트 시간 연산 스케일링을 위한 단 한 번의 루프

LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling

Looped Transformers는 공유 블록을 반복적으로 적용하여 잠재 연산(latent computation)을 스케일링하지만, 순차적 루핑은 루프 횟수에 따라 지연 시간과 KV-캐시 메모리를 증가시킵니다. Parallel loop Transformers (PLT)는 cross-loop position offsets (CLP)와 공유-KV 게이팅된 슬라이딩 윈도우 어텐션(attention)을 통해 이 비용을 완화하여, 루프 횟수를 실용적인 설계 선택 사항으로 만듭니다. 따라서 우리는 이득-비용(gain-cost) 관점을 통해 PLT 루프 횟수 선택을 연구합니다: 추가 루프는 표현(representation)을 정제할 수 있지만, CLP는 또한 각 루프 경계에서 위치 불일치(positional mismatch)를 도입합니다. 우리는 18T 토큰에 대해 처음부터 서로 다른 루프 횟수를 가진 7B 규모의 PLT 코더 계열인 LoopCoder-v2를 학습(training)시키고, 이어지는 일치하는 지시 미세조정(instruction tuning)과 평가를 통해 이 연구를 구체화합니다. 실증적으로, 2-루프 변형은 코드 생성, 코드 추론, 에이전트 소프트웨어 엔지니어링, 도구 사용 벤치마크 전반에서 비루프 기준선(baseline)에 비해 광범위한 이득을 제공하며, SWE-bench Verified를 43.0점에서 64.4점으로, Multi-SWE를 14.0점에서 31.0점으로 향상시켰습니다. 대조적으로, 3개 이상의 루프를 가진 변형은 성능이 저하되어(regress), 강력한 비단조적 루프 횟수 효과를 보여줍니다. 우리의 진단(diagnostics)에 따르면 루프 2는 주요 생산적 정제를 제공하는 반면, 이후 루프는 감소하고 진동하는 업데이트와 감소된 표현 다양성을 산출합니다. CLP로 유발된 불일치는 정제 이득이 감소함에 따라 대략 고정된 상태로 유지되기 때문에, 오프셋 비용이 점차 지배적이 됩니다. 이러한 이득-비용 상충 관계(gain-cost trade-off)는 PLT의 2루프에서의 포화를 설명하며, 루프 횟수 선택에 대한 진단을 제공합니다.

arXiv:2606.13298v1cs.SE

에이전트형 AI 도입 하의 아키텍처 품질 발굴: Java 저장소에 대한 인과 연구

Mining Architectural Quality Under Agentic AI Adoption: A Causal Study of Java Repositories

에이전트형 AI 도입이 소프트웨어 아키텍처 품질에 미치는 인과적 영향을 분석하기 위해 151개의 Java 저장소를 대상으로 이중 차분법을 적용했다. 그 결과 코드 라인 수는 증가했으나 아키텍처 냄새(Architectural Smell)의 총 개수는 변하지 않아, 밀도 감소는 실제 개선이 아닌 분모 효과임을 확인했다.

arXiv:2606.12231v1cs.SE

AI IDE(통합 개발 환경)에서의 규칙 분류 체계와 진화: 마이닝 및 설문 조사 연구

Rule Taxonomy and Evolution in AI IDEs: A Mining and Survey Study

AI 기반 통합 개발 환경(AI IDEs)의 도입은 개발자가 대규모 언어 모델(LLM)의 컨텍스트에 프로젝트 특정 제약 조건과 아키텍처 가이드라인을 지속적으로 주입할 수 있게 하는 새로운 소프트웨어 아티팩트인 '규칙(Rules)'을 도입했습니다. AI 동작을 개발자 의도와 정렬하는 역할에도 불구하고, 이러한 규칙의 분류 체계, 진화, 그리고 실질적 영향은 대부분 탐구되지 않은 상태입니다. 이러한 격차를 해소하기 위해 우리는 AI IDE 규칙에 대한 혼합 방법 실증 연구를 수행했습니다. 83개의 오픈 소스 프로젝트를 마이닝하고 7,310개의 규칙을 추출하여, 5개의 상위 범주와 25개의 하위 범주로 구성된 포괄적인 분류 체계를 확립했습니다. 그 후 99명의 실무자로부터 받은 설문 응답과 이러한 아티팩트를 결합하여 삼각 검증을 수행했습니다. 분석 결과 개발자의 우선순위와 실제 구성 사이에 대조적인 차이가 발견되었습니다: 실무자들은 아키텍처 제약 조건을 매우 중요하게 평가하지만, 저장소 내 규칙 파일은 주로 저수준 워크플로우 및 코드 포맷팅 제약 조건으로 구성되어 있습니다. 또한 1,540개의 규칙 진화 이벤트에 대한 분석을 통해 규칙이 자주 업데이트됨을 밝혀냈습니다. 저장소 데이터는 규칙 진화가 주로 생산적인 컨텍스트 확장(29.17%)과 보강(26.59%)에 의해 주도됨을 추가로 나타냅니다. 이와 대조적으로 설문에 참여한 개발자들은 주로 AI 오류를 수정하기 위해(77.78%) 규칙을 수정한다고 보고했으며, 이는 기존 규칙을 편집하기보다는 새로운 부정적 제약 조건을 추가하는 방식으로 이루어집니다. 마지막으로, 160개의 규칙 진화 이벤트에 대한 아티팩트 준수 평가를 통해 규칙 업데이트가 소프트웨어 아티팩트의 준수도를 유의미하게 향상시킴을 확인했으며, 업데이트 후 평균 아티팩트 준수율이 22.99%(49.14%에서 72.13%로) 증가했습니다. 본 연구는 개발자가 프롬프트 전략을 최적화하고, 도구 구축자가 AI IDE를 위한 자동화된 충돌 감지 및 컨텍스트 관리 메커니즘을 설계하도록 돕는 실증적 통찰을 제공합니다.

arXiv:2606.11869v1cs.SE

Agents All the Way Down: 기반에서 프로덕션까지 커스텀 AI 에이전트 구축 방법론

Agents All the Way Down; A Methodology for Building Custom AI Agents from Substrate to Production

커스텀 AI 에이전트는 자체 애플리케이션 내에서 상주하며, 자체 데이터와 도구와 통신하고, 자체 보안 경계를 강제하며, 자체 브랜드와 감사 추적(audit trail)을 유지하는 에이전트입니다. 이들을 범용 계층(tier)과 구별하는 것은 역량이 아니라 적합성(fit)입니다: 각 에이전트는 유지보수를 담당할 엔지니어가 하나의 작업을 위해 구축합니다. 처음부터 끝까지(end-to-end) 구축하는 방법을 명시한 출판된 관행은 없습니다. 구성 요소는 어디에나 있습니다(함수 호출 API, 모델 컨텍스트 프로토콜(Model Context Protocol), 페어링할 코드 에이전트 등), 하지만 이들을 연결하는 관행은 팟캐스트, 블로그, 유출된 시스템 프롬프트(system prompts)에 숨어 있습니다. 본 논문은 그 관행을 'Agents All the Way Down'이라는 방법론으로 기록합니다: 한 번 설정하고 유지하는 두 가지 전제 조건, 그리고 에이전트의 수명 주기 동안 반복되는 세 가지 관행입니다. 전제 조건은 (P1) Substrate(기반), 즉 프롬프트 캐싱(prompt-caching) 하의 메시지, 시스템, 도구로 프레임화된 소프트웨어 구성요소로서의 LLM(대규모 언어 모델); 그리고 (P2) Building blocks(구성 요소): 함수 호출(function calling), MCP, CLI 오케스트레이션(orchestration), 라이트셸(liteshell) 패턴, 에이전트 루프(agent loop), 스킬(skills), 캐릭터(characters), 훅(hooks), 스캐폴딩(scaffolding)입니다. 관행은 (P3) 범용 에이전트로 프로토타입 제작; (P4) 결과를 수집(harvest), 통합(fold), CLI로 배포하는 터틀(Turtle) 패턴; 그리고 (P5) agent-tests-agent로, 여기서 범용 에이전트가 행동 시나리오를 통해 이를 구동하며, 이는 고전적인 테스트의 보완제이지 대체재가 아닙니다. 작업 루프는 P3에서 P4, P5로 다시 돌아가는 것이며, 하나의 부산물(corollary)이 자연스럽게 도출됩니다: 멀티 에이전트 오케스트레이션(multi-agent orchestration)은 단순한 CLI 구성(composition)입니다. 이 방법론은 구조적으로 프레임워크에 구애받지 않습니다(framework-free). 이는 오픈 소스 LAMB 플랫폼을 위한 커스텀 에이전트인 AAC에서 추출된 것으로, 한 개발자가 AI 페어 프로그래머와 함께 약 10일 만에 구축하여 현재 프로덕션 환경에서 운영 중입니다. 우리는 이를 어떤 언어나 프레임워크와도 독립적인 이식 가능한 관행으로 제시합니다.

arXiv:2606.07297v1cs.SE

SWE-Explore: 코딩 에이전트의 저장소 탐험 방식 벤치마킹

SWE-Explore: Benchmarking How Coding Agents Explore Repositories

SWE-bench와 같은 저장소 수준 코딩 벤치마크는 코딩 에이전트의 능력 급격한 발전을 주도했습니다. 그러나 이들은 보통 코딩 작업을 전체적이고 이진적인 예측 문제(예: 해결됨 또는 해결되지 않음)로 취급하며, 저장소 이해, 컨텍스트 검색, 코드 지역화, 버그 진단과 같은 세분화된 에이전트 능력을 간과합니다. 본 논문에서 우리는 코딩 에이전트의 핵심 능력인 저장소 탐험의 평가를 분리한 벤치마크인 SWE-Explore를 소개합니다. 저장소와 이슈가 주어지면, SWE-Explore는 탐색자에게 고정된 라인(line) 예산 내에서 관련 코드 영역의 순위가 매겨진 목록을 반환하도록 요청합니다. SWE-Explore는 10개 프로그래밍 언어와 203개 오픈 소스 저장소에 걸쳐 848개의 이슈를 다룹니다. 각 인스턴스에 대해, 우리는 동일한 이슈를 성공적으로 해결한 독립적인 에이전트 궤적(trajectories)으로부터 라인(line) 수준 정답(ground truth)을 도출하며, 그 솔루션 경로가 실제로 참조한 특정 코드 영역을 추출합니다. 우리는 커버리지(coverage), 순위(ranking), 컨텍스트 효율성(context-efficiency) 차원에서 탐험을 평가하며, 이러한 메트릭들이 다운스트림(downstream) 수정(repair) 동작을 강력하게 추적함을 보여줍니다. 다양한 검색 방법, 일반적인 코딩 에이전트, 전문화된 지역화 모델(localizers)에 걸쳐, 우리는 에이전트 기반 탐색자가 고전적 검색보다 명확히 상위 계층을 형성함을 발견했습니다. 현대적 방법들에서 파일 수준 지역화는 이미 강력하지만, 라인(line) 수준 커버리지와 효율적인 순위 매기기는 최첨단(SOTA) 탐색자를 구분하는 핵심 축으로 남아 있습니다.

arXiv:2510.07315v2cs.CL

SWE-IF: 코드 평가를 인간 선호도와 정렬하기

SWE-IF: Aligning Code Evaluation with Human Preference

대규모 언어 모델(LLM)은 바이브 코딩(vibe coding)을 촉진했으며, 이는 사용자가 자신의 바이브 체크(vibe check)를 통과할 때까지 자연어 상호작용을 통해 LLM을 활용해 코드를 생성하고 반복적으로 개선하는 방식입니다. 바이브 체크는 인간 선호도를 반영하는 것으로, 단순한 기능성을 넘어섭니다. 즉, 해결책은 직관적으로 옳게 느껴지고, 가독성이 좋으며, 의도를 보존하고 정확성을 유지해야 합니다. 그러나 현재의 코드 평가는 여전히 pass@k 지표에 국한되어 기능적 정확성만을 측정하며, 사용자가 일상적으로 적용하는 비기능적 지시사항은 간과하고 있습니다. 본 논문에서 우리는 기능적 정확성 외에 바이브 체크의 기반이 되는 누락된 요소가 바로 지시사항 준수(instruction following)라고 가정합니다. 모델의 코드 지시사항 준수 능력을 측정 가능한 신호로 정량화하기 위해, 우리는 30가지 검증 가능한 코드 지시사항에 대한 분류 체계와 결정론적 검증기(deterministic verifiers)를 포함하는 VeriCode를 제시합니다. 우리는 이 분류 체계를 활용해 기존 평가 스위트를 보강하여, 지시사항 준수와 기능적 정확성을 모두 평가할 수 있는 테스트베드인 SWE-IF를 구축했습니다. 31개의 LLM을 평가한 결과, 가장 강력한 모델조차도 여러 지시사항을 동시에 준수하는 데 어려움을 겪으며 기능적 퇴보(functional regression)를 보이는 것으로 나타났습니다. 무엇보다 중요한 점은 기능적 정확성과 지시사항 준수를 결합한 복합 점수가 인간 선호도와 가장 높은 상관관계를 보이며, 지시사항 준수가 LLM 간의 성능을 가르는 주요 구분 요소로 작용한다는 것입니다. 우리의 코드, 데이터, 분류 체계는 https://github.com/maszhongming/SWE-IF에서 확인할 수 있습니다.

arXiv:2606.07412v1cs.SE

Socratic-SWE: 트레이스 기반 에이전트 스킬을 통한 자기 진화 코딩 에이전트

Socratic-SWE: Self-Evolving Coding Agents via Trace-Derived Agent Skills

대규모 언어 모델(LLM) 기반 소프트웨어 공학 에이전트는 실세계 언어 모델 역량을 평가하는 핵심 테스트베드가 되었지만, 고품질 소프트웨어 공학(SWE) 태스크의 가용성 부족으로 인해 학습이 제한되고 있다. 기존의 합성 데이터 방법은 대체로 고정된 변이(mutation) 또는 버그 주입 절차를 통해 태스크를 생성하기 때문에, 결과 분포가 에이전트 자체의 약점이나 학습 진행 상황과 무관한 경우가 많다. 본 논문에서는 에이전트의 과거 문제 해결 트레이스를 학습 신호의 원천으로 재활용하는 폐쇄 루프 자기 진화 프레임워크인 Socratic-SWE를 소개한다. Socratic-SWE는 트레이스를 보상 계산의 근거로만 활용하는 데 그치지 않고, 반복적으로 나타나는 실패 패턴과 효과적인 수정 패턴을 요약하는 구조화된 에이전트 스킬로 증류한다. 이러한 스킬은 실제 저장소에서 목표 지향적인 수정 태스크 생성을 유도한다. 후보 태스크는 실행 기반 검증을 통해 확인되고, 솔버-그래디언트 정렬 보상으로 점수가 매겨지므로 선별된 태스크는 검증 가능하면서도 Solver 개선에 유용하다. 업데이트된 Solver는 새로운 트레이스를 생성하여 태스크 커리큘럼이 연속적인 라운드에 걸쳐 적응할 수 있도록 한다. SWE-bench Verified, SWE-bench Lite, SWE-bench Pro, Terminal-Bench 2.0 전반에 걸쳐 Socratic-SWE는 동일한 컴퓨팅 예산 하에서 자기 진화 베이스라인을 일관되게 능가하며, 세 번의 반복 후 SWE-bench Verified에서 50.40%를 달성하였다. 이러한 결과는 문제 해결 트레이스가 자기 진화 SWE 에이전트를 위한 확장 가능한 기반으로 활용될 수 있음을 시사한다.