코드 에이전트의 추론 능력과 도구 사용 규율을 결합하기 위해 CRANE은 학습 없이 파라미터를 편집하여 Thinking 모델의 추론 능력을 Instruct 모델에 주입하는 Nullspace 편집 방법을 제안합니다. 이 방법은 Roo-Eval 및 SWE-bench-Verified 등의 벤치마크에서 두 모델을 모두 능가하는 성능을 보이면서도 Instruct 수준의 효율성을 유지합니다.
기존 코드 벤치마크는 에이전트(agent)가 알려진 버그를 재현하는 임의의 테스트를 생성할 수 있는지, 또는 기술된 문제를 해결하는 패치를 생성할 수 있는지를 측정합니다. 그러나 두 방식 모두 속성 기반 테스팅(PBT, property-based testing)의 고유한 역량인 문서로부터 의미론적 불변식(semantic invariant)을 도출하고 무작위 탐색을 통해 위반 사항을 드러낼 수 있을 만큼 정밀한 입력 생성 전략을 구축하는 능력을 분리하여 평가하지는 못합니다. 본 논문에서는 40개의 실제 Python 라이브러리에 걸친 100개의 선별된 속성 기반 테스팅 문제로 구성된 벤치마크인 PBT-Bench를 소개합니다. 각 문제는 기본 전략의 무작위 입력으로는 거의 발생하지 않도록 설계된 하나 이상의 의미론적 버그(총 365개, 문제당 평균 3.65개)를 주입하며, 에이전트는 라이브러리 문서를 읽고 관련 불변식을 식별한 뒤 트리거 영역에 확률 질량을 집중시키는 Hypothesis @given 전략을 명시해야 합니다. 버그는 단일 제약 조건 경계 버그부터 상태를 지닌(stateful) 함수 간 프로토콜 위반에 이르기까지 세 가지 난이도 수준(L1-L3)으로 계층화됩니다. 저자들은 설정당 3회의 독립적인 실행을 통해 두 가지 프롬프트(prompt) 방식(자유형 기준선(baseline) 대비 명시적 Hypothesis 스캐폴딩) 하에서 8개의 최신 대규모 언어 모델(LLM)을 평가합니다. PBT 유도 프롬프트 환경에서 모델 전반의 버그 재현율(recall)은 42.1%에서 83.4% 사이이며, 자유형 기준선 환경에서는 31.4%에서 76.7% 사이를 기록했습니다. Hypothesis 스캐폴딩은 중간 성능 모델을 20%포인트 이상 향상시키지만 최상위 모델에서는 향상 폭이 더 작았으며, 두 가지 예외적인 경우에서는 성능 저하가 나타나 구조화된 프롬프트가 특정 모델의 행동을 보완하기보다 방해할 수 있음을 시사합니다. 가장 까다로운 버그는 모델별로 상이한 것으로 나타났는데, 서로 다른 아키텍처가 서로 다른 문제에서 실패하여 단일 모델로 해결되지 않는 지속적인 격차가 남았습니다. 저자들은 문서 기반 의미론적 추론에 관한 후속 연구를 지원하기 위해 벤치마크, 하네스, 전체 평가 코퍼스를 공개합니다.
저장소 수준의 소프트웨어 공학 작업을 자동화하는 것은 자율 코드 에이전트의 기본적인 과제이며, 이는 주로 실행 가능한 환경을 구성하는 어려움 때문이다. 그러나 수동 구성은 여전히 노동 집약적인 병목으로 남아 있어, 완전 자동화된 환경 구성으로의 전환이 필요하다. 기존 접근법은 종종 사전 정의된 산출물에 의존하거나 특정 프로그래밍 언어로 제한되어, 다양한 실제 저장소에 대한 적용 가능성을 제한한다. 본 논문에서는 임의의 저장소에 대해 프로그래밍 언어를 가로질러 완전 자동 구성을 수행하는 모듈형·확장 가능한 에이전트 프레임워크인 RAT(RunAnyThing)를 최초로 제안한다. RAT는 언어 인식 추상화, 이미지 초기화, 전문 구성 도구 모음, 견고한 샌드박스를 통합하는 다단계 파이프라인을 채택한다. 또한 엄밀한 평가를 위해 실제 저장소의 포괄적 커버리지를 반영하는 벤치마크 RATBench를 제안한다. 광범위한 실험 결과, RAT는 최첨단 성능을 달성하며 강력한 베이스라인 대비 환경 설정 성공률(Environment Setup Success Rate, ESSR)을 평균 36.1% 개선함을 보여준다.
형식 검증의 병목인 Coq 증명 자동화를 위해, 고정된 증명 전략을 강제하는 기존 방식 대신 범용 LLM 코드 에이전트(Claude Code)에 보조 정리 전체를 넘기고 건전성·완전성·종료성을 보장하는 검증 하네스(HHL)로 감싸는 Aria 시스템을 제안한다. Aria는 Iris 분리 논리(separation logic) 핵심 모듈의 보조 정리 4,257개와 이를 기반으로 한 Rust 표준 라이브러리 검증 217개, reglang 318개, iris-lean 72개를 전문가 개입 없이 100% 자동 증명하여, 기존 LLM 증명기 대비 월등한 완전 커버리지를 달성했다.
AIDev-pop 데이터셋의 33,596개 에이전트 PR 중 성능 개선 관련 216개 PR에서 추출한 1,254개의 diff 헝크를 이중-LLM 교집합 파이프라인으로 분류한 결과, 기존 유전적 개선(GI) 코퍼스와 달리 name_modification(37.0%), object_creation(26.4%), type_change(22.7%) 세 범주가 지배적임을 발견했다. 에이전트별로 고유한 변이 패턴이 존재하며, 이는 탐색 기반 소프트웨어 공학(SBSE)에서 에이전트 정체성과 목표 전략을 사전 정보로 활용해 유효한 변이 연산자 공간을 효과적으로 좁힐 수 있음을 시사한다.
대규모 언어 모델(LLM) 기반의 자율 코드 에이전트는 도구 사용, 장기 추론, 자기 주도적 상호작용을 통해 소프트웨어 및 AI 개발을 재편하고 있다. 그러나 이러한 자율성은 이전에 인식되지 않았던 보안 위험을 도입한다: 에이전트적 상호작용은 근본적으로 LLM 공격 표면을 확장하여, 모델 행동을 유도하는 숨겨진 시스템 프롬프트에 대한 체계적 탐색과 복구를 가능하게 한다. 우리는 시스템 프롬프트 추출을 코드 에이전트에 내재된 창발적 취약점으로 식별하고, 상호작용만으로 효과적인 추출 전략을 자율적으로 발견하는 자기 진화형 프레임워크인 \textbf{\textsc{JustAsk}}를 제안한다. 이전의 프롬프트 엔지니어링 또는 데이터셋 기반 공격과 달리, \textsc{JustAsk}는 표준 사용자 상호작용을 넘어서는 수작업 프롬프트, 라벨 지도, 또는 특권적 접근을 필요로 하지 않는다. 이 방법은 추출을 온라인 탐험 문제로 공식화하고, Upper Confidence Bound 기반 전략 선택과 원자적 프로브부터 고수준 오케스트레이션에 이르는 계층적 스킬 공간을 사용한다. 이러한 스킬은 불완전한 시스템 지시 일반화와 유용성과 안전성 사이의 내재적 긴장을 악용한다. 여러 제공업체의 \textbf{41}개 블랙박스 상용 모델에서 평가한 결과, \textsc{JustAsk}는 일관되게 완전하거나 거의 완전한 시스템 프롬프트 복구를 달성하여 반복되는 설계 및 아키텍처 수준의 취약점을 드러낸다. 우리의 결과는 시스템 프롬프트가 현대 에이전트 시스템에서 중요하지만 대부분 보호되지 않은 공격 표면임을 드러낸다.
OpenClaw와 같은 범용 에이전트는 자율적 도구 사용자로 점점 더 많이 사용되고 있지만, SWE-bench에서는 이들의 코딩 능력을 측정하기 어렵다. 일반적인 에이전트만으로는 채점에 필요한 깨끗한 Docker 워크스페이스, 패치, 예측 계약을 자체적으로 충족하지 못하기 때문이다. 우리는 Claw-SWE-Bench를 제안한다. 이는 고정된 프롬프트, 런타임 예산, 워크스페이스 계약, 패치 추출 절차, 평가기를 포함한 공정한 설정 하에서 이질적인 에이전트 하네스(claw)를 비교 가능하게 만드는 다국어 SWE-bench 스타일 벤치마크 및 어댑터 프로토콜이다. 전체 벤치마크는 future-commit 정리 후 SWE-bench-Multilingual과 SWE-bench-Verified-Mini에서 추출한 8개 언어, 43개 저장소에 걸친 350개의 GitHub 이슈 해결 인스턴스를 포함한다. 더 빠른 검증을 위해 Claw-SWE-Bench Lite도 공개한다. 이는 17개 보정 열에 대해 비용 인식·순위 인식 절차로 선택한 80개 인스턴스 부분집합이다. 전체 벤치마크에서 최소 direct-diff 어댑터를 사용한 OpenClaw는 Pass@1이 19.1%에 그치지만, 동일한 GLM 5.1 백본을 사용한 전체 어댑터는 73.4%에 도달하여, 어댑터 설계가 OpenClaw 스타일 하네스가 코딩 태스크를 효과적으로 수행하도록 하는 데 필수적임을 보여준다. OpenClaw × 9개 모델 sweep 및 5개 claw × 2개 모델 sweep에서, 고정된 모델 하에서 모델 선택은 Pass@1을 29.4 pp, 하네스 선택은 27.4 pp 변화시킨다. 유사한 정확도를 가진 시스템도 총 API 비용에서 상당한 차이를 보일 수 있다. 따라서 Claw-SWE-Bench는 SWE 스타일 코딩 에이전트 평가에서 하네스와 비용 산정을 1급 축으로 취급하며, 재현 가능한 비교를 위한 전체 벤치마크와 저비용 참조 세트를 모두 제공한다. 데이터는 https://github.com/opensquilla/claw-swe-bench 및 https://huggingface.co/datasets/TokenRhythm/Claw-SWE-Bench에서 이용할 수 있다.