구조적으로 이안정한: 실제 시간 기준 보정 상태 모니터는 에이전트 수행 속도에서 순간 탐지 영역을 갖지 않는다
Bistable by Construction: Wall-Clock-Calibrated State Monitors Have No Moment-Detection Regime at Agent Cadence
한국어 초록
자율 에이전트를 위한 런타임 모니터는 일반적으로 누적된 내부 상태(행동 기준선, 드리프트 통계, 또는 우리의 이전 연구에서는 모델링된 정서 상태)에 임계값을 적용한다. 우리는 이전에 상태 포화 함정(State Saturation Trap)을 보고한 바 있다: 연속적인 정서 엔진(affect engine)에 대한 상태 임계값 트리거가 SWE-bench 디버깅 에이전트에서 거의 일정한 경보로 작동한다는 것이다(Modgil 2026). 출시 후 감사 결과 엔진이 행동 사이에 dt=0을 수신했으므로 지수 감쇠가 작동하지 않았음이 밝혀졌다: 게시된 함정은 순수 누적기 결과였다. 우리는 기록을 수정하고(정오표, v2) 이 결함을 실험으로 간주한다. 이것이 드러내는 핵심 변수는 모니터의 역학이 샘플 시간(관측당, CUSUM처럼)으로 보정되었는지, 아니면 실제 시간(초 단위 반감기, 정서 모델 및 EMA 기준선처럼)으로 보정되었는지 여부이다. 고정 속도 스트림에서는 이들이 일치하지만, 행동 간 시간이 수 단위로 차이가 나는 에이전트 스트림에서는 일치하지 않는다. 20개 궤적에 대한 균일한 간격(dt in {0..600}s)에 대한 사전 등록된 스윕(sweep)은 실제 시간 레벨 트리거가 두 가지 영역을 가짐을 보여준다: dt<=1s에서는 일정한 경보(20/20; 중앙값 18회 발사), dt>=60s에서는 무음이다. 모든 임계 dt는 (1,30]s 사이에 있다. 실제 에이전트 실행은 지연 시간을 중앙값 1.53s(p90 2.33s)로 측정한다; 실제 코딩 수행 속도는 함정 영역 내에 위치하며, 이는 수정된 메커니즘 하에서의 경험적 발견을 입증한다. 이 구조는 엔진이 아닌 보정 클래스의 속성이다: 원본 오류 스트림에 대한 최소 실제 시간 누적기는 동일한 절벽(cliff)을 재현하는 반면, 동일한 스트림에 대한 샘플 시간 CUSUM은 정확히 dt 불변이다(20/20). 히스테리시스가 포함된 상승 에지 트리거는 모든 조건에서 궤적당 0-3회 발사한다. 우리는 실제 시간 기준 보정 누수 적분기(leaky-integrator) 모니터가 에이전트 스트림에서 순간 탐지기로 작용하는 영역을 허용하지 않는다고 결론짓는다; 전이 탐지는 모든 수행 속도에서 함정을 피하지만, 인간 개입 타이밍은 회복하지 못한다.
원문 초록
Runtime monitors for autonomous agents commonly threshold an accumulated internal state - a behavioural baseline, a drift statistic, or, in our prior work, a modelled affective state. We previously reported a State Saturation Trap: threshold-on-state triggers over a continuous affect engine become near-constant alarms on SWE-bench debugging agents (Modgil 2026). A post-release audit found the engine received dt=0 between actions, so its exponential decay never operated: the published trap is a pure-accumulator result. We correct the record (erratum, v2) and treat the flaw as an experiment. The key variable it exposes is whether a monitor's dynamics are calibrated in sample time (per observation, as in CUSUM) or wall-clock time (half-lives in seconds, as in affect models and EMA baselines). On fixed-rate streams these coincide; on agent streams, where inter-action time varies by orders of magnitude, they do not. A pre-registered sweep over uniform intervals (dt in {0..600}s) on 20 trajectories shows the wall-clock level trigger has two regimes: at dt<=1s a constant alarm (20/20; median 18 firings); at dt>=60s silent. Every critical dt lies in (1,30]s. Real agent runs measure latency at median 1.53s (p90 2.33s); real coding cadence sits inside the trap regime, vindicating the empirical finding under a corrected mechanism. The structure is a property of the calibration class, not the engine: a minimal wall-clock accumulator over the raw error stream reproduces the same cliff, while a sample-time CUSUM over the identical stream is exactly dt-invariant (20/20). A rising-edge trigger with hysteresis fires 0-3 times per trajectory in every condition. We conclude that wall-clock-calibrated leaky-integrator monitors admit no regime in which they act as moment detectors on agent streams; transition detection escapes the trap at every cadence, but does not recover human intervention timing.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19386v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
모든 정답 수정이 같은 성능을 내지는 않는다: 저장소 수준 이슈 해결에서 패치 성능에 대한 실증적 연구
Not All Correct Fixes Run Alike: An Empirical Study of Patch Performance in Repository-Level Issue Resolution
SWE-bench와 같은 저장소 수준 이슈 해결(issue resolution) 벤치마크는 제출된 패치를 주로 정확성 테스트 통과 여부로 평가하며, 테스트를 통과한 서로 다른 패치들 간의 런타임 성능(runtime performance)은 대부분 탐구되지 않은 채로 남아 있다. 패치 성능을 평가하는 것은 필수적이지만, 각 벤치마크 인스턴스마다 성능 워크로드를 설계하는 데 비용이 많이 들어 어렵다. 그러나 이러한 벤치마크는 이미 자연스러운 후보를 제공하는데, 바로 이슈 수정으로 영향을 받는 동작을 실행하는 내장 FAIL_TO_PASS(F2P) 테스트이다. 따라서 우리는 제공된 F2P 테스트를 패치 성능 평가에 재활용할 수 있는지 조사한다. 전체적으로 우리는 Claude Opus 5, GPT 5.6, DeepSeek V4 Pro, Qwen 3.8 Max라는 네 가지 프런티어(frontier) 모델을 SWE-agent와 결합하여 SWE-bench 및 SWE-bench-Live의 검증된(verified) 분할에서 사전 필터링된 측정 가능한 코퍼스(corpus)를 해결하도록 하였으며, 그 결과 개발자의 정답(ground-truth) 패치를 포함해 최소 두 개 이상의 서로 다른 정답 해법을 가진 262개 사례를 얻었다. 이후 우리는 각 해법의 런타임 성능을 네이티브 F2P 테스트에서 명령어 수(instruction count)와 실제 경과 시간(wall-clock time)으로 측정하고, 더 강건한 통계적 판별 기준으로 선행 연구에서 제안된 RSD 대신 Welch ANOVA를 사용한다. 우리는 이 방법론이 런타임 성능에서 뚜렷한 판별 능력을 보이며, 거의 절반에 가까운 사례에서 패치 간 성능 차이를 식별해냄을 발견한다. 우리의 실증적 연구는 생성된 패치의 런타임 성능이 LLM의 이슈 해결률(resolution rate)과 무관하며, 모델 순위가 거의 뒤바뀐다는 것을 보여준다. 사례 연구(case study)는 또한 성능 분석이 정확성 평가에서는 간과된 일부 패치의 아키텍처적 회귀(architectural regression)를 드러낸다는 것을 보여준다. 이러한 발견은 해결률이 저장소 수준 이슈 해결에 대한 LLM의 능력을 충분히 특성화하지 못한다는 것을 시사하며, 향후 평가에서 해결률과 함께 패치 성능을 함께 고려하도록 동기를 부여한다.
Opera: 장기 코딩 에이전트를 위한 언어적 비평가 프레임워크
Opera: A Verbal Critic Framework for Long-horizon Coding Agents
장기(long-horizon) 코딩 에이전트는 시의적절한 교정이 필요하지만, 피드백이 진행 중인 작업을 잘못 판단하거나 근본적인 문제를 해결하지 못할 경우 비효과적이거나 심지어 해로울 수 있습니다. 기존의 비평가(critic)들은 궤적(trajectory)을 평가하고 피드백을 생성하는 데 초점을 맞추지만, 피드백이 전달된 이후 어떤 일이 일어나는지는 거의 추적하지 않습니다. 본 논문에서는 각 교정을 지속적인 메모로 취급하여 진단된 문제가 해결될 때까지 추적하는 언어적 비평가 프레임워크인 Opera를 제시합니다. Opera는 주기적 및 이벤트 기반 트리거를 통해 검토 시점을 결정하고, 타입화된 연산자(typed operator)로 문제를 진단하며, 전달 전에 가시적인 근거를 바탕으로 피드백을 검증하고, 에이전트의 후속 행동을 추적하여 단순한 순응과 실제 해결을 구분합니다. 테스트 시점 비평가(test-time critic)로서 Opera는 4개의 정책 모델 전반에 걸쳐 Terminal-Bench 2.1, SWE-Bench Pro 하위 집합, DeepSWE v1.1에서 비-비평가 에이전트의 해결률을 각각 최대 12.4%p, 15.0%p, 8.9%p 향상시키며, 세 벤치마크 모두에서 경쟁력 있는 비평가 베이스라인 중 가장 높은 평균 해결률을 달성하고, 정책이 스스로를 비평할 때도 정책 모델을 개선합니다. 추론을 넘어, Opera 기반 롤아웃은 대략적인 온-정책(on-policy) 학습 데이터를 제공합니다. 이를 통해 Qwen3.5-9B를 미세조정(fine-tuning)하면 추론 시 비평가 없이도 미평가(held-out) SWE-Bench Pro 리포지토리에서 해결률이 10.2%p 향상되어 더 강력한 모델의 롤아웃으로 미세조정한 것과 동등한 성과를 내는 동시에, 하네스(harness)를 전환할 때(즉, Openhands에서 Terminus-2로 전환 시 후자의 경우 성능이 크게 저하됨)에도 성능을 유지합니다. 저희 코드는 https://github.com/dongyuanjushi/Opera 에서 확인할 수 있습니다.
코드 이해는 코딩 에이전트의 병목 현상이다
Code Understanding is a Bottleneck for Coding Agents
코딩 에이전트(coding agent)를 위한 저장소 벤치마크(예: SWE-bench)는 편집된 코드 라인 수가 작업 난이도를 예측할 수 있다고 가정하는 경우가 많지만, 이러한 데이터셋은 코드와 작업 유형에 대한 통제가 미흡하여 어떤 능력이 실제로 에이전트 오류를 유발하는지 파악하기 어렵게 만듭니다. 우리는 엄격한 에이전트 평가를 위한 코딩 능력 청사진인 CABRA(Coding Ability Blueprint for Rigorous Agent evaluation)를 제시합니다. CABRA는 작업을 호출 그래프(call graph) 변환 형태로 처음부터 구축하며, 함수 순회, 검색, 런타임 해석, 인스트럭션 추종의 네 가지 축에서 작업 크기 매개변수를 통해 난이도를 조절합니다. 우리는 6,840개의 CABRA 작업에서 8개의 대규모 언어 모델(LLM)과 6개의 코딩 에이전트를 실행하여 다음을 입증합니다. 1) 작업 크기가 커질수록 LLM의 정확도는 떨어지지만, 에이전트는 도구(예: grep)로 작업을 오프로딩하여 거의 완벽한 상태를 유지합니다. 2) 더 큰 CABRA 작업은 읽기 및 분석을 위한 도구 호출을 더 많이 유발하는 한편, SWE-bench Verified에 대한 별도 연구에서는 이러한 도구 호출 수가 편집된 코드 라인 수보다 에이전트의 정확도를 더 잘 예측함을 보여주며, 이는 에이전트의 작업 난이도가 단순히 편집을 수행하는 것만이 아니라 편집할 코드를 이해하는 데 있을 수 있음을 시사합니다. 3) 두 클래스에 걸쳐 분기되는 로직을 분석하는 심층적인 이해 작업으로 CABRA를 확장했을 때 에이전트 정확도가 마침내 떨어지면서 이러한 발견을 뒷받침합니다. 더 나아가, 우리는 도구에 의해 사소해진 LLM의 약점(예: needle-in-a-haystack)과 코딩 에이전트가 여전히 어려워하는 단순 편집 이상의 능력(예: 이해)을 드러내기 위해, SWE-bench 스타일의 작업과 통제된 진단을 결합하는 CABRA와 같은 합성 평가가 필요하다고 주장합니다.
슈뢰딩거의 코드 저장소: LLM은 SWE-bench를 학습했는가, 아니면 암기했는가?
Schr\"odinger's Code Repository: Have LLMs Learned SWE-bench or Memorized It?
저장소 수준 코딩 벤치마크는 코딩 에이전트 평가의 표준이 되었지만, 학습에 반복적으로 사용된 인기 오픈소스 저장소 위에 구축되기 때문에 본질적으로 데이터 유출 문제를 겪는다. 결과적으로, 높은 성능은 견고한 저장소 추론이라기보다 정형화된 저장소 단서의 암기를 반영할 수 있다. 우리는 동적으로 인스턴스화된 저장소 표현 하에서 코딩 에이전트를 시험하기 위한 평가 프레임워크인 SchrodingerRepo(슈뢰딩거의 저장소)를 제안한다. 테스트 저장소의 정적 표현을 반복적으로 사용하는 대신, SchrodingerRepo는 테스트 저장소를 에이전트가 평가 환경에 진입할 때에만 동적으로 인스턴스화되는 평가 시점 잠재 변수로 취급한다. 인스턴스화된 저장소는 네 가지 변환 수준—문제 진술 재구성, 네임스페이스 재매핑, 파일 내 레이아웃 재정렬, 기능 보존 코드 재작성—을 통해 명명 규칙, 파일 레이아웃, 구현 패턴과 같은 친숙한 단서를 훼손하면서 원래의 실행 가능한 동작을 보존한다. 우리는 SWE-bench Verified와 SWE-QA에서 인기 LLM을 평가한다. 결과는 친숙한 저장소 단서를 제거하면 모델 전반에 걸쳐 에이전트 성능이 일관되게 저하되고 상호작용 비용이 실질적으로 증가함을 보여준다. 추가 분석에 따르면, 추가 비용은 주로 저장소 탐험과 위치 특정(localization)의 난이도 증가에서 기인한다. 이러한 결과는 현재 코딩 에이전트가 저장소 측 암기된 단서에 부분적으로 의존할 수 있음을 시사하며, 동적으로 인스턴스화된 저장소 표현 하에서의 평가 필요성을 부각한다.
NVIDIA-labs OO Agents: 네이티브 Python 객체지향 에이전트
NVIDIA-labs OO Agents: Native Python Object-Oriented Agents
기존 에이전트 개발은 프롬프트 템플릿, 도구 스키마, 콜백 코드, 워크플로 그래프에 걸쳐 분산되어 있다. 우리는 신뢰할 수 있는 AI 에이전트를 구축하기 위한 모델 불문 Python 프레임워크인 NVIDIA Object-Oriented Agents(NOOA)를 제안한다. NOOA는 더 단순한 접근을 취한다: 에이전트는 Python 객체이다. 메서드는 모델이 수행할 수 있는 행동이고, 필드는 상태이며, docstring은 프롬프트이고, 타입 어노테이션은 계약이다. 코드 본문이 "..."로 구성된 메서드는 LLM 구동 에이전트 루프에 의해 런타임에 완성되며, 일반 본문을 가진 메서드는 표준적인 결정론적 Python으로 유지된다. 이는 개발자와 에이전트에게 동일한 인터페이스를 제공하므로, 에이전트 동작을 다른 소프트웨어와 마찬가지로 테스트, 추적, 리팩터링, 개선할 수 있다. 본 논문은 세 가지 기여를 한다. (1) Python 객체로서의 에이전트 프로그래밍 모델과 그 설계 원칙을 제시한다. Python에 기존 추상화가 있는 곳에서는 이를 직접 채택한다. 에이전트 특화 기능—컨텍스트, 이벤트, 상태 렌더링, 장기 기억, 검증된 LLM 루프—는 단순한 Pythonic API를 통해 노출되므로, 개발자와 에이전트 모두 하나의 익숙한 프로그래밍 모델을 공유한다. (2) 우리가 아는 한 NOOA가 단일 표면에서 처음으로 결합한 여섯 가지 모델 대면 아이디어를 식별한다: 타입이 지정된 입출력, 활 객체에 대한 참조 전달(pass-by-reference), 코드를 행동으로(code as action), 프로그래밍 가능한 루프 엔지니어링, 명시적 객체 상태, 컨텍스트와 이벤트를 위한 모델 호출 가능 하네스 API. 커뮤니티가 이미 여러 아이디어—종종 실험적이거나 부분적인 기능으로—수렴하고 있음을 발견하고, 추가 채택을 장려하기 위해 비교를 제시한다. (3) SWE-bench Verified, Terminal-Bench 2.0, ARC-AGI-3와 같은 에이전틱 및 추론 벤치마크와 목표 지향 역량 테스트 모두에서 현재 모델이 이 인터페이스를 효과적으로 사용함을 보여준다.
Fail-to-Pass를 넘어서: 공동 생성 버그 재현 테스트와 수정의 반복적 강화
Beyond Fail-to-Pass: Iterative Hardening of Co-Generated Bug Reproduction Tests and Fixes
대규모 언어 모델(LLM)은 실제 버그에 대한 자동 프로그램 수정(APR)을 점점 더 실용적으로 만들었지만, 버그 리포트만으로 직접 수정하는 것은 여전히 제약이 부족한 상태로 남아 있다. 버그 재현 테스트(BRT)는 버그 리포트를 실행 가능하고 버그에 특화된 신호로 변환하여 수정을 안내하고 후보 패치를 검증할 수 있게 함으로써 이 격차를 메우는 데 도움이 된다. 기존 연구는 따라서 APR의 핵심 하위 문제로서 BRT 생성을 연구해 왔으며, 생성된 BRT를 주로 fail-to-pass(F->P) 기준으로 평가하는데, 이는 테스트가 버그가 있는 코드에서는 실패하고 정답 수정(golden fix)에서는 통과해야 함을 요구한다. 우리는 BRT의 목표가 하류 수정을 개선하는 것일 때 F->P만으로는 불충분함을 보인다. 특히 일부 F->P BRT는 느슨한(lax) 것으로, 관찰된 증상은 재현하지만 그럴듯하지만 잘못된 패치를 여전히 허용한다. 우리는 F->P BRT를 엄격한(rigorous) 것과 느슨한 것으로 구분하여 이 누락된 품질 차원을 형식화하고, 경험적으로 엄격한 BRT만이 일관되게 수정 성공을 개선함을 보인다. 또한 공동 생성(co-generation)이 테스트-수정 오류 결합(test-fix error coupling)을 도입함을 발견하는데, 여기서 궤적 내(in-trajectory) fail-to-pass(F->P) 검사는 생성된 패치와 생성된 테스트가 모두 틀렸을 때에도 통과할 수 있다. 이러한 발견을 바탕으로, 우리는 Lax 신호를 루프 내 수렴 기준으로 사용하는 공동 생성 프레임워크인 CoHarden을 제안한다. CoHarden은 먼저 어떤 수정도 하기 전에 테스트를 생성한 다음, 생성된 테스트가 더 이상 Lax 회귀를 허용하지 않을 때까지 생존하는 돌연변이(mutation) 패치에 대해 테스트와 수정을 반복적으로 강화한다. 실험 결과 CoHarden은 SWE-bench Verified에서 69.4% Resolved와 78.9% F->P를 달성하여, 각각 Resolved에서 가장 강력한 fix-only 및 공동 생성(cogeneration) 기준선보다 +9.6 및 +7.9 퍼센트포인트 더 우수한 성능을 보였으며, 다양한 LLM 백본과 벤치마크에서 일관된 향상을 보였다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.