공개 코딩 에이전트 리더보드는 일반적으로 모델 이름과 통과율로 시스템을 순위 매기지만, 주변 하네스(도구를 호출하고, 컨텍스트를 관리하며, 종료 시점을 결정하는 스캐폴드)는 종종 충분히 명시되지 않는다. 하네스가 고정된 경우 모델 간 비교는 유효하다. 하네스가 달라지면 성능과 효율성에서 모델 효과와 스캐폴드 효과가 뒤섞인다. 우리는 Terminal-Bench Pro의 층화된 50개 태스크 부분집합에서 세 가지 오픈소스 하네스(Goose, OpenCode, OpenHands-SDK)에 걸쳐 Qwen 3.6 Plus와 MiniMax M2.5를 평가한다. 하네스 선택은 해결된 태스크당 토큰 수에서 최대 40배 차이를 유발하는 반면, 쌍체 내 모델별 통과율 차이는 0–8퍼센트포인트로 유지된다(95% 쌍체 태스크 부트스트랩 신뢰구간(CI)은 가장 큰 격차를 제외하고는 0을 포함한다). 실패 지문(fingerprint)은 모델 간에 재현된다(Goose의 REASON, OpenHands-SDK의 VERIFY/MAX_TURNS, OpenCode의 idle-loop/TIME), 이는 대체로 모델과 무관한 하네스 수준의 편향을 나타낸다. 인간 중심 코딩 에이전트 평가에서 모델 이름만으로는 불완전한 비교 단위이다. 하네스-모델 쌍이 실제 비용, 지연 시간(latency), 감독 부담을 결정한다. 무동작(no-action) 턴은 단순한 토큰 비용이 아니라 태스크당 대기 세금(wait tax)이다. 따라서 토큰/지연 시간 예산 하에서 통과율 기준으로 하네스-모델 쌍을 선택하고, 모델 비교 시 토큰 사용량, 지연 시간, 전체 하네스 사양을 함께 보고할 것을 권고한다. 익명화된 설정, 원시 시행 로그, 집계 스냅샷, 분석 스크립트를 공개한다.
As large language model (LLM) agents are applied to longer tasks, they increasingly modify workspace state across multiple rounds of iteration. However, agents typically observe only tool outputs and log fragments, while the actual state changes occur in the file system. Without explicit workspace boundaries, state-changing operations such as file writes and temporary artifact generation may scatter changes across paths. Over time, these weakly constrained changes accumulate, making states such as modified files difficult to track. This paper presents LemonHarness, an integrated execution framework for long-horizon agents. LemonHarness establishes an explicit execution boundary by constraining state-changing operations within a clearly defined workspace and bringing model invocation, tool execution, and rule knowledge within a single controlled boundary. State-changing operations, including file writes, dependency installation, and temporary artifact creation, are executed through structured tool interfaces, with execution feedback recorded as observations available to subsequent model decisions. The system also introduces a reusable rule knowledge base, which turns recurring execution rules and acceptance criteria into runtime knowledge. LemonHarness further adds a time-aware execution mechanism that exposes elapsed and remaining budget to the model, so it can rebalance exploration, implementation, and validation effort as time pressure shifts and avoid timeouts from long waits or excessive verification. On Terminal-Bench 2.0, LemonHarness_GPT-5.3-CodeX reached 84.49% accuracy over 445 trials; pairing the same framework with the stronger GPT-5.5 backbone raised the average accuracy to 86.52% across five jobs. The results suggest that a unified runtime boundary, callable rule knowledge, and time-aware execution can improve the stability of long-horizon agent execution.