PyTorchKR Papers

최신 논문

총 16편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.39578v2cs.CL

틀에서 벗어난 사고: 언어 모델은 외부 지침에 선택적으로 의존할 수 있는가?

Thinking Outside the Box: Can Language Models Rely on External Guidance Selectively?

에이전트 하네스(agent harness)는 사람이 설계한 워크플로우를 통해 언어 모델을 개선하는 경우가 많지만, 모델의 능력이 향상됨에 따라 신뢰할 수 없는 지침은 오히려 모델의 실행을 제약할 수 있습니다. 본 연구에서는 유용한 지침을 활용하는 동시에 신뢰할 수 없는 지침은 기각하는 능력을 '틀에서 벗어난 사고(thinking outside the box)'라고 부릅니다. 저자들은 모델이 지침에 대한 의존도를 어떻게 조절하는지 분리해 파악하기 위해, 모델과 작업을 고정한 채 워크플로우의 신뢰도를 다양하게 변화시키는 Box$^2$-Bench를 도입합니다. Box$^2$-Bench에서 프론티어 모델들은 신뢰할 수 있는 지침으로부터 이점을 얻는 경우가 많지만, 지침이 오도하거나 신뢰할 수 없게 될 때는 여전히 취약한 상태로 남아 있습니다. 이러한 능력을 학습할 수 있는지 검증하기 위해, 평가를 위해 우수한 워크플로우는 남겨두고 불량한 워크플로우를 사용하여 두 개의 오픈 가중치(open-weight) 모델을 학습시킵니다. 또한 두 가지 상호 보완적인 학습 전략을 탐색합니다. 반사실적 지도 미세조정(counterfactual supervised fine-tuning)은 강건성을 향상시키는 반면, 결과 기반 강화학습(outcome-based reinforcement learning)은 도움이 되는 워크플로우를 더 적극적으로 활용하도록 균형을 이동시킬 수 있습니다. 나아가 이러한 동작이 워크플로우를 넘어 다른 형태의 외부 정보로도 확장되어 동료 수정(peer correction) 능력을 향상시키고 오염된 메모리에 대한 강건성을 높임을 확인했습니다. 종합적으로, 본 연구 결과는 오류 가능성이 있는 외부 정보에 대한 선택적 의존이 작업 수행 성능만으로는 포착되지 않는 에이전트 신뢰성의 중요한 한 차원임을 밝혀냅니다.

arXiv:2610.02488v2cs.LG

LLM을 에이전트로 활용하기: 비용은 얼마인가?

Harnessing LLMs as Agents: What Does It Cost?

언어 모델 에이전트는 제한된 컨텍스트(bounded context), 영속 메모리(persistent memory), 도구, 검증, 반복 실행을 관리하는 하네스(harness)에 점점 더 의존하고 있지만, 기존의 모델 능력 개념은 이러한 메커니즘이 소비하는 계산 자원을 정량화하지 못한다. 우리는 기저 의미론적 모델(semantic model)은 고정한 채 하네스 수준의 자원을 명시적으로 과금하는 자원 제약 추상화인 언어 모델 에이전트 머신(Language Model Agent Machine, LAM)을 도입한다. 우리는 네 가지 범주의 결과를 확립한다. 통신(Communication): LAM 실행은 동시적인 호출-전송 예산(call-transfer budget) 하에서 적-청 페블링(red-blue pebbling)과 인스턴스 단위로 동등하며, 이는 고전적인 입출력 하한(I/O lower bound)을 컨텍스트-메모리 트래픽으로 전이시킨다. 접근(Access): 메모리 인터페이스는 포인터 체이싱(pointer chasing)에서 무작위 접근과 비추측적(non-speculative) 순차 접근 사이의 $Θ(n)$ 격차를 포함하여 점근적 분리(asymptotic separation)를 유발한다. 재계산(Recomputation): 비트 반전(bit-reversal) DAG는 컨텍스트 용량 $C$와 영속 메모리 용량 $S$ 하에서 $Θ(n^2/(C+S)+n)$회의 모델 호출을 필요로 하며, 이는 저장된 중간 상태가 반복적인 의미론적 계산을 언제 피할 수 있는지를 정량화한다. 신뢰성(Reliability): 우리는 엄밀한 단계별(stage-local) 샘플링 한계, 불완전 검증(imperfect-verification)의 정확한 비용, 그리고 닫힌 형태의 최적 검증 간격을 갖는 영-데일리(Young-Daly) 유형의 체크포인트 법칙을 유도한다. GPT-6 Astra에 대한 통제 실험과 홀드아웃(held-out) 실험은 체크포인트 최적값, 프로그래밍적 검사(programmatic checking) 하에서의 정책 선택, 그리고 연쇄 MATH 과제에서 호출 단위(call granularity), 논리적 입력 트래픽, 신뢰성 간의 트레이드오프를 포함하여 통신 및 신뢰성 예측을 검증한다. 종합적으로, 이 결과들은 언어 모델 에이전트 하네스의 계산 비용에 대한 자원 이론(resource theory)을 제공한다.

arXiv:2610.02616v1cs.AI

VERSE: 에이전트 하네스를 위한 검증 기반 자기 진화 옵티마이저

VERSE: Verified Self-Evolving Optimizer for Agent Harnesses

하네스 진화는 대규모 언어 모델(LLM) 에이전트(agent)의 프롬프트, 도구, 워크플로를 개선하지만, 옵티마이저(optimizer) 자체의 도구와 절차는 고정된 채로 유지되는 경우가 많습니다. 본 연구에서는 옵티마이저가 실패를 진단하고, 수정을 개발하며, 그 효과를 테스트하는 방식을 스스로 개선함으로써 다른 에이전트를 더 효과적으로 개선할 수 있는지 살펴봅니다. 두 가지 관찰 결과가 본 설계를 이끕니다. 통제된 연구에서 옵티마이저의 자기 진화는 실행 기반 검증(verification) 없이는 성능을 향상시키지 못하지만, 검증이 가능할 때는 해당 연구에서 최고의 결과를 달성합니다. 5개의 실행자 전반에 걸쳐 자기 진화 옵티마이저는 실패 분석, 검증, 학습(training) 감사, 워크플로 제어를 위한 자체 도구를 구축합니다. 이러한 발견에 착안하여, 에이전트 하네스를 위한 검증 기반 자기 진화 옵티마이저인 VERSE를 제안합니다. VERSE를 통해 옵티마이저는 제출 전에 초안 수정을 테스트하고, 실패를 재현하며, 의심되는 단계를 변동시켜 볼 수 있는 동시에 라운드에 걸쳐 수정 사항과 성능 저하(regression)를 추적할 수 있습니다. 이러한 피드백을 활용하여 옵티마이저는 옵티마이저 및 실행자 모델의 가중치를 고정한 채 실행자 하네스와 자체 프롬프트, 스킬, 도구, 훅(hook), 노트를 모두 수정합니다. 상호 배타적인 학습, 검증(validation), 테스트 태스크를 갖춘 공통 프로토콜 하에서, VERSE는 유보된(held-out) SWE-rebench 태스크와 5개 언어로 구성된 최신의 분포 외(out-of-distribution) 태스크에서 평가 대상 4개 하네스 옵티마이저 모두의 성능을 향상시킵니다. 검증을 통해 선택된 최적의 하네스는 가장 강력한 베이스라인의 39.2% 및 29.3% 대비 각각 42.3% 및 37.7%의 정확도에 도달합니다. 코드는 https://github.com/wzekai/VERSE 에서 확인할 수 있습니다.

arXiv:2610.02267v1cs.AI

빠른 모델, 느린 증거: LLM 에이전트 하네스를 위한 시스템 1 의사결정 모델의 쌍체 및 자체 감사 평가

Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses

에이전트 하네스는 작업당 여러 가지 작고 정형화된 결정을 내립니다. 어떤 모델을 호출할지, 어떤 도구를 사용할지, 검색된 텍스트가 관련성이 있는지, 입력에 인젝션 공격이 포함되어 있는지 등이 이에 해당합니다. 시스템 1(System-1) 의사결정 모델은 클래스 확률을 통해 단 한 번의 순전파(forward pass)만으로 이러한 질문에 답하므로 대규모 언어 모델(LLM) 호출 대비 비용과 지연 시간을 대폭 절감할 수 있을 것으로 기대됩니다. 본 연구에서는 18개 공개 소스로부터 구축된 11개 에이전트 결정 지점에 대해 오픈 가중치 모델(Laya)과 호스팅 모델(Jev) 시스템 1 모델의 쌍체 평가(paired evaluation)를 제시합니다. 이는 바이트 단위로 동일한 입력, 쌍체 검정, 하드웨어 간 및 일자 간 재현성 검증을 거친 7,283개의 기본 케이스와 6,640개의 견고성 변형 케이스를 포함합니다. Jev는 11개 결정 지점 중 9개에서 유의미하게 더 높은 정확도를 보였습니다(+10.8 ~ +46.0%p). 제로샷(zero-shot) 모델 라우팅에서는 두 모델 모두 무작위 확률을 넘어서지 못했으며, 검색-증강 생성(RAG) 관련성 게이팅에서는 동률을 기록했습니다. Laya는 선택지 순서가 뒤바뀌었을 때 답변의 30%를 바꾸었으며, 후보 수가 많거나 유사할 때 성능이 급격히 저하되었습니다(정답 도구가 유일한 항목에서 Jev가 98%를 기록한 반면, Laya는 50개 최근접 이웃 도구 조건에서 31% 기록). 또한 본 연구에서는 자체 파이프라인에 대한 감사도 수행했습니다. 세 가지 분석 오류와 한 가지 설계 혼란 변수가 주요 배포 관련 주장을 왜곡했습니다. 즉, 생략된 사전 스크리닝 비용(보고된 23.9% 절감, 실제로는 4.3%), 엔드투엔드 품질로 보고된 게이트 정확도(58% 대 98%), 표본 내 임계값(목표치 5%, 미학습 검증 데이터 누락률 최대 17%), 그리고 채널 고유 콘텐츠 환경에서는 사라지는 인젝션 오탐(false positive)에 대한 "채널 효과"가 확인되었습니다. 다른 두 가지 의심된 혼란 변수는 결론을 바꾸지 않았습니다. 모든 케이스, 원시 출력 및 분석 코드는 https://github.com/David-DL-Space/sys1-eval 에서 확인할 수 있습니다.

arXiv:2610.02001v1cs.AI

Mingbird: 소형 오픈 모델의 실제 작업 완수를 가능하게 하는 로컬 우선 에이전트 하네스

Mingbird: A Local-First Agent Harness Enabling Small Open Models to Complete Real Tasks

소형 오픈 가중치(open-weight) 모델(2-9B)은 일반 노트북에서도 구동되지만, 클라우드 스케일의 에이전트(agent) 하네스 환경에서는 실제 작업을 완수하는 경우가 드뭅니다. 도구 사전 채우기(prefill)로 컨텍스트가 넘치고, 자체 교정(self-correction)이 발산하며, 도구 시연이 루프에 빠지고, 작업이 조용히 중단되기 때문입니다. 본 논문에서는 통제된 단일 머신 비교와 하나의 서드파티 벤치마크를 통해, 이러한 실패의 상당 부분이 모델보다는 하네스에 기인한다는 증거를 제시합니다. 우리는 Windows 및 Ollama를 위한 로컬 우선 에이전트 하네스인 Mingbird를 소개합니다. Mingbird의 10가지 메커니즘은 소형 모델의 실패 형태를 조목조목 보완하며, 그중 대표적인 세 가지는 바이트 수준의 순 제로(net-zero) 사전 채우기 예산, 완료를 수락하기 전에 작업을 다시 읽는 완료 게이트(finish gate), 그리고 서명 수준의 루프 감지입니다. 머신, 모델, 예산, 점수 산정을 고정한 통제된 비교인 LRAB(4개 하네스 $\times$ 4개 오픈 모델(2B-35B) $\times$ 18개 실제 작업, 결정론적 산출물 점수 산정)에서 Mingbird는 goose(0.631), opencode(0.479), agent-mini(0.405) 대비 종합 0.886을 달성했으며 288개 셀 전체를 공개했습니다. $τ^2$-bench(278개 작업, 3개 암, 단일 프로토콜)에서는 0.791 및 0.737 대비 총합 0.856을 기록했습니다. 또한 동일한 18개 작업에 대한 프론티어 모델 프로브에서는 하네스 전반에 걸쳐 0.997에서 0.478의 범위를 보였으며, 잘 구성된 스캐폴드는 서로 0.072 이내의 차이를 유지했습니다. 단일 메커니즘 제외 어블레이션(leave-one-mechanism-out ablation)은 방향성만을 나타내는 것으로 보고됩니다. 동일 암에 대해 같은 날 밤 수행된 반복 실험은 그 평균을 최대 0.069까지 변화시켰는데, 이는 모든 명목상 단일 시행 델타의 크기이며, 단일 배치(batch) 매칭 비교(전체 메커니즘 스택 대 텍스트 재읽기 단독)에서는 실행 가능한 완료 가드가 세 차례의 반복 실험에 걸쳐 페어 기준 +0.10을 보였습니다. 본 증거에는 자체 제작된 벤치마크, 단일 머신, 단일 시행 점수 산정이라는 명시된 한계가 수반됩니다.

arXiv:2610.00917v1cs.AI

적합한 조합 찾기: 에이전트 태스크 전반에 걸친 모델-하네스 상호작용

Finding the Right Fit: Model-Harness Interactions across Agent Tasks

에이전트(agent) 시스템을 선택한다는 것은 언어 모델(language model)과 해당 모델이 동작하는 하네스(harness)를 모두 선택함을 의미한다. 본 연구에서는 강력한 모델, 하네스 또는 그 조합이 환경이 바뀌어도 강력함을 유지하는지 묻는다. 설정 가능한 네 가지 하네스(OpenHands, DeepSeek Harness, PI, openJiuwen)를 다섯 가지 모델과 결합하여 TUA-Bench, ALE-CLI, Terminal-Bench 4에서 평가하고, 기본(native) 조합인 Codex-GPT 및 Claude Code-Claude를 더해 총 66가지 구성을 평가한다. 모델 순위는 하네스에 따라 뒤바뀐다. Terminal-Bench 4에서 Claude는 OpenHands 환경에서 GPT를 7.94점 앞서지만, PI 환경에서는 30.16점 뒤처진다. 다섯 개 모델 중 네 개에서 벤치마크마다 최적의 하네스가 달라졌으나, 특정 조합은 일관되게 유지되었다. openJiuwen은 세 벤치마크 모두에서 Kimi에게 5.61점에서 11.11점 차이로 최고 점수를 제공했다. 모델 자체 벤더의 하네스가 항상 최적은 아니며, 비용이 높다고 해서 반드시 더 높은 점수를 얻는 것도 아니다. Terminal-Bench 4에서 GPT는 DSH보다 PI 환경에서 태스크당 비용을 4분의 1 미만으로 쓰면서도 더 높은 점수를 기록했다. 매칭된 궤적(matched trajectories) 분석은 적합성이 달라지는 이유를 시사한다. 모델은 거의 모든 복구 작업을 스스로 시작하므로, 하네스가 모델이 활용할 수 있는 형태로 실패 정보를 다시 넘겨주는지에 크게 좌우된다. GPT는 PI의 간결한 스캐폴드(scaffold)에서 가장 우수한 성능을 보인 반면, 기형적인 도구 호출(tool call)을 자주 생성하는 Kimi는 openJiuwen에서 가장 우수한 성능을 보였다. 우리는 모델, 하네스, 태스크를 함께 평가해야 한다고 주장하며, 하네스 어댑터, 평가 코드 및 점수가 매겨진 6,204개 궤적 전체를 https://github.com/liyix/finding-the-right-fit 및 https://huggingface.co/datasets/yixuanli97/finding-the-right-fit 에 공개한다.

arXiv:2610.00025v1cs.AI

마이크로태스크 적격성 격차 측정: 상용 SLM은 언제 에이전트 하네스에 충분한가?

Measuring the Microtask Eligibility Gap: When Is an Off-the-Shelf SLM Enough for an Agent Harness?

에이전트(agent) 하네스는 프론티어 대규모 언어 모델(LLM) 플래너 주변의 마이크로태스크(셸 명령어 자동 승인, 메모리 작성, 도구 선택, 이전 턴 순위화)에 소형 언어 모델(SLM)을 실행하고자 하는 경향이 커지고 있습니다. 본 논문에서는 상용 SLM이 실무자가 정의한 임계값을 충족하는지, 실패한다면 그 이유는 무엇인지, 그리고 양자화(quantization)가 그 결과를 바꾸는지 질문합니다. 이를 위해 고정된 프롬프트(prompt)와 자동 평가 지표를 갖춘 4개의 마이크로태스크로 구성된 벤치마크를 구축했습니다. 각 태스크는 저렴한 비-LLM 기준선(baseline)에 고정된 사전 지정 임계값 $τ$와 신뢰구간(CI) 인식 적격성 규칙(신뢰 한계가 $τ$를 넘어야만 구성이 통과됨)을 가집니다. 최상의 조건(FP16, 그리디, 단일 고정 프롬프트, 튜닝 없음)에서 Qwen3 0.6/1.7/4/8B 모델들을 전수 조사한 결과, 적격성 격차(eligibility gap)를 발견했습니다. 16개 구성(4개 태스크 $\times$ 4개 모델) 중 통과한 구성은 0개였습니다(원시 출력과 파서 동작 검증 완료). 로그 확률(logprob) 결정 임계값 진단(T1/T3/T4; T2는 컨텍스트 길이/캐스케이드 프로브를 통해 수행)을 통해 실패 원인을 역량 부족과 디코딩 임계값 변경으로 해결 가능한 실패(4가지 영역)로 분류했습니다. 4비트 양자화(RTN/GPTQ/AWQ)는 모델 크기에 따라 손상을 입히며 어떤 구성도 적격 상태로 전환하지 못했으므로(재구성 가능한 하드 라벨 태스크 T1/T3에서 검증, T2/T4에서 진단/윈도우 강건성 확인), 격차는 정밀도(precision)보다 모델 크기에 더 크게 좌우됩니다. 이 결과는 Llama-3.x에서도 재현되었으며(12/12 부적격), 앵커 선택($τ$ 탐색) 및 프롬프트 문구(원문 및 셀당 3개의 중립적 패러프레이징에 걸쳐 0/112 적격)에 대해서도 강건했습니다. 실질적인 시사점은 다음과 같습니다. CI 기반 임계값을 충족하는 기준선 뒤에 SLM을 배치하고, 기준선이 임계값을 충족하지 못하는 경우에만 SLM을 사용하는 것입니다. 예를 들어 BM25 후보군에 대한 4B 재순위화 모델은 자체적으로 적격성을 입증하지 못하더라도 BM25보다 우수한 성능을 보였습니다($+0.047$ [0.020, 0.073]).

arXiv:2609.27871v1cs.SE

유계 루프: 에이전트 하네스를 위한 실행 전 비용 지출 한계, 증명된 종료, 검증된 완료

Bounded Loops: Pre-Run Spend Bounds, Proved Termination, and Verified Completion for Agent Harnesses

주류 에이전트(agent) 프레임워크에서는 에이전트 자체의 출력이 종료를 알릴 때 단계가 끝납니다. 내구성 실행(durable-execution) 플랫폼은 재시도 횟수와 시간을 제한하지만, 검사기(checker)는 관례적으로 작업과 동일한 코드베이스에 위치합니다. 이는 배포 환경이 준수할 것으로 신뢰하는 규율일 뿐, 하네스가 강제하는 속성이 아닙니다. 본 논문에서는 에이전트 하네스가 보장해야 하는 바를 명시하고 이를 증명하며, 하네스가 이를 충족하는지 측정하는 계측 도구를 구축합니다. 유계 루프(bounded loop)는 워커(worker), 워커가 쓸 수 없는 독립적인 게이트(gate), 그리고 선언된 예산으로 구성됩니다. 유계 루프 그래프는 다운스트림 실패 시 이미 완료된 업스트림 노드(node)를 다시 실행할 수 있도록 하는 복구(repair) 관계를 통해 이들을 결합합니다. 이에 따라 세 가지 보장이 수반됩니다. 첫째, 종료성(termination): 복구 예산이 노드별이 아닌 전역으로 주어질 경우, 폐쇄형(closed form)으로 계산되는 최악의 시도 횟수 총합 하에서 복구 중에도 종료가 유지됩니다. 둘째, 표류 방지: 복구로 인해 귀납적으로 적용할 위상 순서(topological order)가 남지 않으므로, 제어 흐름으로부터 증명되었듯이 어펜드 온리(append-only) 해시 체인 원장의 게이트 판정 없이는 어떤 노드도 DONE에 도달하지 않습니다. 셋째, 초과 지출 방지: 지출 상한은 시도 간이 아닌 시도 내부에서 강제됩니다. 게이트는 2계층 홀드아웃 돌연변이체 코퍼스(mutant corpus)를 바탕으로 측정됩니다. 우리는 타당해 보이는 검사가 무엇이든 통과시키게 만드는 두 가지 부류를 규명합니다. 즉, 검사 대상의 부재로 인해 충족되는 공허성(vacuity)과, 검사가 적용되는 값을 대상 자체가 제공하는 자기 증명(self-attestation)입니다. 69개 루프 카탈로그를 대상으로 해당 계측 도구를 적용한 결과, 배포 및 리뷰를 거친 코드에서 47개의 공허한 게이트를 발견했습니다. 복구된 게이트에 대해 테스트했을 때, 209개의 파괴 돌연변이체에서 오승인(false accept)이 전혀 보고되지 않았습니다($\alpha \le 1.8\%$, Wilson 95%). 그러나 이 수치는 포화(saturation)일 뿐 품질을 의미하지는 않습니다. 게이트를 동결(freezing)하고 새로운 연산자 군을 적용하자, 소진된 코퍼스에서는 0%로 보고되었던 곳에서 23.3%의 오승인율이 다시 나타났습니다. 특정 비율 수치는 개별 게이트에 종속되므로, 연구의 진정한 기여는 수치 자체가 아니라 이러한 평가 체계(apparatus)입니다. 엔진, 카탈로그, 코퍼스는 Apache-2.0 라이선스로 공개됩니다.

arXiv:2607.23588v1cs.CV

JarvisHub: 캔버스-네이티브 멀티모달 창작 에이전트를 위한 오픈 하네스

JarvisHub: An Open Harness for Canvas-Native Multimodal Creative Agents

창작 AI는 단일 단계 에셋 생성에서 장기간(long-horizon) 멀티모달 제작으로 이동하고 있다. 최근 생성 모델은 고품질 이미지, 비디오, 오디오 클립, UI 요소, 스토리보드, 슬라이드 및 기타 창작 에셋을 합성할 수 있지만, 실제 창작 작업은 고립된 프롬프트-출력 상호작용 이상을 요구한다. 참조, 초안, 대안, 편집, 실패한 시도, 버전 관계, 도구 동작, 평가 신호, 인간 피드백이 포함되며, 이들은 함께 진화하는 프로젝트 상태를 형성한다. 기존 프롬프트 기반, 채팅 기반, 노드 기반 생성 시스템은 중간 컨텍스트를 종종 폐기하거나, 선형 대화에 의존하거나, 수동으로 지정된 워크플로를 요구하기 때문에 이러한 상태를 부분적으로만 지원한다. 최근 상용 시스템은 에이전트 지원 창작 제작으로의 전환을 시사하지만, 폐쇄형 아키텍처로 인해 에이전트가 컨텍스트를 어떻게 표현하고, 도구를 선택하고, 산출물을 수정하고, 실패에서 복구하며, 시간에 걸쳐 일관성을 유지하는지 연구하기 어렵다. 이 격차를 해소하기 위해, 장기간 멀티모달 창작을 위한 캔버스-네이티브 창작 에이전트 하네스인 JarvisHub를 제안한다. JarvisHub는 편집 가능한 캔버스를 사용자 작업 공간, 에이전트의 외부 메모리, 행동 공간, 공유 프로젝트 상태로 취급하며, 멀티모달 산출물, 의존성, 버전, 피드백을 타입이 지정된 캔버스 노드와 링크로 표현한다. 캔버스 상태, 프로토콜 브릿지, 에이전트 런타임으로 구성된 3층 아키텍처를 통해 JarvisHub는 에이전트가 검사 가능하고 편집 가능한 창작 상태 내에서 행동할 수 있게 한다. 이 설계는 창작 에이전트를 고립된 도구 사용을 넘어 지속적이고 인간이 조향 가능한(human-steerable) 창작 자동화로 이동시키며, 에이전트가 멀티모달 프로젝트를 점진적으로 계획, 생성, 수정, 조직할 수 있게 하는 동시에 사용자는 전 과정에서 검사, 안내, 개입할 수 있다.

arXiv:2607.22585v1cs.AI

코딩 에이전트의 스캐폴드 효과: 코딩 에이전트 평가에서 하네스 선택이라는 숨은 변수

The Scaffold Effect in Coding Agents: Harness Choice as a Hidden Variable in Coding-Agent Evaluation

공개 코딩 에이전트 리더보드는 일반적으로 모델 이름과 통과율로 시스템을 순위 매기지만, 주변 하네스(도구를 호출하고, 컨텍스트를 관리하며, 종료 시점을 결정하는 스캐폴드)는 종종 충분히 명시되지 않는다. 하네스가 고정된 경우 모델 간 비교는 유효하다. 하네스가 달라지면 성능과 효율성에서 모델 효과와 스캐폴드 효과가 뒤섞인다. 우리는 Terminal-Bench Pro의 층화된 50개 태스크 부분집합에서 세 가지 오픈소스 하네스(Goose, OpenCode, OpenHands-SDK)에 걸쳐 Qwen 3.6 Plus와 MiniMax M2.5를 평가한다. 하네스 선택은 해결된 태스크당 토큰 수에서 최대 40배 차이를 유발하는 반면, 쌍체 내 모델별 통과율 차이는 0–8퍼센트포인트로 유지된다(95% 쌍체 태스크 부트스트랩 신뢰구간(CI)은 가장 큰 격차를 제외하고는 0을 포함한다). 실패 지문(fingerprint)은 모델 간에 재현된다(Goose의 REASON, OpenHands-SDK의 VERIFY/MAX_TURNS, OpenCode의 idle-loop/TIME), 이는 대체로 모델과 무관한 하네스 수준의 편향을 나타낸다. 인간 중심 코딩 에이전트 평가에서 모델 이름만으로는 불완전한 비교 단위이다. 하네스-모델 쌍이 실제 비용, 지연 시간(latency), 감독 부담을 결정한다. 무동작(no-action) 턴은 단순한 토큰 비용이 아니라 태스크당 대기 세금(wait tax)이다. 따라서 토큰/지연 시간 예산 하에서 통과율 기준으로 하네스-모델 쌍을 선택하고, 모델 비교 시 토큰 사용량, 지연 시간, 전체 하네스 사양을 함께 보고할 것을 권고한다. 익명화된 설정, 원시 시행 로그, 집계 스냅샷, 분석 스크립트를 공개한다.

arXiv:2606.21005v2cs.AI

다중모달 소스로부터 과학 큐레이션을 위한 에이전트 하네스 구축

Building Agent Harnesses for Scientific Curation from Multimodal Sources

과학적 발견 워크플로는 종종 문헌으로부터의 구조화된 큐레이션에 의존한다. 현재의 에이전트에게 이는 어려운 일인데, 핵심 근거가 긴 텍스트, 밀집된 표, 그림에 흩어져 있고, 최종 기록은 단일 구간을 복사하는 것이 아니라 여러 근거 조각에 걸친 추론을 요구하는 경우가 많기 때문이다. 우리는 다중모달 소스로부터의 과학적 큐레이션을 연구하고, 과학 논문에서 구조화된 정보를 추출하면서 뒷받침하는 근거에 대한 출처(provenance)를 보존하는 에이전트 하네스인 Beaver를 소개한다. Beaver는 프론티어 에이전트와 다중모달 근거 도구, 태스크 스캐폴딩(task scaffolding), 아티팩트 기반 자동 연구(artifact-grounded autoresearch)를 결합한다. 이러한 구성 요소들은 큐레이션을 단계별로 감사 가능한 워크플로로 바꾸고, 지속적인 실행 아티팩트가 단계별 실패를 드러내고 하네스 업데이트를 안내하는 반복적인 평가-진단-수정(evaluate-diagnose-revise) 루프를 가능하게 한다. 실험 결과 Beaver는 골드 큐레이션 기록과의 일치도를 속성 수준에서 측정하는 Gold-Referenced Attribute Score(GRAS)에서 81.0을 달성하며, 프론티어 에이전트보다 절대값 23점 이상 우수한 성능을 보인다. 어블레이션(ablation) 결과, 태스크 스캐폴딩, 다중모달 근거 도구, 출처 추적(provenance traces)이 각각 성능에 의미 있는 기여를 하며, 속성 수준 분석에서는 교차 모달 추론과 정규화를 요구하는 고가치 속성에서 가장 큰 향상이 나타났다. 이 결과는 다중모달 근거가 있는 논문으로부터의 과학적 큐레이션에서 하네스 설계가 에이전트 성능의 핵심 결정 요인임을 보여준다.

arXiv:2607.14159v1cs.AI

MemoHarness: 경험으로부터 학습하는 에이전트 하네스

MemoHarness: Agent Harnesses That Learn from Experience

에이전트 하네스는 컨텍스트, 도구, 오케스트레이션, 메모리, 디코딩, 출력 처리를 관리하여 기본 LLM을 실행 가능한 에이전트로 전환하는 외부 제어 층이다. 하네스 설계는 에이전트 행동에 큰 영향을 미치지만, 대부분의 자동 개선 방법은 프롬프트, 파이프라인, 워크플로와 같은 더 좁은 산출물을 최적화하며, 배포된 에이전트는 보통 모든 경우에 단일 전역 하네스를 재사용한다. 우리는 자체 실행으로부터 학습하는 적응형 하네스 최적화 프레임워크인 MemoHarness를 제안한다. MemoHarness는 하네스를 여섯 개의 편집 가능한 제어 차원으로 분해하고, 사례별 진단과 정제된 전역 패턴을 이중 층 경험 뱅크에 저장하며, 테스트 시 레이블, 피드백, 추가 검색 없이 검색된 경험을 사용하여 학습된 하네스를 각 테스트 사례에 적응시킨다. 셸 에이전트, 코드 생성, 분석적 추론 벤치마크에 걸친 평가에서 MemoHarness는 우리가 비교한 고정 하네스보다 향상되며, 보지 못한 테스트 스위트와 기본 모델에 대한 선택적 전이를 보여준다. 검색된 경험의 상당 부분이 캐시 가능할 때 추가 컨텍스트도 비용 경쟁력을 유지할 수 있다. 이 결과는 실행 경험이 단일 정적 구성보다 더 적응적인 에이전트 하네스를 구축하기 위한 실용적인 기반임을 뒷받침하며, 통계적 견고성과 구성 요소 귀속에 대한 더 넓은 주장은 향후 연구에 맡긴다.

arXiv:2607.13285v1cs.AI

Harness Handbook: 진화하는 에이전트 하네스를 읽기 쉽고, 탐색 가능하며, 편집 가능하게 만들기

Harness Handbook: Making Evolving Agent Harnesses Readable,Navigable, and Editable

현대 AI 에이전트의 능력은 기반 모델뿐 아니라 프롬프트를 구성하고, 상태를 관리하며, 도구를 호출하고, 실행을 조율하는 하네스(harness)에도 달려 있다. 모델, API, 환경, 요구사항이 변함에 따라 하네스도 지속적으로 수정되어야 한다. 이러한 변경을 수행하기 전에 개발자나 코딩 에이전트는 목표 동작을 구현하는 모든 코드 위치를 식별해야 한다. 이는 프로덕션 하네스가 크고 긴밀하게 결합되어 있으며 동작이 분산되어 있는 반면, 수정 요청은 시스템이 무엇을 해야 하는지를 기술하고 저장소는 파일과 모듈 단위로 구성되어 있기 때문에 어렵다. 코드 검색, 저장소 인덱싱, 긴 컨텍스트 처리는 검토를 용이하게 하지만, 여전히 이러한 동작-코드 매핑을 수작업으로 복원해야 한다. 따라서 동작 위치 파악(behavior localization)은 하네스 진화의 핵심 병목이다. 우리는 Harness Handbook을 제안한다. 이는 정적 분석과 LLM 지원 구조화를 통해 하네스 코드베이스로부터 자동으로 합성되는 동작 중심 표현으로, 각 동작을 해당 소스와 연결한다. 또한 Behavior-Guided Progressive Disclosure(BGPD)를 제안한다. 이는 에이전트를 고수준 동작에서 관련 구현 세부사항으로 안내하고 후보 위치를 현재 소스와 대조하여 검증한다. 두 개의 오픈 소스 하네스에 대한 다양한 수정 요청에서 Handbook-Assisted 계획은 더 적은 플래너 토큰을 사용하면서 동작 위치 파악과 편집 계획 품질을 개선하며, 가장 큰 이득은 분산된 위치, 드물게 실행되는 경로, 모듈 간 상호작용에서 나타난다. 따라서 복잡한 에이전트 시스템의 진화는 편집을 생성하는 것뿐 아니라 그 편집이 어디에 적용되어야 하는지를 결정하는 것에도 달려 있다.

arXiv:2607.05458v1cs.LG

오프라인 강화학습을 이용한 LLM 에이전트 하네스 제어 학습

Learning to Control LLM Agent Harnesses with Offline Reinforcement Learning

동결된 LLM 실행자 주변의 실행 하네스(harness)를 학습 가능한 제어 층으로 형식화하여, 경량 컨트롤러가 Harness MDP 위에서 오프라인 롤아웃의 어드밴티지 가중 회귀(advantage-weighted regression)로 학습하고 구조적 실행 행동을 선택하도록 한다. 6개 도메인과 2개 공개 벤치마크 어댑터 실험에서 학습된 컨트롤러는 제출 전 검증 행동을 일관되게 개선하고 tau-bench retail, AgentBench DB-Bench, 코딩 태스크에서 최종 태스크 품질을 선택적으로 향상시켰으며, 이는 단순 모방이나 검사 추가로 설명되지 않는다.

arXiv:2606.17546v1cs.AI

SEAGym: 자기 진화 LLM 에이전트를 위한 평가 환경

SEAGym: An Evaluation Environment for Self-Evolving LLM Agents

자기 진화(Self-evolving) LLM 기반 에이전트는 주로 에이전트 하네스(agent harness)를 변경함으로써 개선됩니다. 에이전트 하네스란 기반 모델을 둘러싼 구조화된 실행 층으로, 프롬프트, 메모리, 도구, 미들웨어, 런타임 상태, 그리고 모델-도구 상호작용 루프를 포함합니다. 기존 평가들은 종종 이 과정을 개별 태스크 점수나 단일 순차적 곡선으로 단순화하여, 업데이트가 재사용 가능한 개선을 만들어내는지, 최근 태스크에 과적합(overfit)되는지, 비용이 증가하는지, 또는 기존 동작을 손상시키는지를 불분명하게 만듭니다. 우리는 학습, 검증, 테스트, 재현(replay), 비용 기록 전반에 걸쳐 에이전트 하네스 업데이트를 측정하기 위한 평가 환경인 SEAGym을 소개합니다. SEAGym은 Harbor 호환 벤치마크를 학습 배치, 동결된 업데이트-검증, 홀드아웃 ID 및 OOD 전이(transfer) 뷰, 재현 진단, 저장된 스냅샷 및 메트릭 기록을 갖춘 동적 자기 진화 태스크 소스로 변환합니다. Terminal-Bench 2.0과 HLE에 SEAGym을 적용하여 공유된 에포크/배치 프로토콜 하에서 ACE, TF-GRPO, AHE를 비교합니다. 결과는 이러한 평가 뷰들이 진화 과정에 대한 상호 보완적인 신호를 제공함을 보여줍니다: 빈번한 업데이트가 홀드아웃 성능을 개선하지 못할 수 있으며, 유용한 중간 스냅샷이 이후에 붕괴될 수 있고, 소스 다양성과 모델 백엔드가 하네스 신뢰성에 영향을 미칠 수 있습니다.

arXiv:2606.12344v1cs.LG

Claw-SWE-Bench: 코딩 태스크에서 OpenClaw 스타일 에이전트 하네스를 평가하기 위한 벤치마크

Claw-SWE-Bench: A Benchmark for Evaluating OpenClaw-style Agent Harnesses on Coding Tasks

OpenClaw와 같은 범용 에이전트는 자율적 도구 사용자로 점점 더 많이 사용되고 있지만, SWE-bench에서는 이들의 코딩 능력을 측정하기 어렵다. 일반적인 에이전트만으로는 채점에 필요한 깨끗한 Docker 워크스페이스, 패치, 예측 계약을 자체적으로 충족하지 못하기 때문이다. 우리는 Claw-SWE-Bench를 제안한다. 이는 고정된 프롬프트, 런타임 예산, 워크스페이스 계약, 패치 추출 절차, 평가기를 포함한 공정한 설정 하에서 이질적인 에이전트 하네스(claw)를 비교 가능하게 만드는 다국어 SWE-bench 스타일 벤치마크 및 어댑터 프로토콜이다. 전체 벤치마크는 future-commit 정리 후 SWE-bench-Multilingual과 SWE-bench-Verified-Mini에서 추출한 8개 언어, 43개 저장소에 걸친 350개의 GitHub 이슈 해결 인스턴스를 포함한다. 더 빠른 검증을 위해 Claw-SWE-Bench Lite도 공개한다. 이는 17개 보정 열에 대해 비용 인식·순위 인식 절차로 선택한 80개 인스턴스 부분집합이다. 전체 벤치마크에서 최소 direct-diff 어댑터를 사용한 OpenClaw는 Pass@1이 19.1%에 그치지만, 동일한 GLM 5.1 백본을 사용한 전체 어댑터는 73.4%에 도달하여, 어댑터 설계가 OpenClaw 스타일 하네스가 코딩 태스크를 효과적으로 수행하도록 하는 데 필수적임을 보여준다. OpenClaw × 9개 모델 sweep 및 5개 claw × 2개 모델 sweep에서, 고정된 모델 하에서 모델 선택은 Pass@1을 29.4 pp, 하네스 선택은 27.4 pp 변화시킨다. 유사한 정확도를 가진 시스템도 총 API 비용에서 상당한 차이를 보일 수 있다. 따라서 Claw-SWE-Bench는 SWE 스타일 코딩 에이전트 평가에서 하네스와 비용 산정을 1급 축으로 취급하며, 재현 가능한 비교를 위한 전체 벤치마크와 저비용 참조 세트를 모두 제공한다. 데이터는 https://github.com/opensquilla/claw-swe-bench 및 https://huggingface.co/datasets/TokenRhythm/Claw-SWE-Bench에서 이용할 수 있다.