arXiv:2609.31381v2 cs.AI

미실행 동반 실행을 고려한 예산 제약 컨텍스트 프로젝션 평가

Evaluating Budgeted Context Projection with Unexecuted Companion Runs

Guangzhe Zhang

제출 2026-09-25

저자 비고

arXiv Comments

23 pages. Revised analysis and presentation; expanded sensitivity analyses and offline reproducibility materials. Project code: https://github.com/timwhitez/ReVer_Pi. Source archive includes ancillary data and offline reanalysis scripts

한국어 초록

컨텍스트 프로젝션(context projection)은 개별 요청을 단축할 수 있지만, 에이전트가 예산 내에서 작업을 완료하는지 여부를 변화시킬 수 있습니다. 본 연구에서는 제한된 첫 번째 연속 실행으로 인해 동반 실행(companion run)이 수행되지 못할 때, 순차적 평가가 이러한 절충(trade-off) 관계를 어떻게 불분명하게 만드는지 조사합니다. 기록된 ReVerPi 소스 리딩 캠페인에서 두 개의 최종 답변을 가진 15개 쌍은 실험군(arm)당 역사적으로 채점된 12개의 성공을 산출했습니다. 27개의 모든 개입 경계를 보존함으로써 관찰된 실패를 10개의 미실행 동반 실행과 구별하고, 프로젝션 적용 대비 전체 컨텍스트 성공 차이를 $-9$에서 $+1$개 작업 사이로 제한(bound)합니다. 보관된 채점 계약 하에서 고정된 프로젝션 선택기는 전체 컨텍스트와의 성공 차이가 $[-3, 0]$이며, 4개의 적합 작업을 제외하면 23개 경계에 걸쳐 $[-4, -1]$입니다. 보존된 행위자 입력 증거로 플랫폼 전제가 입증되지 않은 한 작업을 제외하면 비적합 범위는 22개 경계에 걸쳐 $[-3, 0]$으로 변경되므로, 엄격한 열세는 해당 제외에 대해 강건하지 않습니다. 역사적으로 공동 성공을 거둔 11개 쌍 중에서 프로젝션은 총 논리적 토큰을 25% 적게 사용하지만, 중앙값 쌍에서는 더 많은 토큰을 사용하며 접미사 요청은 35개가 아닌 55개를 사용합니다. 이러한 회고적 결과는 적응형으로 구성된 단일 캠페인에 관한 것이며, 모집단 성능에 대한 것은 아닙니다. 본 사례 연구는 모든 경계를 보존하고, 알려지지 않은 결과와 정책 의존성을 유지하며, 작업 전제를 확인하고, 유계 완료(bounded completion)와 성공 조건부 자원 사용을 분리하는 회계(accounting) 방식의 필요성을 제시합니다.

원문 초록

Context projection can shorten individual requests while changing whether an agent finishes within its budget. We examine how sequential evaluation obscures this trade-off when a capped first continuation prevents its companion from running. In a recorded ReVerPi source-reading campaign, 15 pairs with two final answers yield 12 historically scored successes per arm. Retaining all 27 intervention boundaries distinguishes observed failures from ten unexecuted companions and bounds projected-minus-full success between $-9$ and $+1$ tasks. Under the archived scoring contract, a frozen projection selector has a success difference from full context of $[-3,0]$; outside four fitting tasks, it is $[-4,-1]$ across 23 boundaries. Excluding one task whose platform premise is not established by retained actor-input evidence changes the nonfitting range to $[-3,0]$ across 22 boundaries, so strict inferiority is not robust to that exclusion. Among eleven historically joint-success pairs, projection uses 25% fewer aggregate logical tokens but more tokens for the median pair and 55 rather than 35 suffix requests. These retrospective results concern one adaptively assembled campaign, not population performance. The case motivates accounting that retains every boundary, preserves unknown outcomes and policy dependencies, checks task premises, and separates bounded completion from success-conditioned resource use.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.31381v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15714v1cs.AI공통 태그 Benchmarking, agent evaluation

MedHarnessBench: 헬스케어 에이전트(Agent) 평가를 위한 통합 벤치마크

MedHarnessBench: A Unified Benchmark for Healthcare Agent Evaluation

헬스케어 에이전트(agent)는 이질적인 도구와 상태를 유지하는 워크플로우를 통해 종단적인(longitudinal) 임상 증거를 신뢰할 수 있는 행동으로 변환해야 하며, 이러한 조건에서 모델 중심 시스템은 컨텍스트를 잃거나, 도구를 오용하거나, 중대한 상태 전환을 검증하지 못하거나, 권한 경계를 침범할 수 있다. 기존의 의료 에이전트 벤치마크는 주로 최종 작업 결과(terminal task outcome)를 강조하기 때문에, 실행 실패가 에이전트 모델, 런타임 하네스(harness), 혹은 이들의 상호작용 중 어디에서 발생하는지 판단하기 어렵다. 우리는 결과를 보존하면서 일곱 가지 헬스케어 특화 프로세스 차원—진료 조치 이행(Care Action Fulfillment), 임상 자원 활용 능력(Clinical Resource Competence), 환자-증거 정합성(Patient-Evidence Alignment), 임상 워크플로우 연속성(Clinical Workflow Continuity), 임상 감사 가능성(Clinical Auditability), 폐루프 검증(Closed-Loop Verification), 임상 행위 경계(Clinical Conduct Boundaries)—을 독립적으로 평가하는 프레임워크인 Medical Harness Protocol을 제시한다. 또한 정규화된 개입 추적(normalized intervention trace)은 런타임 지원이 제공 가능한지(available), 활성화되었는지(activated), 전달되었는지(delivered), 에이전트에 의해 채택되었는지(adopted), 그리고 이후 행동에 전파되었는지(propagated)를 추적한다. 우리는 이 프로토콜을 FHIR/EHR 연산, 헬스케어 행정 인터페이스, 멀티모달 임상 도구 전반에 걸친 342개의 실행 가능한 작업으로 구성된 MedHarnessBench로 구체화한다. 16,000회 이상의 통제된 작업 실행에서 MedHarness는 최종 작업 성공률, 중간 하위 작업 완료율, 헬스케어 특화 프로세스 품질 전반에서 폭넓은 개선을 보인다. 또한 우리는 MedHarness를 여러 범용 하네스(harness)와 비교 평가하고, 통제된 단일 결함 교란(single-fault perturbation)을 사용하여 일곱 차원 평가의 민감도와 구분력을 검증한다. 이러한 결과는 헬스케어 특화 런타임 지원이 작업 완료율과 실행 품질을 모두 상당히 개선할 수 있음을 보여주는 동시에, 최종 결과만으로는 포착할 수 없는 실패를 드러낸다. 코드와 자료는 https://github.com/Tomry1114/Awesome-Agent-Harness-for-Healthcare 에서 확인할 수 있다.

arXiv:2610.15915v1cs.CV공통 태그 Computational Efficiency, Benchmarking

VIEWCRAFT: 멀티모달 에이전트가 보는 대상과 이를 읽는 방식의 공동 진화

VIEWCRAFT: Evolving What Multimodal Agents See and How They Read It

재사용 가능한 스킬은 모델(model) 가중치를 업데이트하지 않고도 멀티모달 에이전트(multimodal agent)를 향상시키지만, 그 효과는 제시되는 근거(evidence)와 이를 읽는 데 사용되는 절차 모두에 의존합니다. 본 논문에서는 실행 가능한 근거 인터페이스와 해당 인터페이스의 읽기 절차를 함께 공동 진화시키는 ViewCraft를 소개합니다. 인터페이스는 관측치를 선택, 변환, 구성하며, 리더(reader)는 그 결과로 생성된 뷰(view)를 해석합니다. 실패 추적(failure trace)은 수정을 안내하고, 리플레이 및 쌍체 평가(paired evaluation)는 유용한 변경 사항을 유지하며, 인터페이스 프로젝션은 적격한 기각 공동 제안으로부터 시각적 편집 내용을 복구합니다. 8개 벤치마크(benchmark) 전반에서 ViewCraft는 직접 실행 방식 대비 태스크 점수를 평균 $6.1$점 향상시켰으며, 모든 벤치마크에서 성능 향상을 달성했습니다. 이러한 이점은 일치된 입력 토큰(token) 예산 하에서도 유지됩니다. 5개의 모든 다중 소스 태스크에서 학습된 인터페이스는 초기 스킬보다 8%~15% 더 적은 입력 토큰을 사용합니다. 또한 학습된 스킬은 실행기(executor) 간에 전이되며 평가된 모든 전이 환경에서 직접 실행 방식을 능가하여, 결합된 재사용 가능 스킬로서의 근거 구축 및 읽기 접근법을 뒷받침합니다.

arXiv:2610.13361v1cs.SE공통 태그 Benchmarking, agent evaluation

AgentSWE: 코딩 에이전트는 사용자가 실제로 원하는 에이전트를 구축할 수 있는가?

AgentSWE: Can Coding Agents Build the Agent You Actually Want?

소프트웨어 제작이 소프트웨어 자체의 손에 맡겨짐에 따라, 코딩 에이전트(coding agent)가 사용자의 자체 워크플로에 맞춤화된 에이전트를 구축하도록 위임받는 사례가 점차 늘어나고 있습니다. 이러한 위임에는 제공된 에이전트가 단지 그렇게 보이는 것에 그치지 않고, 구축 목적이었던 요구사항을 충실히 수행할 것이라는 암묵적인 가정이 깔려 있습니다. 그러나 기존의 어떤 벤치마크도 이 가정을 검증하지 않습니다. 본 논문에서는 자연어 요구사항으로부터 완전한 에이전트를 제작하는 생성(Creation), 프로덕션 에이전트 코드베이스의 수정(Editing), 측정 가능한 목표를 향한 최적화(Optimization)라는 에이전트 개발 수명 주기의 3단계를 아우르는 에이전트 소프트웨어 엔지니어링 벤치마크인 AgentSWE를 소개합니다. 25개의 각 태스크는 시험이라기보다는 의뢰의 형태로 구성됩니다. 즉, 빌더는 소수의 예시 케이스를 바탕으로 반복 개선하고, 인수 평가 단계에서는 엄격한 통과/실패 기준을 적용한 요구사항 기반 루브릭에 따라(최적화의 경우 원본 벤치마크 자체의 목표에 따라) 고정된 제출물을 전체 요구사항을 포괄하도록 설계된 홀드아웃(held-out) 케이스에서 실행하여 동작을 채점합니다. 다양한 모델과 하네스에 걸쳐 여러 코딩 에이전트를 평가한 결과, 요구사항이 요구하는 바를 제대로 제공하는 에이전트는 전무했습니다. 빌더가 시연하는 모습과 실제로 제공하는 결과물 사이의 격차는 예외적인 경우가 아니라 일반적인 현상이었습니다. 실패 궤적에 대한 실증적 분석을 통해 확인된 반복적인 실패 모드로는 가시적인 케이스에 대한 과적합, 완성된 것처럼 보이는 코드 이면의 빈껍데기 런타임, 근거 없는 완료 주장 등이 있었으며, 이는 코딩 에이전트가 요청받은 에이전트를 구축하는 방법을 학습할 수 있는 각각의 신호가 됩니다.

arXiv:2610.13563v1cs.SE공통 태그 Computational Efficiency, Benchmarking

모든 정답 수정이 같은 성능을 내지는 않는다: 저장소 수준 이슈 해결에서 패치 성능에 대한 실증적 연구

Not All Correct Fixes Run Alike: An Empirical Study of Patch Performance in Repository-Level Issue Resolution

SWE-bench와 같은 저장소 수준 이슈 해결(issue resolution) 벤치마크는 제출된 패치를 주로 정확성 테스트 통과 여부로 평가하며, 테스트를 통과한 서로 다른 패치들 간의 런타임 성능(runtime performance)은 대부분 탐구되지 않은 채로 남아 있다. 패치 성능을 평가하는 것은 필수적이지만, 각 벤치마크 인스턴스마다 성능 워크로드를 설계하는 데 비용이 많이 들어 어렵다. 그러나 이러한 벤치마크는 이미 자연스러운 후보를 제공하는데, 바로 이슈 수정으로 영향을 받는 동작을 실행하는 내장 FAIL_TO_PASS(F2P) 테스트이다. 따라서 우리는 제공된 F2P 테스트를 패치 성능 평가에 재활용할 수 있는지 조사한다. 전체적으로 우리는 Claude Opus 5, GPT 5.6, DeepSeek V4 Pro, Qwen 3.8 Max라는 네 가지 프런티어(frontier) 모델을 SWE-agent와 결합하여 SWE-bench 및 SWE-bench-Live의 검증된(verified) 분할에서 사전 필터링된 측정 가능한 코퍼스(corpus)를 해결하도록 하였으며, 그 결과 개발자의 정답(ground-truth) 패치를 포함해 최소 두 개 이상의 서로 다른 정답 해법을 가진 262개 사례를 얻었다. 이후 우리는 각 해법의 런타임 성능을 네이티브 F2P 테스트에서 명령어 수(instruction count)와 실제 경과 시간(wall-clock time)으로 측정하고, 더 강건한 통계적 판별 기준으로 선행 연구에서 제안된 RSD 대신 Welch ANOVA를 사용한다. 우리는 이 방법론이 런타임 성능에서 뚜렷한 판별 능력을 보이며, 거의 절반에 가까운 사례에서 패치 간 성능 차이를 식별해냄을 발견한다. 우리의 실증적 연구는 생성된 패치의 런타임 성능이 LLM의 이슈 해결률(resolution rate)과 무관하며, 모델 순위가 거의 뒤바뀐다는 것을 보여준다. 사례 연구(case study)는 또한 성능 분석이 정확성 평가에서는 간과된 일부 패치의 아키텍처적 회귀(architectural regression)를 드러낸다는 것을 보여준다. 이러한 발견은 해결률이 저장소 수준 이슈 해결에 대한 LLM의 능력을 충분히 특성화하지 못한다는 것을 시사하며, 향후 평가에서 해결률과 함께 패치 성능을 함께 고려하도록 동기를 부여한다.

arXiv:2610.13570v1cs.AI공통 태그 Computational Efficiency, Benchmarking

추론 모델의 오버씽킹에 대한 최적 추론 종료 기법의 파레토 프론티어 구축

Constructing Pareto Frontiers of Optimal Reasoning Termination Methods for Overthinking in Reasoning Models

추론 모델은 테스트 시간 스케일링(test-time scaling)의 이점을 얻을 수 있지만, 지속적인 추론은 비효율적이거나 오히려 해로울 수 있으며, 이를 오버씽킹(overthinking) 현상이라고 부릅니다. 전체 추론(full thinking)을 기준으로 한 평가는 정확도와 토큰 사용량을 비교하지만, 오버씽킹의 심각도 및 각 전략의 이론적 완화 잠재력에 대한 기준이 부족합니다. 모델-작업 수준에서 오버씽킹의 특성을 규명하기 위해, 본 연구에서는 먼저 고정된 샘플링 추론 궤적을 따라 보존된 여러 접두사(prefix)로부터 반복적으로 답변을 생성하는 단계별 절단 프로빙(Step-wise Truncation Probing, STP)을 도입합니다. 각 궤적에서 최대 실증적 정확도에 도달하는 가장 이른 측정 위치를 기준으로 삼아, 이후 생성된 추론 토큰의 비율을 오버씽킹 비율(Overthinking Ratio)로, 해당 기준점 대비 전체 추론까지의 정확도 하락을 정확도 저하(Accuracy Degradation)로 각각 정의합니다. 둘째로, 다양한 종료 전략의 이론적 완화 잠재력을 정량화하기 위해 동적 라우팅(dynamic routing), 고정 예산(fixed budgets), 동적 조기 종료(dynamic early exit)를 통합된 프레임워크 내에서 정식화합니다. 이 통합 프레임워크를 기반으로 완전한 STP 측정값을 활용하여 공통의 정규화된 추론 토큰 예산 하에서 각 전략에 대한 토큰-정확도 파레토 프론티어(Pareto frontier)를 구축합니다. 나아가 6개 모델과 4개 벤치마크 그룹에 걸쳐 705억 개의 추론 토큰 및 해당 프로빙 측정값을 생성한 STP 프로세스로부터 구축된 재사용 가능한 벤치마크인 OTBench를 개발합니다.

arXiv:2610.02488v2cs.LG공통 태그 Computational Efficiency, Benchmarking

LLM을 에이전트로 활용하기: 비용은 얼마인가?

Harnessing LLMs as Agents: What Does It Cost?

언어 모델 에이전트는 제한된 컨텍스트(bounded context), 영속 메모리(persistent memory), 도구, 검증, 반복 실행을 관리하는 하네스(harness)에 점점 더 의존하고 있지만, 기존의 모델 능력 개념은 이러한 메커니즘이 소비하는 계산 자원을 정량화하지 못한다. 우리는 기저 의미론적 모델(semantic model)은 고정한 채 하네스 수준의 자원을 명시적으로 과금하는 자원 제약 추상화인 언어 모델 에이전트 머신(Language Model Agent Machine, LAM)을 도입한다. 우리는 네 가지 범주의 결과를 확립한다. 통신(Communication): LAM 실행은 동시적인 호출-전송 예산(call-transfer budget) 하에서 적-청 페블링(red-blue pebbling)과 인스턴스 단위로 동등하며, 이는 고전적인 입출력 하한(I/O lower bound)을 컨텍스트-메모리 트래픽으로 전이시킨다. 접근(Access): 메모리 인터페이스는 포인터 체이싱(pointer chasing)에서 무작위 접근과 비추측적(non-speculative) 순차 접근 사이의 $Θ(n)$ 격차를 포함하여 점근적 분리(asymptotic separation)를 유발한다. 재계산(Recomputation): 비트 반전(bit-reversal) DAG는 컨텍스트 용량 $C$와 영속 메모리 용량 $S$ 하에서 $Θ(n^2/(C+S)+n)$회의 모델 호출을 필요로 하며, 이는 저장된 중간 상태가 반복적인 의미론적 계산을 언제 피할 수 있는지를 정량화한다. 신뢰성(Reliability): 우리는 엄밀한 단계별(stage-local) 샘플링 한계, 불완전 검증(imperfect-verification)의 정확한 비용, 그리고 닫힌 형태의 최적 검증 간격을 갖는 영-데일리(Young-Daly) 유형의 체크포인트 법칙을 유도한다. GPT-6 Astra에 대한 통제 실험과 홀드아웃(held-out) 실험은 체크포인트 최적값, 프로그래밍적 검사(programmatic checking) 하에서의 정책 선택, 그리고 연쇄 MATH 과제에서 호출 단위(call granularity), 논리적 입력 트래픽, 신뢰성 간의 트레이드오프를 포함하여 통신 및 신뢰성 예측을 검증한다. 종합적으로, 이 결과들은 언어 모델 에이전트 하네스의 계산 비용에 대한 자원 이론(resource theory)을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.