미실행 동반 실행을 고려한 예산 제약 컨텍스트 프로젝션 평가
Evaluating Budgeted Context Projection with Unexecuted Companion Runs
컨텍스트 프로젝션(context projection)은 개별 요청을 단축할 수 있지만, 에이전트가 예산 내에서 작업을 완료하는지 여부를 변화시킬 수 있습니다. 본 연구에서는 제한된 첫 번째 연속 실행으로 인해 동반 실행(companion run)이 수행되지 못할 때, 순차적 평가가 이러한 절충(trade-off) 관계를 어떻게 불분명하게 만드는지 조사합니다. 기록된 ReVerPi 소스 리딩 캠페인에서 두 개의 최종 답변을 가진 15개 쌍은 실험군(arm)당 역사적으로 채점된 12개의 성공을 산출했습니다. 27개의 모든 개입 경계를 보존함으로써 관찰된 실패를 10개의 미실행 동반 실행과 구별하고, 프로젝션 적용 대비 전체 컨텍스트 성공 차이를 $-9$에서 $+1$개 작업 사이로 제한(bound)합니다. 보관된 채점 계약 하에서 고정된 프로젝션 선택기는 전체 컨텍스트와의 성공 차이가 $[-3, 0]$이며, 4개의 적합 작업을 제외하면 23개 경계에 걸쳐 $[-4, -1]$입니다. 보존된 행위자 입력 증거로 플랫폼 전제가 입증되지 않은 한 작업을 제외하면 비적합 범위는 22개 경계에 걸쳐 $[-3, 0]$으로 변경되므로, 엄격한 열세는 해당 제외에 대해 강건하지 않습니다. 역사적으로 공동 성공을 거둔 11개 쌍 중에서 프로젝션은 총 논리적 토큰을 25% 적게 사용하지만, 중앙값 쌍에서는 더 많은 토큰을 사용하며 접미사 요청은 35개가 아닌 55개를 사용합니다. 이러한 회고적 결과는 적응형으로 구성된 단일 캠페인에 관한 것이며, 모집단 성능에 대한 것은 아닙니다. 본 사례 연구는 모든 경계를 보존하고, 알려지지 않은 결과와 정책 의존성을 유지하며, 작업 전제를 확인하고, 유계 완료(bounded completion)와 성공 조건부 자원 사용을 분리하는 회계(accounting) 방식의 필요성을 제시합니다.