LLM 에이전트를 위한 상시 로드 컨텍스트 큐레이션: 중도절단 피드백을 갖는 용량 제한 구색 모델
Curating Always-Loaded Context for LLM Agents: A Capacitated Assortment Model with Censored Feedback
모든 세션이 시작될 때, 대규모 언어 모델(LLM) 에이전트는 $\texttt{AGENTS.md}$와 같은 고정된 컨텍스트 파일을 로드합니다. 파일에 로드된 각 토큰은 세션의 후속 라운드마다 반복해서 비용이 청구되며, 이러한 파일은 크기가 커질수록 성능을 저하시킬 수 있습니다. 그러나 실제로는 사람 또는 자동화된 큐레이터가 대개 내용을 덧붙이는(append) 방식으로 이러한 파일의 크기를 늘립니다. 본 연구에서는 컨텍스트 큐레이션을 용량 제한 구색 문제(capacitated assortment problem)로 정식화합니다. 지시문은 유한한 어텐션 용량 내에서 토큰을 소모하며, 지시문을 추가하더라도 다른 지시문의 준수율이 결코 높아지지 않는 반면 유지되는 지시문은 세션당 설정 비용(setup cost)을 발생시킵니다. 본 논문에서는 사용 가능한 후보 지시문의 수와 관계없이 최적 파일 크기의 상한을 증명하며, 단독 가치가 양수인 모든 지시문을 단순히 덧붙이는 방식이 최적의 부분 집합을 선택하는 것에 비해 순가치(net value) 측면에서 임의로 크게 악화될 수 있음을 증명합니다. 또한 토큰 예산은 토큰 가격이 과소평가되었을 때의 손실을 제한합니다. 이어 과거 세션으로부터 무엇을 학습할 수 있는지, 그리고 이 정보가 지시문의 추가 또는 제거 결정을 어떻게 이끌 수 있는지 살펴봅니다. 피드백은 본질적으로 중도절단(censored)되어 있습니다. 로드된 지시문의 이점과 위해는 관찰 가능한 반면, 누락된 지시문은 그 부재가 위해를 초래할 때만 피드백을 생성합니다. 이러한 환경에서 에이전트가 무시한 지시문을 삭제하는 것은 유용한 지시문까지 필연적으로 제거할 수 있음을 보입니다. 또한 지시문을 추가하기 전에 수집해야 하는 근거의 양을 특성화합니다. 아울러 인간 검토자가 기간당 제한된 수의 수정 사항만 검토할 수 있을 때의 후회(regret) 한계를 제시합니다. 실증 실험을 통해서도 실제 컨텍스트 파일에서 추출한 무관한 규칙들이 언어 모델의 준수율을 낮춘다는 점을 추가로 보입니다.