보정이 곧 제어는 아니다: LLM 에이전트 감독을 위한 개입 가치
Calibration Is Not Control: Intervention Value for LLM-Agent Oversight
런타임 감독은 종종 대규모 언어 모델(LLM) 에이전트의 보정된 실패 점수가 임계값을 초과할 때 개입합니다. 그러나 동일한 실패 위험을 가진 상태라도 개입이 도움이 되는지 여부는 다를 수 있습니다. 엄격하게 증가하는 재보정은 임계값 정책 클래스를 유지하므로 이러한 차이를 복원할 수 없습니다. 본 연구는 개입 결정을 내리는 데 요약 정보가 충분한 조건과 그렇지 않을 때 손실되는 효용을 공식화합니다. 동일한 상태에서 에이전트의 접두 문맥(prefix)을 재실행하고 대안적 행동을 실행하여 그 결과를 평가합니다. ALFWorld에서 특징(feature), 추정기, 라우터를 고정한 채 지도 대상을 실패에서 개입 효용으로 변경하면 후회(regret)가 0.51에서 0.09로 감소하며, 에피소드 중간 접두 문맥으로 구성된 두 번째 테스트 세트에서도 이러한 개선이 재현됩니다. 실제로 배포 가능한 개입 학습 스칼라 역시 테스트 결과에 따라 선택된 실패 점수 임계값 규칙보다 우수한 성능을 보입니다. 고정된 더 강력한 모델로의 이관을 적용한 300개의 미확인 태스크 온라인 환경에서, 동결된 접두 문맥 특징 제어기는 실패 기반 라우팅에 비해 이관 빈도는 줄이고(35% 대 48%) 성공률은 높여(45% 대 37%) 효용을 개선합니다. 개선 폭은 개입 가치에 따라 달라지며 두 가지 추론 벤치마크에서는 작게 나타납니다. 감독 신호는 예측 품질뿐만 아니라 그것이 뒷받침하는 결정을 기준으로 평가되어야 합니다. 코드는 https://github.com/bennidict23/calibration-is-not-control 에서 확인할 수 있습니다.