ContractRL: 감사 가능한 도구 호출 수정을 위한 보호된 그룹 상대적 정책 최적화
ContractRL: Shielded Group-Relative Policy Optimization for Auditable Tool-Call Repair
구조화된 도구 호출(tool call)은 종종 소수의 필드만이 스키마나 실행 계약(execution contract)을 위반하여 실패합니다. 객체 전체를 다시 생성하는 것은 행동 공간(action surface)을 확장시키고 반복적인 수정에 대한 감사를 어렵게 만듭니다. 본 논문에서는 검증기(verifier) 유도 JSON 수정을 유계 결정 과정(bounded decision process)으로 모델링하는 계약 제약 순차 수정 프로토콜인 ContractRL을 제안합니다. 각 단계에서 정책(policy)은 후보 객체, 타입이 지정된 검증기 피드백, JSON Pointer, 불변의 수정 이력, 남은 예산을 관찰하며, 결정론적 유효성 검사기가 상태 전이를 수행하기 전에 계약 기반 행동 마스크가 잘못되었거나 금지된 RFC-6902 연산을 필터링합니다. 또한 추적(trace)이 고정될 때까지 표준 타깃(canonical targets)과 시맨틱 라벨을 온라인 상태 외부에 유지하면서 패치, 재시도, 기권 결정을 위한 계약 제약 그룹 상대적 목적함수를 정의합니다. 동일한 검증기 정보 환경에서 시드당 192개 케이스와 5개의 시드에 걸쳐 평가한 결과, ContractRL은 34.4개의 생성 토큰으로 0.9362의 시맨틱 성공률을 달성하여, Patch-SFT의 0.9076 및 44.9개 토큰, 전체 재생성의 0.9148 및 137.2개 토큰과 대조적인 성과를 보였습니다. 정책 최적화(policy optimization)는 지도학습 기반 ContractRL의 시맨틱 성공률을 0.9186에서 0.9375로 향상시켰습니다. Patch-SFT와의 별도 3개 시드 대응 평가에서는 +0.0396의 시맨틱 차이(95% CI $[+0.0137,+0.0662], p=0.0039$)를 나타냈습니다. 피드백, 행동 마스크, 예산 및 스키마 변화(schema-shift) 분석은 이러한 성능 향상이 국소화된 교정(localized correction)과 연관되어 있음을 보여주며, 적대적 평가 및 다중 턴 평가는 남아 있는 실패 모드의 특성을 규명합니다.