에이전트 자체 수정의 런타임 감독을 위한 자가 치유 하네스
Self-Healing Harness for Runtime Oversight of Agent Self-Modification
대규모 언어 모델(LLM) 에이전트는 자신의 미래 행동을 스스로 변경할 수 있으며, 이는 자체 생성된 변경 사항 중 어떤 것을 영구 유지하도록 허용해야 하는지에 대한 근본적인 제어 문제를 제기합니다. 본 연구는 이를 자체 수정에 대한 진입 제어(admission control) 문제로 정형화합니다. 에이전트는 자신의 운영 지침에 대한 변경 사항을 제안할 수 있으며, 외부 런타임 게이트가 영구 유지 여부를 제어합니다. 이러한 원리를 바탕으로, 본 연구는 수정되지 않은 기존 에이전트 주변에서 탐지(Detect), 인지(Notice), 치유(Heal), 검증(Validate) 루프를 실행하는 모델(model) 불가지론적 자가 치유 하네스(self-healing harness)를 구현합니다. 에이전트는 외부 작업 공간에서 후보 행동 규칙을 작성하며, 이 규칙은 평가 동안 임시 실행 권한을 부여받고, 유발된 실패에 대한 측정된 개선을 보이면서도 보호된 사례에서 고정된 마진(margin)을 초과하는 회귀(regression)가 발생하지 않을 때에만 영구적인 에피소드 간 권한을 획득합니다. 리플레이(replay)는 가능할 때 일치하는 증거를 제공하고, 전방 시도(forward trial)는 더 약한 대안을 제공하며, 말뭉치 수준 가드는 누적된 활성 규칙 세트를 재테스트합니다. AppWorld, Terminal-Bench, $\tau^2$-Bench에 걸친 16개의 매칭된 기준선(baseline) 및 하네스 실행 전반에서, 게이트는 리플레이로 판정된 383개의 제안을 거부했습니다. 이 중 211개(55%)는 원인이 된 실패 사례를 개선했으나 기존에 정상 작동하던 사례의 성능을 저하시켰습니다. 이는 국소적으로 유익한 자체 수정이 게이트 결정에 실질적인 영향을 미칠 만큼 부수적인 회귀를 빈번히 유발할 수 있음을 보여주며, 외부 진입 제어에 대한 직접적인 실증적 근거를 제시합니다. 작업 완료 점수는 16개 쌍 모두에서 하네스를 적용했을 때 더 높았으며(두 개의 대응 표본 부트스트랩 구간은 0을 제외함), 반복 시도 신뢰성은 12개 쌍에서 더 높았고 4개 쌍에서 동일했으며 더 낮은 경우는 없었습니다. 적응 과정은 모델 가중치(weight)를 고정한 채 정책 유도 컨텍스트만을 수정하므로, 승인된 변경 사항은 검사 가능하고, 되돌릴 수 있으며, 가중치가 비공개된 폐쇄형 모델과도 호환성을 유지합니다.