arXiv:2611.24025v1 cs.CR

의도 계약: 에이전트에게서 도구를 빼앗기

Intent Contracts: Taking Tools Away from Agents

Ziyuan Wang, Genliang Zhu, Xiaobo Chen, Chu Wang

제출 2026-11-19

한국어 초록

의도 계약은 계획 모델이 어떤 도구도 보유하지 않는 도구 사용형 LLM 에이전트를 위한 권한 부여 인터페이스이다. 계획 모델은 각 단계마다 목표, 사용자 발언의 원문 인용, 범위 필드로 구성된 짧고 기록되는 계약을 제출한다. 코드가 계약을 검증하고, 소규모 신뢰 모델이 이를 사용자의 말과 대조하여 확인한 뒤 도구 호출을 직접 작성한다. 검증 및 디스패치 코드가 올바르다면, 실행되는 모든 호출은 신뢰 모델이 작성하며, 계획 모델이 호출에 미치는 영향은 그에 앞서 기록된 계약 안으로 한정되고, 요청 중 어느 정도를 수행할지는 신뢰하는 쪽이 결정한다. 본 논문은 계약을 계획 모델이 작성한 명령에 대한 두 가지 검토자와 비교한다. 하나는 사용자의 말과 명령만 보는 검토자로, 추론을 보지 못하는 권한 분류기의 정보 경계에 해당하며, 다른 하나는 계획 모델의 목표와 검증된 인용문도 함께 보는 검토자이다. gpt-6.1-terra를 계획 모델로, GLM-5.3-Flash를 신뢰 모델로 사용하여 세 가지 AmPermBench 과제군에서 평가한 결과, 계약 하에서 변경된 모든 객체는 해당 변경을 낳은 계약의 목표에 명시되어 있었으며, 검토 방식에서는 계획 모델이 명령에는 객체를 명시하지만 목표에는 거의 명시하지 않았다. 계획 모델이 사용자가 요청하지 않은 작업을 추가하는 경우, 검토자는 명령 전체를 거부하는 것만 가능하기 때문에 계약은 30회 중 27회에서 사용자의 과제를 완료한 반면 의도를 볼 수 있는 검토자는 30회 중 16회에서 완료하였다. 계약은 무단 행위를 줄이지 못한다. 계약은 블라인드 검토와 구별되지 않으며, 벤치마크의 환경 용어를 명확히 하면 상태를 변경하는 모든 조건에서 해당 실행의 40~49%가 잘못된 대상에 도달한다. 이 오류는 모호한 지칭에 대해 계획 모델이 객체를 선택한 데서 비롯되며, 여기서의 어떤 신뢰 모델도 이를 확인할 환경을 볼 수 없다. 실행자에게 확신이 없으면 거부하도록 지시해도 이는 바뀌지 않는다. 본 논문은 적대적 계획 모델이 아니라 한 쌍의 모델로 선의의 과잉 행위를 평가한다. 플러그인과 실행 기록을 공개한다.

원문 초록

Intent contracts are an authorization interface for tool-using LLM agents in which the planning model holds no tools. For each step it submits a short logged contract: a goal, a verbatim quotation of the user, and scope fields. Code validates the contract, and a small trusted model checks it against the user's words and writes the tool call itself. Provided the validation and dispatch code is correct, every executed call is written by the trusted model, the planner's influence on a call is confined to a contract logged before it, and the trusted side decides how much of a request to carry out. We compare contracts with two reviewers of planner-written commands: one sees only the user's words and the command, the information boundary of a reasoning-blind permission classifier, and one also sees the planner's goal and a checked quotation. With gpt-6.1-terra as planner and GLM-5.3-Flash as the trusted model on three AmPermBench task families, every object changed under contracts is named in the goal of the contract that produced the change; under review the planner names objects in its commands and rarely in its goals. When the planner adds work the user never asked for, contracts complete the user's task in 27/30 runs and the intent-visible reviewer in 16/30, because a reviewer can only refuse a whole command. Contracts do not reduce unauthorized actions. They are indistinguishable from blind review, and once the benchmark's environment terms are clarified, every condition that changes state hits a wrong target in 40-49% of those runs. That error is the planner's choice of objects for an ambiguous reference, which no trusted model here can see the environment to check; telling the executor to decline when unsure does not change it. We evaluate benign over-reach with one pair of models, not adversarial planners. We release the plugin and run records.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24025v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.