arXiv:2610.09159v1 cs.AI

SpecGuard: 에이전트의 부정행위 이전에 태스크 오류를 증명하기

SpecGuard: Proving a Task Is Broken Before the Agent Cheats

Param Biyani, Krishnamurthy Dvijotham

제출 2026-10-06

저자 비고

arXiv Comments

29 pages. Code: https://github.com/prmbiy/specguard

한국어 초록

자율 코딩 에이전트(coding agent)의 도입이 점차 확대됨에 따라, 태스크에 우발적으로 발생하거나 적대적으로 주입된 명세 오류(misspecification)가 위험한 에이전트 행동으로 이어질 수 있는 위험을 해결하는 것이 매우 중요해졌습니다. 선행 연구에 따르면 이러한 태스크가 주어졌을 때 에이전트는 충돌을 지적하는 경우가 드물며, 대신 테스트를 수정하거나 기대 출력을 하드코딩하는 등의 부정행위를 저지르는 것으로 나타났습니다. 또한 결함이 있는 테스트를 통과시키기 위해 보안 방어 코드를 삭제하는 등 부정행위를 위해 취한 조치는 실질적인 피해를 초래할 수 있습니다. 에이전트가 행동하기 전에 독립적으로 검증 가능한 증거를 바탕으로 이러한 충돌을 규명할 수 있는지는 아직 불명확합니다. 본 논문에서는 태스크 의도와 테스트 사이의 이러한 충돌을 탐지하고 정형적으로 증명(formal certification)하는 SpecGuard를 제안합니다. 태스크 설명과 코드베이스만 주어지면, SpecGuard는 의도된 동작을 Lean 4 명세로 자동 정형화(autoformalization)합니다. 테스트 또한 독립적으로 정형화되며, Lean 커널(kernel)은 두 정형 명세를 동시에 만족할 수 있는 구현체가 존재하는지 검사하여 어떠한 구현체도 불가능할 경우 기계 검증된 증명서를 생성합니다. 충돌이 존재하는 SWE-bench 태스크에서 SpecGuard는 최대 72.8%의 충돌을 탐지하고 최대 51.1%를 정형적으로 증명하여, 모델(model) 기반 판단 대비 충돌 누락률을 약 5배 낮췄습니다. SpecGuard는 에이전트의 어떠한 행동도 관찰되기 전에 태스크 수준의 충돌을 정형 증명함으로써 보상 해킹(reward hacking) 가능성을 식별하는 실행 전 안전성(safety) 검사를 제공합니다. 본 연구의 코드는 https://github.com/prmbiy/specguard 에서 이용할 수 있습니다.

원문 초록

As autonomous coding agents get increasingly deployed, the risk that accidental or adversarially injected misspecifications in tasks lead to dangerous agent behavior is critical to address. Prior work has shown that agents given such tasks rarely flag the conflict and instead cheat, editing tests or hard-coding expected outputs, and the actions taken to cheat can cause real damage, such as deleting a security defense to make a corrupted test pass. It remains unclear whether such conflicts can be established with independently verifiable evidence before the agent acts. We present SpecGuard, which detects and formally certifies these conflicts between task intent and tests. Given only the task description and codebase, SpecGuard autoformalizes the intended behaviour into a Lean 4 specification. The tests are formalized independently, and the Lean kernel checks whether any implementation could satisfy both formalizations, producing a machine-checked certificate when none can. On conflicted SWE-bench tasks, SpecGuard detects up to 72.8% of conflicts and formally certifies up to 51.1%, with a nearly five-fold lower conflict miss rate than model-based judgment. SpecGuard provides a pre-execution safety check that identifies reward-hacking opportunities through formal certification of task-level conflicts, before any agent behavior is observed. Our code is available at https://github.com/prmbiy/specguard.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.09159v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.