arXiv:2611.07483v2 cs.CR

서명되었으나 안전하지 않다: 다중 에이전트 LLM 인계에서의 요구사항 무결성

Signed but Not Safe: Requirement Integrity in Multi-Agent LLM Handoffs

Xiaobo Chen, Genliang Zhu, Ziyuan Wang, Chu Wang

제출 2026-11-18

한국어 초록

기업용 AI 에이전트는 요청을 하위 에이전트들에게 나누어 맡기며, 각 인계 과정에서 요구사항이 누락되거나 변경되거나 무시될 수 있다. 정확하게 채점 가능한 합성 과제에 대한 사전 등록 연구는 자유 텍스트, 구조화된 JSON, 서명된 요구사항 매니페스트 방식의 인계를 비교한다. 오케스트레이터는 각 요구사항을 원문 인용과 검증 가능한 술어로 추출하고, 코드가 이에 서명하며 병합자의 결정을 결정론적으로 검증한다. Qwen3-8B(1,440개 궤적, 5가지 위협)에서 서명된 매니페스트는 공격 하의 안전하지 않은 커밋을 69.4%에서 9.0%로 줄였으며(60.4pp, 95% CI [51.4, 69.4]), 구조화된 인계 대비 유용성 손실은 검출되지 않았다(S2 -0.4pp, 95% CI [-14.2, 13.3]). 서명은 전송 중 변조를 무력화한다. 서명되지 않은 매니페스트는 서명된 것보다 79.2pp 더 자주 위반했고, 서명된 것은 한 번도 위반하지 않았다. 이는 gpt-oss-20b와 gemma-4-12b에서도 재현되었다. 해당 모델들에서 공격자가 없을 때 서명된 매니페스트는 기술적으로 구조화된 인계보다 약간 나빴으며(11.1% 대 2.8%, 16.7% 대 8.3%, 검정하지 않음) 전반적으로 유용성을 잃었다(gpt-oss-20b, 모든 위협: -28.7pp). 동일한 Qwen3-8B 궤적에서 결정론적 검증기는 위반 결정의 78.7%를 포착한 반면 LLM 검사기는 59.0%를 포착했고, 오라클 매니페스트는 남은 안전하지 않은 커밋을 모두 제거했으므로 잔여 위험은 추출 단계에 있다. 사전 등록된 서명 전 주입 실험이 이를 확인했다. 한 줄의 적대적 문장이 서명된 매니페스트의 안전하지 않은 커밋을 Qwen3-8B에서 14.6%에서 37.5%로, gpt-oss-20b에서 11.1%에서 63.9%로, gemma-4-12b에서 16.7%에서 97.2%로 높였으며, 이러한 모든 커밋은 서명 전에 손상된 매니페스트를 지니고 있었다. 서명은 전송을 보호하지만, 신뢰 경계는 추출이다. 주입 결과 이후에 명세되고 오프라인 평가 전에 고정된, 검증 가능한 서명 전 명세(PSE)는 이렇게 주입된 모든 커밋을 차단했으나(고정 템플릿), 정상 요청의 45.8%, 11.1%, 22.2%를 거부했고 완료율은 -8.3pp, -2.8pp, 0.0pp 변화했다.

원문 초록

Enterprise AI agents split requests across subagents, and each handoff can drop, alter or ignore a requirement. A preregistered study on synthetic, exactly scorable tasks compares free-text, structured JSON and signed requirement-manifest handoffs: the orchestrator extracts each requirement as a verbatim quote plus a checkable predicate, code signs it and deterministically verifies the merger's decision. With Qwen3-8B (1,440 trajectories, five threats), signed manifests cut unsafe commits under attack from 69.4% to 9.0% (60.4 pp, 95% CI [51.4, 69.4]) with no detectable utility loss versus structured handoffs (S2 -0.4 pp, 95% CI [-14.2, 13.3]). Signing defeats in-transit mutation: unsigned manifests violated 79.2 pp more often than signed ones, which never did; this replicated in gpt-oss-20b and gemma-4-12b. There, without an adversary, signed manifests were descriptively slightly worse than structured handoffs (11.1% vs 2.8%; 16.7% vs 8.3%; not tested) and lost utility overall (gpt-oss-20b, all threats: -28.7 pp). On identical Qwen3-8B trajectories, the deterministic verifier caught 78.7% of violating decisions versus 59.0% for an LLM checker, and an oracle manifest removed all remaining unsafe commits, so the residual risk is in extraction. A preregistered pre-signing injection confirmed this: one adversarial line raised signed-manifest unsafe commits from 14.6% to 37.5% (Qwen3-8B), 11.1% to 63.9% (gpt-oss-20b) and 16.7% to 97.2% (gemma-4-12b), and every such commit carried a manifest corrupted before signing. Signing protects transit; extraction is the trust boundary. A testable pre-signing specification (PSE), specified after the injection results and frozen before an offline evaluation, blocked all these injected commits (fixed templates) but refused 45.8%, 11.1% and 22.2% of benign requests, changing completions by -8.3 pp, -2.8 pp and 0.0 pp.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.07483v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.