의료 기록을 기반으로 한 직무 적합성 평가나 비밀 구조로부터 신약 후보 물질의 특성을 예측하는 것과 같이, 기밀 데이터로부터 출력을 생성하는 AI 시스템이 점점 더 많아지고 있습니다. 기본 데이터를 공개하지 않으면서 이러한 출력이 올바른지 검증하는 것은 중요합니다. 최근 일련의 연구에서는 정답 여부가 인간의 판단, 물리적 실험, 웹과 같은 오라클(oracle)에 의존할 수 있는 오라클 보조 계산(oracle-aided computation)에 대해 대화형 증명(interactive proofs) 및 토론(debate)을 통한 AI 출력 검증을 연구하고 있습니다. 이러한 연구들은 계산보다 훨씬 빠르게 실행되는 검증자(verifier)에 의한 검증에 초점을 맞추고 있습니다. 그러나 일반적인 오라클 보조 계산에서는 이러한 효율적인 검증이 불가능하므로, 기존 연구들은 추가적인 가정을 기반으로 합니다. 우리는 그 대신 프라이버시에 초점을 맞춥니다. 즉, 검증자가 계산에 대한 다항 시간(polynomial time) 내에 실행되도록 허용하면서, 오라클 보조 계산을 위한 대화형 논증(interactive arguments)이 영지식(zero knowledge)이 될 수 있는지, 그리하여 검증자가 출력의 정확성 외에는 기밀 데이터에 대해 아무것도 알 수 없도록 할 수 있는지 묻습니다. 우리는 일반적으로는 이것이 불가능하다는 것을 증명합니다. 랜덤 오라클 모델(random oracle model)에서는 증명자(prover)와 검증자 모두가 계산 자체보다 훨씬 오래 실행되도록 허용되더라도, 모든 오라클 보조 계산에 대한 영지식 증명(zero-knowledge proofs)이 존재하지 않습니다. 이러한 불가능성은 확장 가능한 감독(scalable oversight)의 대표적 모델인 토론(debate)으로도 확장됩니다. 긍정적인 측면으로, 오라클이 각 답변에 암호학적 서명을 첨부하는 경우 충돌 저항성 해시 함수(collision-resistant hash functions)만을 가정하여 효율적인 증명자와 검증자를 통해 모든 오라클 보조 계산을 영지식으로 검증할 수 있음을 보입니다. 프라이버시를 넘어, 이는 토론에서처럼 정직한 상대방에게 의존하지도 않고, 기존 단일 증명자 프로토콜에서처럼 계산의 강건성(robustness)에 의존하지도 않는 확장 가능한 감독을 위한 대안적 접근 방식을 제공합니다.
모델 일반화(generalization)는 직접 인증하기 어렵고 테스트 정확도나 정적 샤프니스(sharpness)는 학습 과정이 왜곡되면 신뢰하기 어렵다는 한계를 해결하기 위해, 연속적인 확률적 perturbation 하에서 동적 안정성(dynamic stability)을 측정하는 방향성 샤프니스(directional sharpness) 지표를 제안한다. 실험과 이론 분석에서 이 지표는 기존 지표보다 일반화와 더 강하게 상관하고 낮은 품질 모델을 더 신뢰적으로 식별하며, 학습 데이터 접근 감사와 영지식 증명(zero-knowledge proof) 기반 인증에서도 효율적으로 계산 가능함을 보였다.
We propose cryptographic certificates of validity for agentic AI systems. The core idea is to formally specify a correctness or policy condition as a logical predicate, compile this predicate to a witness-checking problem over polynomial constraints, and use a succinct cryptographic proof system (and optionally zero-knowledge) to certify that the condition holds. This offers a middle ground between formal verification of source code, and cryptographic authentication. An agent's action can be accompanied by an independently checkable proof that it satisfies an agreed formal policy, without requiring the verifier to trust the agent or to re-execute computation. We outline the approach at a high level, give the core mathematical translation, relate the proposal to proof-carrying code, zkVMs, formal methods, and agent governance, and note the specification, auditing, and deployment questions that a full implementation must answer.