PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22868v1cs.AI

무엇을 강제할 수 있는가? 도구 사용 에이전트의 인증된 런타임 안전성 이론

What Can Be Enforced? A Theory of Certified Runtime Safety for Tool-Using Agents

런타임 가드레일은 되돌릴 수 없는 도구 호출 전에 작동하지만, 그 보장은 정책 상태의 표현 가능성, 판단자(judge)가 관측하는 것, 그리고 개입이 미래 행동을 바꾸는지 여부에 달려 있다. 우리는 세 가지 질문을 분리한다. 첫째, 고정된 오라클 술어에 대해 결정론적 게이트는 그 레지스터 모델이 인식하는 좋은 접두사(good prefix)를 가진 비어 있지 않은 안전성 정책만을 정확히 강제한다; 정책의 비자명성(nontriviality)은 두 개의 감소 가능한 카운터에서는 판단 불가능하지만 분리 가능한 단조(monotone) 조각에서는 PSPACE에 속한다. 둘째, 고정된 외생(exogenous) 법칙 하에서 Neyman-Pearson은 정확한 거짓 차단(false-block)/누락(miss) 프론티어를 제공하고, conformal calibration은 유한 표본 한계(marginal) 인증서를 제공하며, 경우에 따라 전면 차단(block-all)을 통해 이를 달성할 수 있다. 셋째, 차단이 미래 제안을 바꾸면 정적 점수와 게이트 없는 궤적은 폐루프(closed-loop) 프론티어를 식별하지 못할 수 있다; 대신 지정된 유한 제어 모델이 점유(occupancy) 프로그램을 산출한다. 유계 표현(bounded representation) 공격은 견고성 마진을 추가하므로, 정상(benign) calibration만으로는 전이(transfer)되지 않는다. 실험은 정적 진단, 제어 모델 열거, 표현 재작성, 그리고 쌍을 이룬 폐루프 재실행을 통해 이러한 구분을 검증한다.

arXiv:2607.19356v1cs.AI

NEXUS: 도구 사용 LLM 에이전트를 위한 구조화된 런타임 안전성

NEXUS: Structured Runtime Safety for Tool-Using LLM Agents

도구를 사용하는 LLM 에이전트가 점점 더 영향력 큰 행동을 실행하게 되면서, 런타임 안전성 모니터링이 필수적이 되었다. 우리는 NEXUS(Neural EXecution Utility and Safety)를 제안한다. 이는 공식적인 개입 정책을 적용하여 allow, block, request confirmation, request revision 네 가지 행동 중 하나를 선택하는 구조화된 계획 기반 안전성 모니터이다. NEXUS는 결정론적 안전성 규칙, 인자 수준 검사, 그리고 단계적 에스컬레이션을 위한 보정된 로지스틱 회귀 위험 점수를 결합한다. 128개 인스턴스로 구성된 합성 벤치마크에서 NEXUS는 F1 점수 0.949와 4클래스 개입 정확도 0.6406을 달성하여, 규칙 전용 개입 선택보다 27.3%p 높은 성능을 보인다. R-Judge에서도 규칙 전용(F1 = 0.861 vs. 0.849)보다 우수하고, AgentHarm에서는 위협 모델 한계로 규칙 전용과 동등하며, IPI에서는 99% control allow에서 ASR 0%를 달성한다. 규칙을 사용하지 않는 NEXUS-Stress 벤치마크에서는 F1 점수 0.881에 도달하여, 세밀한 개입 라우팅의 난이도를 보여준다. 중앙값 지연시간 0.205ms로, 일반적인 에이전트 루프에 0.1% 미만의 오버헤드를 추가한다. 코드, 벤치마크, 보정된 위험 점수 산출기는 공개되어 있다.