조직 경계를 넘는 에이전트적 신뢰: 구조적 외부화와 신뢰 증거를 위한 참조 모델
When Agentic Trust Crosses Organizational Boundaries: Structural Externalization and a Reference Model for Trust Evidence
한국어 초록
에이전트 시스템은 점점 더 조직 경계를 넘어 도구, 서비스, 데이터 및 다른 에이전트를 호출하지만, 의존 당사자(relying party)는 위임된 행동을 생산 도메인의 통제와 기록만으로 평가할 수 없다. 본 논문은 신뢰할 수 있는 AI 거버넌스, 에이전트 보안, 분산 신뢰 관리, 신원(identity), 출처(provenance), 보증(assurance), 제어 평면(control-plane) 연구를 종합하여 서비스로서의 신뢰성(Trustworthiness as a Service, TaaS)을 정립한다. 분석 단위는 발행자(issuer), 대상(subject)과 행동(action), 의존 당사자, 행정 경계(administrative boundary), 증거 의존성(evidence dependencies), 불리한 조건(adverse condition), 그리고 요구되는 검증 또는 심사(adjudication) 의미론을 명명하는 교차 도메인 의존 명제(cross-domain reliance proposition)이다. 세 가지 조건의 구조적 외부화(structural-externalization) 진단은 여러 도메인에 의존하고, 생산자 독립적 의존(producer-independent reliance)을 요구하며, 철회, 실패, 상충하는 기록, 또는 분쟁 이후에도 검토 가능(reviewable)해야 하는 명제를 식별한다. 이러한 명제에 대해 논문은 신뢰 증거 봉투(trust-evidence envelope)를 규정한다: 변경 불가능한 워크플로 매니페스트를, 과제 범위 권한(task-scoped authority), 정책 및 실행 결정, 출처, 유효성, 공개(disclosure), 상태, 이의 제기(challenge), 복구(recovery)에 대한 발행자 귀속(issuer-attributed), 추가 전용(append-only) 증명(attestation)과 연결한다. 토폴로지 중립(topology-neutral) 논리 참조 모델은 이러한 기능을 명시적 역할과 신뢰 도메인(trust domain)에 배치한다. 세 가지 분석 시나리오와 TaaS-Eval 프로토콜 제안은 매니페스트, 독립 소비자(independent consumer), 하드 게이트(hard gate), 적대적 증거 시험(adversarial evidence test), 지표, 재현 가능한 산출물 보고를 정의한다. 신원, 권한 부여(authorization), 출처, 보증, 거버넌스 메커니즘을 경계가 있는 위임 행동(bounded delegated action) 주위로 구성함으로써 TaaS는 교차 도메인 의존을 위한 재사용 가능한 프로파일을 제공한다. 이는 증거 의존성, 독립 검증, 이의 제기, 복구를 명시화하여 상호운용 가능한 거버넌스와 생산자 주장을 근거 진실(ground truth)로 취급하지 않는 향후 평가를 지원한다.
원문 초록
Agentic systems increasingly invoke tools, services, data, and other agents across organizational boundaries, yet a relying party cannot assess a delegated action solely from producing-domain controls and records. This paper develops Trustworthiness as a Service (TaaS) through a synthesis of trustworthy-AI governance, agent security, distributed trust management, identity, provenance, assurance, and control-plane research. The analytical unit is a cross-domain reliance proposition that names the issuer, subject and action, relying party, administrative boundary, evidence dependencies, adverse condition, and required verification or adjudication semantics. The three-condition structural-externalization diagnostic identifies propositions that depend on multiple domains, require producer-independent reliance, and must remain reviewable after revocation, failure, conflicting records, or dispute. For such propositions, the paper specifies a trust-evidence envelope: an immutable workflow manifest linked to append-only, issuer-attributed attestations for task-scoped authority, policy and execution decisions, provenance, validity, disclosure, status, challenge, and recovery. A topology-neutral logical reference model assigns these functions to explicit roles and trust domains. Three analytical scenarios and the TaaS-Eval protocol proposal define manifests, independent consumers, hard gates, adversarial evidence tests, metrics, and reproducible artifact reporting. By composing established identity, authorization, provenance, assurance, and governance mechanisms around a bounded delegated action, TaaS provides a reusable profile for cross-domain reliance. It makes evidence dependencies, independent verification, challenge, and recovery explicit, supporting interoperable governance and future evaluation without treating producer assertions as ground truth.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.22961v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LLM 에이전트 행동 선택에서 출처 민감도 감사
Auditing Provenance Sensitivity in LLM Agent Action Selection
LLM 에이전트는 사용자 요청, 도구 출력, 검색된 레코드, 메모리, 신뢰할 수 없는 텍스트가 혼합된 컨텍스트에서 도구와 인자를 선택한다. 증거는 결정을 내릴 권한이 없어도 관련 있을 수 있으므로, 올바른 행동이라고 해서 반드시 허용된 증거에만 그라운딩된 것은 아니다. 우리는 각 도구 및 인자 대상에 대해 컨텍스트 요인을 별도로 라벨링하는 대상별 승인(authorization) 감사를 도입한다. 주요 테스트는 과제, 명제(proposition), 위치, 정책을 고정한 채 명제의 출처 권한(source authority)만 변경한다. 그런 다음 유효한 증거가 약화되었을 때의 행동을 테스트하고, 컨텍스트 부분집합 상호작용을 보조적 국소화(localization) 진단으로 사용한다. 450개의 통제된 다음 행동(next-action) 과제와 여러 오픈 가중치 LLM 계열에 걸쳐, 신뢰할 수 있는 변형과 신뢰할 수 없는 변형은 경쟁(competing) 사례의 5.4%에서, 대조적으로 지지(supporting) 사례의 1.7%에서 서로 다른 행동을 생성한다. 통제된 성능 저하(degradation) 하에서, 무권한 경쟁(unauthorized competition)은 full-correct, mixed-error, clean-correct 패턴에서 비교의 2.4%에서 유지되며, 95% 신뢰구간은 2.1~3.0%이다. 이는 배포 유병률(prevalence)이 아니라 통제된 스트레스 세트(stress-set) 비율이다. 모델은 텍스트적 출처 권한 단서에 반응하지만, 이는 신뢰할 수 없는 증거가 행동에 영향을 미치는 것을 막지 못한다.
MiniScope: 최소 권한을 통한 에이전트 인가
MiniScope: Authorizing Agents with Least-Privilege Permissions
AI 에이전트(agent)가 민감한 사용자 데이터 및 타사 서비스에 자율적으로 접근하는 경우가 점점 늘어남에 따라, 효과적인 권한 관리가 핵심적인 보안 과제로 대두되고 있습니다. 그러나 기존 권한 모델(model)은 보안성과 사용 편의성 간의 균형을 맞추지 못하는 평면적 권한 구조에 의존하는 경우가 일반적입니다. 세분화된 확인 방식은 사용자의 피로를 유발하는 반면, 조잡한 단위의 승인이나 영구적인 승인은 에이전트에 과도한 권한이 부여되는 문제를 초래합니다. 이러한 트레이드오프를 해결하기 위해, 본 연구에서는 모든 도구 호출마다 별도의 권한 결정을 요구하는 대신 에이전트를 특정 작업 역할 내에서 작동하는 대리인으로 취급하는 작업 중심의 계층적 권한 모델을 제안합니다. 이 모델을 기반으로, 권한 계층 탐색을 자동화하고 런타임에 문맥적 최소 권한을 강제하는 엔드투엔드 에이전트 권한 시스템인 MiniScope를 제시합니다. 평가 결과, MiniScope는 도구별 프롬프트 방식에 비해 신중한 페르소나 및 일반적인 페르소나에서 시뮬레이션된 권한 확인 횟수를 43.4%~89.4% 줄였으며, 유용성과 런타임에 미치는 영향을 최소화하면서 모든 권한 상승 공격을 완화했습니다. 실제 환경에 적용했을 때, MiniScope는 ChatGPT와 Claude에서 6개의 과도한 권한이 부여된 커넥터 설정을 추가로 발견했습니다.
Pincer: 디지털 트윈을 활용한 에이전트의 리소스 권한 부여
Pincer: Resource Authorization for Agents using a Digital Twin
코딩 에이전트(agent)는 점점 더 장기적인 과제를 수행하고, 자율화되며, 범용 셸에 의존하고, 자체 개선을 위해 영구 메모리를 유지하도록 발전하고 있습니다. 이러한 기능 덕분에 에이전트는 더욱 강력해졌지만, 외부 공격자로부터 방어하기는 더욱 어려워졌습니다. 타입 기반 도구, 정보 흐름 제어, 정책 예측 엔진과 같이 이러한 아키텍처를 제한하는 방어 방식은 채택하기에는 너무 많은 기능을 희생시킵니다. 현재 배포된 에이전트(예: Claude, Codex)는 주요 방어 수단으로 사용자 중재형 샌드박싱과 자동 모드 샌드박싱의 결합에 의존합니다. 사용자 중재형 샌드박싱에서는 사용자가 관리하는 정책이 시간이 지남에 따라 약화되고 반복적인 권한 요청으로 사용자 피로가 발생하는 반면, 자동 모드의 도구 호출 분류기는 사용자별 정책을 학습하지 않으며 적대적 설정에 대한 방어를 목적으로 하지 않습니다. Pincer는 리소스 층(layer)에서 작동하며 자동 모드와 같은 도구 호출 층의 기존 방어 체계와 함께 작동하는 새로운 방어 방식입니다. Pincer의 핵심에는 격리된 컨텍스트 모델(model)인 디지털 트윈이 있으며, 이는 동적인 사용자별 최소 권한 정책을 자동으로 학습하고 시행합니다. 디지털 트윈은 사용자의 선호도를 지속적으로 학습하여 에이전트의 권한 요청에 대해 사용자의 대리인 역할을 수행할 수 있도록 합니다. 학습 단계를 모사하기 위해, 수일에 걸친 사용자-에이전트 상호작용 트랜스크립트를 따르는 예제를 포함한 새로운 사용자 중심 데이터셋(dataset)을 제안합니다. 평가 결과, Pincer는 다양한 대규모 언어 모델(LLM) 판정관 변형 및 Conseca(HotOS '25)의 적응 버전을 포함한 여러 베이스라인과 비교하여 보안성과 유용성 모두에서 뛰어난 성능을 보였습니다. Pincer의 설계가 다른 모든 베이스라인에 비해 현저한 보안 향상을 가져오는 공격 유형을 조명하며, 다른 유형의 공격에 대해서도 베이스라인을 능가함을 보입니다.
거짓 예언자: 에이전트 시스템 내 월드 모델의 보안성에 대하여
False Prophets: On the Security of World Models in Agentic Systems
대규모 언어 모델(LLM)은 이제 다양한 환경에서 복잡한 다단계 작업을 수행할 수 있는 자율 에이전트의 기반이 되고 있습니다. 이러한 작업을 정확하고 안정적으로 수행하려면 에이전트가 자신의 행동 결과를 예측해야 합니다. 최근 연구에서는 특별히 학습된 환경 시뮬레이터인 월드 모델(world model)을 통해 이러한 예측 능력을 향상시킬 것을 제안합니다. 월드 모델은 성능을 향상시킬 수 있지만, 에이전트가 유해한 행동을 실행하도록 오도하여 심각한 보안 및 개인정보 보호 위험을 초래할 수도 있습니다. 본 논문에서는 에이전트 시스템에서 월드 모델을 사용하는 것에 대한 보안 우려를 제기합니다. 저자들은 터미널 기반 에이전트에서 악성 코드를 실행하거나 민감한 데이터를 탈취하는 데 악용될 수 있는 월드 모델 특화 취약점들을 발견했습니다. 향후 발전을 촉진하기 위해 텍스트 기반 월드 모델용으로 설계된 보안 벤치마크 데이터셋을 소개합니다. 저자들은 일부 위험이 근사 월드 모델링(approximate world modeling)에 내재되어 있다고 주장하며, 공격자가 에이전트 파이프라인에서 최대 95%의 성공률로 오예측을 유도할 수 있음을 보입니다. 이는 의도치 않은 명령어 실행, 서비스 거부(DoS), 지갑 자금 유출 및 개인정보 탈취로 이어질 수 있습니다. 마지막으로, 발견된 위해를 완화하고 에이전트 시스템을 강화하기 위해 실무자를 위한 실용적인 권장사항을 제시합니다.
PACE: 도구를 사용하는 LLM 에이전트를 위한 출처 인지 역량 강제
PACE: Provenance-Aware Capability Enforcement for Tool-Using LLM Agents
도구를 사용하는 대규모 언어 모델(LLM) 에이전트는 생성된 텍스트를 실제 부작용(side effect)으로 전환하므로, 오염된 도구 메타데이터, 검색된 페이지, 메모리 및 재사용 가능한 스킬이 다음 도구 호출을 유도할 수 있습니다. 승인(admission) 전에 아티팩트를 검증하는 것만으로는 이 문제를 해결하지 못합니다. 안전한 변형과 유출 변형이 동일한 승인 증거를 생성할 수 있어, 건전한 게이트라도 둘 중 어느 쪽에 대해서도 해당 지점의 검사를 완화할 수 없습니다. 본 연구에서는 이러한 조건을 정밀하게 정의하여, 배포 환경에서 여전히 조치를 취할 수 있는 마지막 경계를 남깁니다. 본 논문에서는 모든 도구 호출이 실행되기 직전에 이를 중재하는 출처 인지 역량 강제(PACE, Provenance-Aware Capability Enforcement)를 제안합니다. 경로 제한(Path confinement)은 표현된 영향 경로의 실행 가능한 컷을 제안하며, 역량 및 효과 검증은 인증된 요청으로부터 컴파일된 권한과 스키마에 정의된 효과를 대조하여 확인합니다. 제안된 차단 이후 인가된 호출을 복원하거나 선언된 복구를 적용할 수 있는 평가 구성과 인증된 실행 계약을 구분합니다. 제한 메커니즘은 최종 동작이 인증된 컷을 보존하도록 요구합니다. 3개 타깃 모델 군을 사용한 8개의 실행 가능한 에이전트 보안 벤치마크에서, 평가 구성은 적격 공격 항목 79개 중 62개에서 완전히 가장 낮은 공격 성공률을 기록했고 14개에서 동률을 달성했습니다. 전체 벤치마크 고유 유용성(native utility)은 방어되지 않은 에이전트 대비 최대 3포인트만 손실되었습니다. 1,167개 쌍체 사례에 대한 완전한 어블레이션 분석 결과, 대부분의 보안 향상은 효과 검증에, 거절 제어는 경계 적응에 기인하는 것으로 나타났습니다. 축소된 규모의 적응형 탐색 결과, 방어 체계에 맞선 권한 외(out-of-authority) 타깃 30개 중 0개에서만 성공했습니다.
스킬 체이닝을 통한 LLM 에이전트 하이재킹
Chaining Skills to Hijack LLM Agents
대규모 언어 모델(LLM) 에이전트는 특화된 작업의 성능을 향상하기 위해 스킬(skill)을 활용합니다. 에이전트는 사용자의 요청을 완료하기 위해 여러 스킬을 순차적으로 호출할 수 있으며, 이로 인해 한 스킬에서 생성된 정보가 다음 스킬을 안내하게 됩니다. 스킬은 오픈소스 저장소에서 가져올 수 있으므로, 이러한 정보 전달 과정에서 공격자가 제어하는 주장이 이후의 결정으로 이어질 수도 있습니다. 본 논문에서는 사용자 작업 및 공격자가 선택한 작업에 맞춰 적대적 스킬 체인을 구축하고 정제하는 APEX를 소개합니다. 핵심 통찰은 실제 작업 진행 상황에 대해 에이전트가 작성한 기록이 여러 스킬에 걸쳐 사용자 승인에 대한 거짓 주장을 전달할 수 있다는 점입니다. 즉, 상류(upstream) 스킬이 에이전트로 하여금 해당 기록을 생성하도록 유도하고, 하류(downstream) 스킬은 이를 활용하여 공격자가 선택한 작업을 지시합니다. SkillsBench의 4가지 표적 행동군과 6개 모델에 걸쳐 평가한 결과, 이러한 체인은 690회 시도 중 512회(74.2%)에서 선택된 작업을 유도했습니다. GPT-5.4의 경우, 전체 체인은 워크플로가 단일 스킬로 병합되었을 때의 17.4%와 비교하여 84.3%의 시도에서 성공했습니다. 나아가 스킬이 생성한 파일을 원본 요청과 대조하여 확인하도록 에이전트에게 요청하는 프롬프트 기반 방어 기법을 평가했습니다. GPT-5.4에서 이 방어는 표적 행동 성공률을 84.3%에서 59.1%로 낮추었으나, 72개의 정상 네이티브 스킬 작업에 대한 검증기 테스트 통과율 또한 86.7%에서 56.3%로 떨어졌습니다. 이러한 결과는 정당한 작업 성능을 보존하면서도 공격자가 지시한 작업을 방지하는 방어책의 필요성을 강조합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.