프로덕션 AI 에이전트의 런타임 거버넌스를 위한 5-평면 참조 아키텍처
A Five-Plane Reference Architecture for Runtime Governance of Production AI Agents
한국어 초록
엔터프라이즈 보안은 데이터 경계를 관리하도록 구축되었습니다: 보호 대상은 정지 데이터와 전송 중 데이터였으며, 접근 제어, 데이터 유출 방지, 경계 검사와 같은 제어 수단은 해당 경계를 넘는 횡단을 관리했습니다. 프로덕션 AI 에이전트는 이러한 가정을 무너뜨립니다. 에이전트는 컨텍스트를 읽고, 도구를 호출하며, 커넥터를 실행하고, 기업을 대신하여 기록 시스템을 수정하므로, 위험은 워크플로우 내부로 이동하여, 아무도 승인하지 않은 비즈니스 프로세스로 변형될 수 있는 개별적으로 허용된 동작의 연속 속으로 들어갑니다. 기존 정책 엔진은 이 체제로 확장되지 않습니다: 이들은 원자적 보안 주체에 대해 요청 시점 결정을 평가하는 반면, 에이전트 시스템은 위임 체인을 통해 권한이 약화되는 복합 보안 주체에 대해 상태 기반 평가가 필요합니다. 우리는 프로덕션 에이전트의 런타임 거버넌스를 위한 참조 아키텍처를 제시합니다. 이는 4가지 구성 가능한 프리미티브로 구축되었습니다: 의도를 판정하는 추론 평면과 결정을 실현하는 4개의 시행 평면(네트워크, 아이덴티티, 엔드포인트, 데이터)으로 구성된 5-평면 분해, 어디서든 중재(stop-anywhere mediation), 권한 약화 기능이 있는 복합 보안 주체, 그리고 구조화된 증거 기반으로서의 감사입니다. 우리는 허용 및 거부를 일반화하는 6가지 중단 프리미티브의 분류 체계를 정의하고, 4가지 정확성 불변성을 제시하고 논증하며, 5가지 구체적인 워크플로우에 걸쳐 7가지 프로덕션 에이전트 위협의 차단을 입증합니다. 정책 엔진 코어의 참조 구현은 측정된 증거를 제공합니다: 권한 약화 정확성과 증거 재구성 가능성은 모든 시행에서 유지되며, 판정은 한 자릿수 마이크로초 내에 실행되고, 감사 기반의 변조 증거는 설계된 대로 정확히 동작합니다. 우리는 범위를 명확히 합니다: 이 아키텍처는 모델 동작이 아닌 위임된 동작을 관리하며, 라이브 에이전트 벤치마크에 대한 전체 시스템 평가가 다음 단계로 제안됩니다.
원문 초록
Enterprise security was built to govern data boundaries: the protected surface was data at rest and in transit, and the controls -- access control, data-loss prevention, perimeter inspection -- governed crossings of that boundary. Production AI agents dissolve this assumption. An agent reads context, calls tools, invokes connectors, and modifies systems of record on an enterprise's behalf, so risk moves inside the workflow, into sequences of individually-permitted actions that may transform a business process no one authorized. Existing policy engines do not extend to this regime: they evaluate request-time decisions against atomic principals, where agentic systems require stateful evaluation against composite principals whose authority attenuates through delegation chains. We present a reference architecture for the runtime governance of production agents, built from four composable primitives: a five-plane decomposition (a reasoning plane that adjudicates intent, and four enforcement planes -- network, identity, endpoint, data -- that realize the decision), stop-anywhere mediation, composite principals with capability attenuation, and audit as a structured evidence substrate. We define a taxonomy of six interruption primitives that generalize allow and deny, state and argue for four correctness invariants, and demonstrate the foreclosure of seven production-agent threats across five concrete workflows. A reference implementation of the policy-engine core supplies measured evidence: attenuation correctness and evidence reconstructability hold on every trial, adjudication runs in single-digit microseconds, and the audit substrate's tamper-evidence behaves exactly as designed. We are explicit about scope: the architecture governs delegated action, not model behavior, and a full-system evaluation against a live agent benchmark is the invited next step.
요약
기존 보안 체계로는 제어하기 어려운 프로덕션 AI 에이전트의 워크플로 내 위험을 관리하기 위해, 추론 평면과 네 가지 시행 평면으로 구성된 5개 평면 분해 및 복합 보안 주체를 포함하는 런타임 거버넌스 참조 아키텍처를 제안합니다. 제안된 아키텍처는 마이크로초 단위의 판단 속도와 구조화된 감사 기능을 통해 다양한 위협을 방지할 수 있음을 참조 구현을 통해 입증했습니다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.12320v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Towards Trustworthy Physical Intelligence: From Theory to Practice Across Life Cycle
TRACE: 프로덕션 AI 시스템의 설명가능성 부채 측정을 위한 거버넌스 프레임워크
TRACE: A Governance Framework for Measuring Explainability Debt in Production AI Systems
중대한 영향을 미치는 고위험(high-stakes) 영역에 배포된 프로덕션 AI 시스템에는 기존 모니터링 프레임워크로는 감지하지 못하는 거버넌스 부채가 축적됩니다. 바로 규제 기관, 감사인 또는 영향을 받는 개인이 책무성을 요구할 때 개별 결정을 설명하지 못하는 능력이 점진적으로 심화되는 현상입니다. 본 논문에서는 프로덕션 AI 시스템에서 설명가능성 부채(Explainability Debt)를 측정, 추적 및 개선하기 위한 7가지 도구 기반의 거버넌스 프레임워크인 TRACE(Transparency, Risk, Accountability, Compliance, and Explainability)를 소개합니다. 핵심 도구인 설명가능성 부채 점수(EDS, Explainability Debt Score)는 임의의 시점에서 거버넌스에서 정의한 설명가능성 신뢰도 임계값에 미치지 못하는 프로덕션 결정의 비율을 정량화합니다. 보완 도구로는 DART(위반 예측을 위한 부채 축적률 추적기), SHIV(일일 거버넌스를 위한 시나리오 건전성 및 무결성 검증기), FDE(인과 관계 귀속을 위한 특징 드리프트 평가기), HVE(인간 검증 엔진), AIDE(감사 개입 결정 엔진), ZERO(개선을 위한 무결점 설명가능성 위험 최적화기)가 포함됩니다. 매일 50,000건의 금융 거래를 처리하며 98.46%의 정확도와 0.9990의 ROC-AUC를 달성한 프로덕션 이상거래 탐지(fraud detection) 시스템에 대한 12개월간의 종단적 사례 연구를 통해, 감사 당일 0.23의 EDS를 DART 궤적 분석을 통해 6개월 전에 통계적으로 예측할 수 있었음을 입증했습니다(beta = 0.008/주, R-squared = 0.94, 95% CI: [0.006, 0.010]). 또한 설명가능성 부채의 78%가 가장 규제 위험이 높은 결정 범주(10,000달러 초과 거래)에 집중되어 있었으며, 이는 시스템 수준의 지표로는 전혀 감지할 수 없는 위험 비대칭성이었습니다. TRACE는 프로덕션 AI 배포 환경에서 EU AI 법(EU AI Act) 제13조 준수를 위한 최초의 정량적 운영 아키텍처를 제공하며, 설명 생성(explanation generation)과는 구별되는 설명 거버넌스(explanation governance)라는 새로운 하위 분야를 정립합니다.
설득 전파: 설득은 AI 에이전트의 행동을 변화시키는가?
Persuasion Propagation: Does Persuasion Change AI Agent Behavior?
AI 에이전트(agent)는 일상적인 대화와 자율적인 작업 수행을 결합하여, 이전의 맥락이 이후의 작업 수행 방식에 영향을 미치도록 합니다. 그러나 에이전트의 행동은 노이즈가 많고 재현 비용이 높으며, 관찰된 행동 변화를 일반적인 맥락 민감성과 구분하기 어렵기 때문에 이러한 가능성을 연구하는 것은 쉽지 않습니다. 본 연구에서는 먼저 작업과 무관한 설득이 에이전트의 행동 방식을 변화시키는지, 즉 우리가 '설득 전파(persuasion propagation)'라고 부르는 현상과 설득 감수성이 이러한 영향의 차이를 설명하는지 질문합니다. 연구 결과, 설득적 상호작용은 다운스트림 에이전트 실행에 측정 가능하고 작업에 의존적인 행동적 흔적을 남김을 보여줍니다. 웹 리서치 작업에서는 기준선(baseline) 대비 실행 시간이 56\% 증가하고 방문한 도메인 수가 16.3\% 증가한 반면, 코딩 작업에서는 더 큰 규모의 수정을 수반하면서도 실행 속도가 더 빨라졌습니다. 그러나 설득적 대화 맥락에 더 취약한 에이전트라 하더라도 다운스트림 행동 변화의 크기를 안정적으로 예측하지는 못했습니다. 이는 AI 에이전트에서 설득에 대한 행동 수준의 평가가 필요함을 시사합니다.
에이전트 궤적을 통한 모델 행동 분석
Dissecting model behavior through agent trajectories
AI 에이전트 성능은 단순한 모델링 문제에 그치지 않고 본질적으로 시스템적인 문제입니다. 모델의 고급 역량은 에이전트 하네스(harness)를 통해 구현됩니다. 따라서 모델의 가정과 하네스의 동작 사이의 간극은 모델의 온전한 역량이 에이전트 성능으로 이어지는 것을 쉽게 방해할 수 있습니다. 본 연구에서는 이를 모델이 의도하는 바와 하네스가 실행하는 것 사이(그리고 그 반대)의 불일치를 뜻하는 '의도-실행(intent-execution)' 간극으로 공식화합니다. 우리는 이러한 의도-실행 간극을 최소화하는 것이 도구 및 실행 루프와 같은 하네스 설계의 다른 측면만큼이나 중요하다고 주장합니다. 이러한 하네스-모델 정렬(alignment)의 영향을 보여주기 위해, 우리는 'Simple Strands Agent'(SSA)라는 단순하고 사용자 맞춤 설정이 가능한 하네스를 개발합니다. SSA는 소수의 모델별 선호도뿐만 아니라 다양한 모델 계열(Claude, Gemini, GPT, Grok, Qwen 등) 전반에 걸쳐 일반화되는 공통 패턴의 대부분을 찾는 것을 목표로 합니다. 본 논문의 기여는 두 가지입니다. (i) 널리 사용되는 에이전트 벤치마크(SWE-Pro, SWE-Verified, Terminal-Bench-2, Deep-SWE)에서 다양한 모델 제공사 계열이 보고한 pass@1 성능을 재현하거나 개선합니다. (ii) SSA가 생성한 154k개의 궤적 분석을 바탕으로, 프론티어 모델 전반에서 비교적 균등하게 나타나는 경향이 있는 pass@1 수치 그 너머를 살펴봅니다. 에이전트 궤적을 코드 상태 공간으로 표현함으로써, 해법 거리(solution distance)와 역추적(backtracking)을 계산하여 문제 해결 행동에서 모델 수준의 차이를 관찰합니다. 수정 빈도, 테스트 활동, 상태 전이와 같은 더 세분화된 지표는 개별 모델이 문제 해결의 여러 단계에 걸쳐 노력을 어떻게 배분하는지를 보여줍니다.
프로덕션 AI 에이전트를 위한 경량 루브릭 기반 궤적 평가
Lightweight, Rubric-Guided Trajectory Evaluation for Production AI Agents
궤적 평가(trajectory evaluation)는 대규모 언어 모델(LLM) 기반 에이전트(agent)의 신뢰성을 향상시키는 데 필수적이지만, 프로덕션 환경에서 반복적으로 실행하기에는 비용이 많이 듭니다. 현대적인 에이전트는 도구 호출, 관측 결과, 재시도 및 외부 출력을 포함하는 긴 실행 추적(trace)을 생성하지만, 모든 원시 토큰(token)이 진단에 똑같이 유용한 것은 아닙니다. 본 논문에서는 예산이 제한된 궤적 평가를 위한 경량 아키텍처인 LiteTrajEval을 제시합니다. LiteTrajEval은 오프라인에서 도메인 특화 규칙 프로파일을 간결하게 도출한 후, 온라인에서 각 궤적을 전처리하고 휴리스틱 실패 신호를 표시하며, 고정된 글로벌 예산 내에서 이를 직렬화하고 단일 루브릭 기반 LLM 판정자(judge)를 호출하여 구조화된 진단 보고서를 생성합니다. 공개된 Magentic-One 스타일 및 $\tau$-bench 스타일 궤적 데이터셋(dataset)에서 평가한 결과, LiteTrajEval은 AgentRx와 비교하여 Magentic-One에서 약 20--35%p, $\tau$-retail에서 최대 23%p까지 인간 주석과의 실패 위치 식별(failure-localization) 일치도를 향상시키는 동시에 비용을 약 6배, 평가 시간을 8배 이상 절감했습니다. 이 솔루션은 당사의 엔터프라이즈 에이전트 플랫폼에도 배포되었습니다.
ECHO: 바이어스에 기반한 참여형 AI 위해 예측 프레임워크
ECHO: A Participatory Framework for Bias-Anchored AI Harm Anticipation
인공지능(AI) 시스템은 중요한 결정에 점차 많은 영향을 미치며, 가치를 창출하는 동시에 개인, 사회 집단 및 사회 전반에 잠재적 위해(harm)를 초래하기도 합니다. 이에 따라 AI 수명주기 초기 단계에서 위해를 선제적으로 예측하는 접근 방식에 대한 요구가 커지고 있습니다. 기존 연구들은 AI의 바이어스를 위해의 원인으로 지목하고 있으나, 특정 수명주기 바이어스와 위해 간의 구체적인 연관성은 여전히 충분히 규명되지 않았습니다. 본 연구에서는 수명주기 바이어스에 초기 위해 예측을 연계하고, 잠재적 위해와의 인지된 연관성을 도출하는 체계적이고 맥락 인식형(context-sensitive) 참여 프레임워크인 \texttt{ECHO}를 소개합니다. \texttt{ECHO}는 도메인별 이해관계자를 식별하고, 비네트(vignette)를 통해 바이어스를 구체화하며, 인간 참가자와 대규모 언어 모델(LLM)로부터 위해성 판단을 수집하여 이를 기술적 및 추론적 윤리 매트릭스로 구성합니다. 질병 진단 및 채용 도메인에 적용한 결과, \texttt{ECHO}는 특정 AI 바이어스의 그럴듯한 결과로 어떤 위해가 인식되는지를 보여주는 비균일적이고 맥락에 민감한 바이어스-위해 패턴을 포착했습니다. 이러한 패턴의 이론적 해석 가능성과 특정 연관성에 대한 추론적 뒷받침은 도출된 매핑의 타당성을 강화합니다. \texttt{ECHO}는 이해관계자별로 예상되는 위해를 수명주기 바이어스에 연결함으로써, 원인 수준의 위해 예측을 지원하고 향후 AI 거버넌스 조치를 위한 구조화된 입력을 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.