PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00015v1cs.AI

제안에서 검증된 효과까지: 거버넌스 기반 AI 에이전트 실행을 위한 증거 기반 하네스 Praxa

From Proposal to Verified Effect: Praxa, an Evidence-Bound Harness for Governed AI Agent Execution

대규모 언어 모델(LLM) 에이전트(agent)는 행동을 제안하고 실행할 수 있지만, 제안, 권한, 디스패치, 검증된 외부 효과, 서빙 승격은 서로 다른 주장입니다. 본 논문에서는 결정론적 승인, 중개 실행, 외부 리드백, 조정, 검토 기반 승격을 통해 이러한 상태들을 명시적으로 표현하는 에이전트 하네스인 Praxa를 제시합니다. 우리는 네 가지 증거 레인을 보고합니다. 첫째, 고정된 리비전에서 저자가 수행한 저장소 로컬 감사에서는 1,027/1,027개의 단위 테스트와 89/89개의 Workerd 테스트를 통과했고, 예상된 363개 소스 파일 전체를 계측했으며, 네 가지 커버리지 하한선을 충족했습니다. 다만 테스트별 원시 기록과 독립적인 재현 결과는 제공되지 않습니다. 둘째, 12개 선별된 태스크에 걸쳐 제공업체 지원 Terminal-Bench Core 0.1.1 파일럿에서 기준선(baseline)과 신뢰성 층(layer) 시험군은 엄격한 평가 36회 중 각각 17회를 통과했습니다. 신뢰성 층은 입력 토큰을 37.49%, 출력 토큰을 50.73% 더 많이 사용했으므로, 이 파일럿은 우월성을 뒷받침하지 않습니다. 셋째, 디버그 후 진행된 2차 조정 프록시 개발 비교에서 기준선과 소스 작성 후보는 각각 동일한 측정 정확도, 완전한 밀폐형 크래시 복구, 보호 위반 0건으로 180/180회의 시험을 완료했습니다. 해당 후보는 37.11% 적은 토큰, 33.84% 낮은 예상 엔드포인트 비용, 11.63% 적은 단계를 사용했으나, 이것이 향상된 품질, 지연 시간 또는 프로덕션 동작을 입증하지는 않습니다. 넷째, 배포된 소스/구성 증거는 경계가 지정된 반추, 재현율(recall) 회계, 메모리 컴파일, 도구 건전성 경로를 보여주지만 프로덕션 결과 향상은 보여주지 않습니다. Praxa가 뒷받침하는 기여는 권한에서 효과로의 전이를 명시적이고 테스트 가능하게 만드는 증거 기반 아키텍처입니다. 현재의 증거는 적대적 보안, 프로덕션 안전성, 일반적인 전문가 우월성, 자율적 재귀 최적화 또는 사용자 이점을 입증하지 않습니다.

arXiv:2609.27994v1cs.MA

개별 규제는 준수하지만 집단적으로는 차별적인: 규제 금융 환경에서 멀티 에이전트 AI를 위한 거버넌스 아키텍처

Compliant with Local Controls, Collectively Discriminatory. A Governance Architecture for Multi-Agent AI in Regulated Finance

금융 기관들은 신용, 이상 거래 탐지(fraud), 채권 추심, 규제 준수(compliance) 및 운영 제어 분야에 에이전트 기반 워크플로를 배포하기 시작하고 있습니다. 그러나 거버넌스는 여전히 구성요소 중심적(component-centric) 수준에 머물러 있어, 각 모델(model)이나 에이전트(agent)는 개별적으로 명세화, 테스트, 승인 및 모니터링됩니다. 이러한 방식은 기관 차원의 리스크가 개별적으로는 수용 가능한 다수 구성요소의 결합된 동작에서 비롯될 때 불충분합니다. 본 논문에서는 이러한 격차를 '구조적 비합성성(constitutional non-compositionality)'이라고 부릅니다. 즉, 개별 컴플라이언스 점검 결과가 제한된 차등 영향(bounded disparate impact), 시장 건전성, 추적 가능한 책임성 등과 같이 허용 가능한 집단적 결과로 반드시 종합되는 것은 아닙니다. 이에 본 논문에서는 에이전트 집단 거버넌스를 위한 금융 특화 참조 아키텍처이자 반증 가능한 연구 과제로 ARIA를 제안합니다. ARIA는 규범-책임, 실행-제어, 보증-학습의 세 가지 영역에 걸쳐 정책 명세, 집단 수준의 관측 대비 예상 동작 모니터링(M2), 제한적 권한, 런타임 격리, 적응형 정책 변경, 인간 감독 역량 보존이라는 6가지 기능을 체계화합니다. 두 가지 시뮬레이션을 통해 개별 통제 환경에서의 공유 신호 기반 금융이력 부족자(thin-file) 배제 현상과, 인위적으로 조성된 드리프트 환경에서 관측 대비 예상 분포 모니터링을 통한 조기 경보 가능성을 입증합니다. 본 연구는 이러한 통제 기법을 공정 대출, EU AI 법(EU AI Act), 모델 리스크 및 영업행위 감독 증빙 요건과 연계하며, 즉각적인 운영 효과성을 주장하기보다는 향후 검증(validation) 과제를 제시하며 마무리합니다.

arXiv:2607.21495v1cs.AI

산업 분야 AI 에이전트 생성 민주화를 위한 지속적 보증

Toward Continuous Assurance for the Democratization of AI Agent Creation in Industry

조직 내에서 비엔지니어 사용자들이 로우코드, 노코드, 대화형 개발 환경을 통해 AI 에이전트를 점점 더 많이 만들고 있다. 이러한 민주화는 빠른 현지 혁신을 가능하게 하지만, 신뢰성 격차(reliability gap)도 만든다. 사용자에게 단순한 생산성 도구처럼 보이는 에이전트가 변화하는 모델, 도구, 검색 소스, 권한, 프롬프트, 스케줄, 외부 서비스에 의존할 수 있기 때문이다. 이러한 의존성은 배포 후 오랜 시간이 지난 뒤에도, 사용자가 에이전트를 직접 수정하지 않더라도 조용한 성능 저하(silent degradation)를 일으킬 수 있다. 본 논문은 민주화된 AI 에이전트 생성이 야기하는 신뢰성 과제를 규명하고, 시민 개발자가 만든 조직 내 에이전트를 위한 경량 지속적 보증(continuous assurance) 프레임워크를 제안한다. 이 프레임워크는 의존성 매핑, 준비 상태 계약(readiness contracts), 예약 점검, 진단, 생명주기 거버넌스를 결합하여 에이전트가 예상 조건 하에서 운영상 준비 상태를 유지하는지 평가한다. 또한 제안된 분류 체계가 실용적인 점검과 실행 가능한 개선(remediation) 지침으로 어떻게 구체화될 수 있는지를 보여주는 초기 프로토타입 감사 도구(auditor)와 시나리오 기반 평가를 제시한다.

arXiv:2607.13716v1cs.AI

CAVA: 에이전트형 AI 시스템 런타임 거버넌스를 위한 정규 행동 검증 및 증명

CAVA: Canonical Action Verification and Attestation for Runtime Governance of Agentic AI Systems

에이전트형 AI 시스템은 로컬 코딩 훅, SDK 도구, 브라우저 자동화, 관리형 에이전트 trace, API 게이트웨이, 워크플로우 엔진 등 점점 더 이질적인 런타임을 통해 동작한다. 따라서 코드 게시, 신원 상태 변경, 자금 이동, 데이터 내보내기와 같은 단일 운영 행동이 서로 호환되지 않는 여러 런타임 기록으로 표현될 수 있다. 이로 인해 기본적인 거버넌스 질문에 답하기 어려워진다: 실제로 승인된 행동은 무엇인지, 승인을 실행에 연결하는 증거는 무엇인지, 독립적인 검증자가 나중에 동일한 행동 식별성(action identity)을 재현할 수 있는지. 본 논문은 이질적인 에이전트 활동을 정규 런타임 행동 객체로 변환하는 런타임-의미론 층인 CAVA(Canonical Action Verification and Attestation)를 제시한다. CAVA는 Proof-Carrying Agent Actions(PCAA) 아래에 위치한다. PCAA는 배포자 소유의 경로-검토-증명(route-review-prove) 거버넌스 프로세스를 정의하고, CAVA는 해당 프로세스가 다루는 안정적인 행동 객체를 정의한다. 논문은 정규 행동 식별성, 의미 패턴 탐지, 승인 바인딩(approval binding), 영수증 무결성, 런타임 간 이식 가능한 투영, 선택적 증명(attestation) 기질을 형식화한다. 96개 시드, 384개 변형의 벤치마크를 통해 참조 구현을 연구하며, 의미적 동등성, 의미적 분리, 래퍼 우회, 오탐 제어, 승인 바인딩, 영수증 재현성, attestation 변조 탐지, 런타임 이식성, 의미 패턴 탐지, 정책 성능 저하, Azure 배포 훈련을 다룬다. 기여는 배포자 측 AI 거버넌스에 필요한 기질로서 행동 수준 정규화(action-level canonicalization)와 정책 대상으로 지정 가능한(policy-addressable) 의미 패턴에 대한 시스템 공식화이다.

arXiv:2607.05397v1cs.CR

실행 증명: 거버넌스 적용 AI 에이전트 행동을 위한 런타임 검증

Proof of Execution: Runtime Verification for Governed AI Agent Actions

AI 에이전트가 규제 데이터 조회·도구 호출·상태 변경 등 실질적인 실행을 수행할 때, 각 단계의 승인 여부·기록 무결성·결정론적 재현 가능성을 보장하기 위해 실행을 계약 $C$, 실행 인과 이벤트 스트림 $T$, 재현 컨텍스트 $R$의 트리플로 형식화한 런타임 실행 증명(Proof of Execution, PoE) 프레임워크를 제안한다. 다섯 가지 불변 조건과 Prime Execution Model(PEM)을 통해 승인·경로 준수·이력 무결성을 단일 런타임 검증 객체로 결합하며, TypeScript 프로토타입에서 최소 2.7 ms의 오버헤드로 게이트웨이 우회 및 트레이스 변조 공격을 탐지하는 성능을 검증하였다.

arXiv:2606.26924v1cs.SE

LLM 코딩 에이전트를 위한 결정론적 제어 평면

A Deterministic Control Plane for LLM Coding Agents

10,008개 공개 GitHub 저장소 조사에서 LLM 코딩 에이전트 구성이 조직 경계를 넘어 미선언 중복 전파(10.1%)되고 권한 경계를 거의 선언하지 않는(<1%) 관리 공백이 확인됐다. Rel(AI)Build는 SHA-256 공급망 관리, LLM 호출 전 계층형 권한·차단 목록, 요구사항-파일-테스트 추적 단계 게이트, 7개 IDE 대상 단일 정의 컴파일, Jaccard 기반 프롬프트 드리프트 탐지를 갖춘 결정론적 제어 평면으로 이를 막으며, 주입된 위반에 대한 적합성 테스트로 각 메커니즘의 불변 조건 강제를 확인했다.

arXiv:2606.20669v1cs.AI

에이전트 행동 마이닝: 비즈니스 프로세스에서의 생성형 AI 에이전트 거버넌스

Agent Behavior Mining: Generative AI Agent Governance in Business Processes

조직들이 비즈니스 프로세스 자동화를 위해 생성형 AI 에이전트를 점점 더 많이 배포함에 따라, 거버넌스 딜레마에 직면한다. 이러한 에이전트는 운영 유연성을 높일 수 있지만, 비결정적 특성으로 인해 비즈니스 프로세스 관리(Business Process Management)가 추구하는 통제와 표준화를 저해한다. 본 논문은 에이전트 행동 마이닝(Agent Behavior Mining)을 도입하여 이 보이지 않는 자율성 위험(invisible autonomy risk)을 다룬다. 이는 프로세스 마이닝(process mining) 기법을 적용해 생성형 AI 에이전트의 의사결정을 관찰 가능하고 추적 가능하게 만드는 거버넌스 역량이다. 우리는 (1) 추론 추적(reasoning traces), 도구 사용, 토큰 비용 등 세분화된 에이전트 활동을 표준화된 프로세스 로그로 변환하는 이벤트 데이터 모델을 통해 생성형 AI 에이전트 행동에 대한 이해를 개선하고, (2) 다중 에이전트 order-to-cash 구현에서 데이터 모델을 구체화하여, 프로세스 관리자가 에이전트 로그를 활용해 정책 이탈을 탐지하고 운영 변동성을 정량화하는 방법을 보여주며, (3) 18명의 업계 실무자를 대상으로 한 탐색적 연구에서 해당 접근법의 체감 실용적 유용성을 평가한다. 결과에 따르면, 실무자들은 행동 투명성을 신뢰의 전제 조건으로 보고, 에이전트 추론을 검토할 수 있는 능력을 차세대 AI 기반 비즈니스 프로세스의 중요한 거버넌스 요건으로 간주한다.

arXiv:2606.20634v1cs.AI

DEMM-Bench: 에이전트 런타임 거버넌스-증거 충분성을 위한 교차-레짐 벤치마크

DEMM-Bench: A Cross-Regime Benchmark for Agent-Runtime Governance-Evidence Sufficiency

에이전트 런타임 시스템은 추적 기록(traces), 원장(ledgers), 출처 그래프(provenance graphs), 정책 로그, 위임 토큰(delegation tokens), 캐시 이벤트, 도구 방화벽(tool-firewall) 기록을 생성하지만, 이러한 컨테이너들이 특정 의사결정에 대한 거버넌스 질문에 반드시 답하지는 않는다. DEMM-Bench는 Decision Evidence Maturity Model(DEMM)에 기반한 에이전트 런타임 거버넌스-증거 충분성을 위한 교차-레짐 벤치마크로, 단순히 존재하는지 여부가 아니라 여덟 가지 증거 레짐에 걸친 기록이 의사결정 수준 속성을 재구성하기에 충분한지를 측정한다. 이 벤치마크는 어댑터를 통해 레짐을 정규화하고, 행위자(actor), 권한(authority), 행동(action), 정책(policy), 의사결정 근거(decision basis), 리소스 접촉(resource touch), 수명주기 맥락(lifecycle context), 검증 강도(verification strength)에 대한 속성 질문을 제시하며, 여덟 가지 결정론적 열화(degradation) 조건을 적용한다. 64개의 원고 사례에 걸쳐 trace-present 및 schema-present 베이스라인은 사례의 75%에서 과잉 주장(overclaim)을 하고, ledger-present는 50%에서 과잉 주장하며, 편집된 속성 수준 후보 채점기는 과잉 주장이 0%이며 평균 Property Sufficiency Accuracy가 56.25%이다. 공개된 패키지는 64개 사례 데이터셋, construction-oracle 레이블, 베이스라인, 어댑터를 제공하여 이질적인 에이전트 런타임 증거 기반(evidence substrates)에 걸친 의사결정-증거 성숙도의 재현 가능한 평가를 지원한다.

arXiv:2606.07119v1cs.ET

삼고리 아키텍처: 온플랫폼 조직 시대의 에이전트 거버넌스

The Three-Ring Architecture: Governing Agents in the Era of On-Platform Organisations

기업 AI 배포의 현재 단계는 구조적 실패에 직면해 있다. 조직들은 이를 통제할 인프라 없이 에이전트(agentic) 역량만 확보하고 있으며, 그 결과는 AI 배포 1세대의 오류를 재현할 것으로 예상된다—연합(federation) 층 없이 분산된 지능이 95%의 프로젝트 실패율로 이어진 것과 같다. 본 논문은 온플랫폼 조직의 거버넌스 인프라로서 삼고리 아키텍처를 공식화한다. 1링(Ring 1)은 기존 프로덕션 아키텍처이고, 2링(Ring 2)은 전략 기반 에이전트 AI(strategies-based agentic AI) 위에 구축된 M2 연합 층이며, 3링(Ring 3)은 LLM 기반 프론티어 지능 층이다. 2링은 기술적으로 정확한 의미에서 에이전트 기업의 운영체제(OS)를 구성한다—조직 수준에서 컴퓨팅 OS가 디바이스 수준에서 수행하는 바를 수행한다: 자원 추상화, 프로세스 조정, 권한 집행, 그리고 복리적으로 축적되는 지능을 위한 안정적 플랫폼. 핵심 기여는 2링과 3링의 리스크 프로파일을 공식적으로 구분하는 것이다. 전략 기반 에이전트는 결정론적 프레임워크 내에서 작동한다: 그 결과는 추적 가능하고, 권한은 집행 가능하며, 편차는 복구 가능하다. LLM 기반 에이전트는 범주적으로 다른 리스크를 도입한다—비결정론적 행위자로서, 그 편차가 복잡한 조직 시스템을 통해 사후 추적 가능성 없이 전파된다. 2링은 유용한 추가가 아니라 통제와 컴플라이언스(compliance)의 필수 조건이다. 또 다른 함의는 LLM 역량이 향상될수록 이 아키텍처에 구조적 순풍(tailwind)이 된다는 점이다. 더 유능한 비결정론적 행위자는 편차할 때 더 큰 결과를 낳으며, 거버넌스 요구는 역량에 비례해 확대된다. 이 아키텍처는 금융 서비스, 정부, 조달, 컴플라이언스 등 다양한 분야에서 10년간의 배포를 통해 검증되었다.

arXiv:2606.06545v1cs.SE

Queen-Bee 에이전트: 거버넌스가 적용된 엔터프라이즈 MCP 오케스트레이션을 위한 BeeSpec 중심 아키텍처

Queen-Bee Agents: A BeeSpec-Centered Architecture for Governed Enterprise MCP Orchestration

엔터프라이즈 에이전트 시스템은 대규모 언어 모델(LLM)을 프라이빗 도구, 내부 지식, 그리고 Model Context Protocol(MCP) 인터페이스에 연결해야 하는 필요성이 점점 커지고 있다. 이러한 환경에서 순수한 작업 수행 능력만으로는 충분하지 않으며, 조직은 정책 집행, 테넌트 범위 격리, 그리고 명시적 운영 경계 내에서의 실행도 요구한다. 본 논문에서는 거버넌스가 적용된 다중 에이전트 아키텍처인 Queen-Bee를 제시한다. 이 아키텍처에서 Queen 제어 플레인은 기능을 검색하고, 작업 범위의 실행을 계획하며, 제한된 도구 접근 하에 특화된 Bee 에이전트들이 실행하는 구조화된 BeeSpec을 컴파일한다. 우리는 테넌트 범위 MCP 커넥터, 감사 기반 실행 시간 거버넌스, 검색 기반 약한 인큐베이션(weak incubation), 그리고 다중 프로비저닝 백엔드를 갖춘 동작하는 프로토타입을 구현하였다. 거버넌스 민감 요청, 검색 기반 프로비저닝, 범위 제한 로컬 실행, 화학 워크플로우 통합을 아우르는 59개의 엔터프라이즈 스타일 작업으로 시스템을 평가하였다. 검색 기반 Queen-Bee 변형은 작업 성공률 0.964, 거버넌스 실패 건수 0을 달성하였으며, 정적 Queen-Bee 기준선 및 허용적 단일 에이전트 기준선 대비 범위 제한 실행 품질이 실질적으로 우수하였다. 또한 명시적 승인 게이팅과 실제 상위 근거 및 스크리닝 산출물에 기반한 구체적인 상위 3개 후보 목록을 갖춘 다중 Bee 화학 워크플로우를 추가로 제시한다. 하이브리드 검색 및 LLM 기반 프로비저닝과의 추가 비교 결과, 더 풍부한 프로비저닝 백엔드가 실현 가능하지만 현재의 소규모 고구조화 기능 레지스트리에서는 경량 구조화 검색기를 능가하지 못함을 보인다. 본 결과는 프로덕션 배포 연구가 아닌 프로토타입 수준의 시스템 근거를 제공하며, 엔터프라이즈 에이전트 플랫폼은 기능 수준뿐만 아니라 거버넌스가 적용된 프로비저닝, 격리 동작, 범위 제한 실행 품질, 그리고 산출물 인식 워크플로우 조정 측면에서도 평가되어야 함을 시사한다.