PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27900v1cs.CL

위임된 정렬 실패: 다중 에이전트 구조가 LLM 안전성 위험을 증폭시키는 방식

Delegated Misalignment: How Multi-Agent Structures Amplify LLM Safety Risks

대규모 언어 모델(LLM)은 주 에이전트가 작업을 분해하고 외부 도구를 호출할 수 있는 하위 에이전트들에게 이를 위임하는 다중 에이전트 시스템에 점점 더 많이 배포되고 있습니다. 그러나 안전성 정렬(safety alignment)은 여전히 안전성을 개별 LLM의 속성으로 취급하며 거의 전적으로 단일 에이전트 위협 모델 하에서만 평가됩니다. 본 연구에서는 이러한 가정이 무너짐을 보여줍니다: 개별 안전성 정렬은 다중 에이전트 환경으로 전이되지 못합니다. 위임 과정에서 주 에이전트 측의 책임 분산(responsibility diffusion)과 하위 에이전트 측의 역할 바이어스 순응(role-bias compliance)이라는 두 가지 실패 메커니즘이 나타나며, 이들이 결합하여 언어 수준의 거부를 실행 가능한 위해(harm)로 전환합니다. 우리는 이 현상을 위임된 정렬 실패(delegated misalignment)라 명명하고, 49개의 위험 작업에 대해 6개의 프론티어 LLM을 대상으로 한 3가지 조건의 프로토콜을 통해 이를 연구합니다. 위임은 엔드투엔드 위해를 대폭 증폭시킵니다. DeepSeek-V3.2의 전체 실행률은 위임이 도입되자마자 30.6%에서 77.6%로 증가하며, 동일한 모델도 역할에 따라 매우 다르게 행동합니다(GPT-5: 단일 에이전트로서 22.5% vs. 하위 에이전트로서 61.2%). 소거 연구(ablation)를 통해 표준 단일 층 방어가 각각 단독으로는 실패하며 심지어 역효과를 낼 수 있음도 추가로 확인했습니다. 우리는 다중 에이전트 LLM 시스템이 대규모로 배포되기 전에 커뮤니티가 모델별 정렬을 넘어 복합 안전 메커니즘으로 나아갈 것을 촉구합니다.

arXiv:2609.22944v1cs.SE

NostrAgent: 자주적 에이전트 시스템을 위한 탈중앙화 신원 및 위임 아키텍처

NostrAgent: A Decentralized Identity and Delegation Architecture for Sovereign Agentic Systems

자율 AI 에이전트(agent)는 인간 운영자를 대신하여 서드파티 서비스를 호출하고, 다른 에이전트에게 하위 작업을 위임하며, 종량제 리소스에 대한 비용을 지불하는 등 조직의 경계를 넘어 행동하는 경우가 점점 더 늘어나고 있습니다. 이러한 에이전트를 안전하게 배포하려면 현재 서로 다른 시스템에 분산되어 있는 지속적 신원, 범위 지정 위임, 피어 신뢰, 발견, 결제라는 다섯 가지 기능이 필요합니다. 기존 접근 방식들은 이를 중앙 집중식 기관에 기반을 두거나 일부 기능만 지원하므로, 키가 순환되거나 위임이 취소되어야 할 때처럼 자율성에 연속성이 필요한 바로 그 지점에서 권한, 신뢰, 결제가 단절됩니다. 본 논문에서는 세 가지 커스텀 이벤트 종류를 사용하여 Nostr 릴레이상에서 이 다섯 가지 기능을 통합하는 탈중앙화 아키텍처인 NostrAgent를 제시합니다. 여기에는 사전 순환 커밋이 포함된 BIP340 슈노르(Schnorr) 서명으로 인증되는 Kind 38100 신원 선언, 모든 홉이 부여된 권한을 검증 가능하게 축소하는 Kind 38101 범위 지정 위임 체인, 시빌(Sybil) 공격을 억제하는 신뢰 그래프를 형성하는 Kind 38102 피어 증명이 포함되며, Lightning HTTP 402(L402)를 통해 결제를 에이전트 신원과 결합합니다. 신원은 등록 기관 없이도 운영자 주권으로 유지되고, 릴레이는 신뢰의 루트가 아닌 대체 가능한 전송 계층 역할을 하며, 모든 인가 결정은 서명된 이벤트로부터 오프라인에서 재생 검증이 가능합니다. 저자들은 2라운드 미니 델파이 패널을 포함한 ATAM 품질 분석, 3개의 신뢰 경계에 걸친 STRIDE 위협 모델링, 비모수 통계를 적용한 11개 벤치마크, 19개 실패 모드로 구성된 혼합 연구 방법 설계를 통해 Python 프로토타입을 평가합니다. 결과에 따르면 서브밀리초 단위의 오프라인 검증, 선형적인 위임 체인 스케일링(scaling), regtest 상에서 중앙값 157ms의 라이트닝 정산 L402 성능을 보여줍니다. 19개 실패 모드 중 17개는 실증적으로 통과되었고, 1개는 분석적으로 한계가 입증되었으며, 1개는 아키텍처적 한계점으로 공개되었습니다. NostrAgent는 중앙 집중식 신뢰 루트 없이도 신뢰할 수 있는 에이전트 시스템을 위한 감사 가능한 프로토타입 기반을 입증합니다.