arXiv:2605.10907 cs.CR

Engineering Robustness into Personal Agents with the AI Workflow Store

제출 2026-05-11

한국어 초록

AI 에이전트의 지배적인 패러다임은 사용자 프롬프트에 응답하여 에이전트가 수초 또는 수분 내에 계획을 합성하고 행동을 실행하는 “즉석(on-the-fly)” 루프입니다. 우리는 이 패러다임이 오늘날 우리가 사용하는 (상대적으로) 신뢰할 수 있고 안전한 시스템을 만들어 온, 반복적 설계, 엄격한 테스트, 적대적 평가, 단계적 배포 등과 같은 규율화된 소프트웨어 공학(SE) 프로세스를 우회한다고 주장합니다. 빠른 실시간 합성에만 집중할 때, AI 에이전트는 사용자가 자신도 모르게 적용할 수 있는 고위험 상황에 적합한 시스템이라기보다 즉흥적으로 만든 프로토타입을 실제로 제공하고 있는 것은 아닐까요? 본 논문은 잠재적으로 취약하고 불안정한 즉석 합성 결과를 크게 능가하는, 프로덕션 수준의 강화된 결정론적 제약을 지닌 에이전트 *워크플로우*를 만들기 위해 엄격한 SE 프로세스를 에이전트 루프에 통합할 필요가 있다고 주장합니다. 이를 위해서는 추가적인 계산 자원과 시간이 필요할 수 있으며, 그렇다면 우리는 광범위한 사용자 커뮤니티 전반에 걸친 재사용을 통해 이러한 엄격성의 비용을 상각해야 합니다. 우리는 에이전트가 즉흥적인 도구 체인보다 훨씬 더 높은 신뢰성과 보안성으로 호출할 수 있는 강화되고 재사용 가능한 워크플로우로 구성된 *AI 워크플로우 스토어*를 구상합니다. 또한 이러한 비전이 지닌 연구 과제들을 개괄하는데, 이는 더 넓은 유연성-견고성 긴장에서 비롯되며, 우리는 이를 효과적으로 다루기 위해서는 “즉석(on-the-fly)” 패러다임을 넘어설 필요가 있다고 주장합니다.

요약

최근 개인용 AI 에이전트는 사용자의 요청에 즉시 반응하여 계획을 세우고 도구를 호출하는 방식으로 빠르게 발전해 왔지만, 그 실행 방식이 대개 몇 초에서 몇 분 안에 즉흥적으로 합성되는 온더플라이(on-the-fly) 루프에 의존한다는 점이 한계로 지적됩니다. 이러한 방식은 민감한 데이터 삭제, 잘못된 권한 수정, 프롬프트 인젝션(prompt injection)과 같은 공격에 취약할 수 있으며, 결과적으로 사용자가 고위험 환경에서 실제로 신뢰할 수 있는 시스템이라기보다 임시로 만들어진 프로토타입을 받게 될 위험이 큽니다. 이에 따라 저자들은 에이전트의 실행을 단발성 생성으로만 보지 말고, 소프트웨어 공학(software engineering, SE)에서 축적된 반복적 설계, 엄격한 테스트, 적대적 평가, 단계적 배포, 유지보수 절차를 내장한 워크플로우 중심 구조로 재구성해야 한다고 주장합니다. 핵심 제안인 AI Workflow Store는 이렇게 검증되고 강화된 워크플로우를 저장하고 재사용하는 저장소로서, 에이전트가 매번 즉흥적으로 툴 체인을 조합하는 대신 신뢰성과 보안성이 확보된 실행 단위를 호출하도록 만듭니다. 여기서 워크플로우는 단순한 프롬프트 묶음이 아니라, 결정론적으로 제약된 생산급 실행 아티팩트로 이해되며, 견고성(robustness)과 일반성(generality) 사이의 균형을 설계 대상으로 삼습니다. 이 비전은 세 가지 구성 요소로 구체화됩니다. 먼저 백엔드의 SE 에이전트 팀이 새 요청에 대해 요구사항 수집, 위협 모델링, 설계 탐색, 구현, 적대적 테스트, 일반화까지 수행해 새로운 워크플로우를 생성합니다. 다음으로 워크플로우 저장소는 이렇게 만들어진 워크플로우를 버전 관리하고 축적하며, 반복 사용을 통해 얻은 피드백과 실패 사례를 반영해 지속적으로 강화합니다. 마지막으로 로컬 에이전트는 사용자 요청을 저장소의 워크플로우와 매칭해 실행하고, 적절한 워크플로우가 없을 때만 백엔드에 생성을 요청하는 방식으로 동작합니다. 이 구조의 장점은 초기 공학 비용이 크더라도, 그 비용을 여러 사용자와 다양한 요청에 걸쳐 상쇄할 수 있다는 데 있습니다. 다시 말해, 매번 새로 만들어지는 유연한 에이전트보다, 잘 설계되고 검증된 워크플로우를 재사용하는 편이 장기적으로 더 안전하고 효율적이라는 판단입니다. 논문은 또한 이 접근이 기존의 정적 정책, 격리(sandboxing), 정보 흐름 제어, LLM 기반 guardrail과 어떻게 다른지 설명하며, 단순한 제약 추가만으로는 개인용 에이전트의 복합적인 보안 문제를 충분히 해결할 수 없다고 봅니다. 특히 스킬(skill) 기반 에이전트가 제공하는 재사용성은 중요하지만, 그것이 수동 제작이나 단순 프롬프트 수준에 머문다면 여전히 취약한 on-the-fly 패러다임을 완전히 벗어나지 못합니다. 반면 AI Workflow Store는 재사용 가능한 워크플로우를 자동으로 생성하고 검증하며 유지하는 생태계로 확장되어, 전통적인 소프트웨어 공학의 강점을 에이전트 시스템에 다시 도입하려는 시도입니다. 결국 이 연구는 에이전트의 성능을 모델의 즉흥적 추론 능력만으로 평가하는 관점을 넘어서, 설계와 검증, 배포와 재사용이 결합된 공학적 절차가 신뢰성과 안전성을 어떻게 만들어내는지를 보여주며, 고위험 상황에서도 활용 가능한 생산급 개인 에이전트의 방향을 제시합니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.