arXiv:2606.11869v1 cs.SE

Agents All the Way Down: 기반에서 프로덕션까지 커스텀 AI 에이전트 구축 방법론

Agents All the Way Down; A Methodology for Building Custom AI Agents from Substrate to Production

Marc Alier Forment, Juanan Pereira, Francisco José García-Peñalvo, María José Casañ Guerrero

제출 2026-06-10

한국어 초록

커스텀 AI 에이전트는 자체 애플리케이션 내에서 상주하며, 자체 데이터와 도구와 통신하고, 자체 보안 경계를 강제하며, 자체 브랜드와 감사 추적(audit trail)을 유지하는 에이전트입니다. 이들을 범용 계층(tier)과 구별하는 것은 역량이 아니라 적합성(fit)입니다: 각 에이전트는 유지보수를 담당할 엔지니어가 하나의 작업을 위해 구축합니다. 처음부터 끝까지(end-to-end) 구축하는 방법을 명시한 출판된 관행은 없습니다. 구성 요소는 어디에나 있습니다(함수 호출 API, 모델 컨텍스트 프로토콜(Model Context Protocol), 페어링할 코드 에이전트 등), 하지만 이들을 연결하는 관행은 팟캐스트, 블로그, 유출된 시스템 프롬프트(system prompts)에 숨어 있습니다. 본 논문은 그 관행을 'Agents All the Way Down'이라는 방법론으로 기록합니다: 한 번 설정하고 유지하는 두 가지 전제 조건, 그리고 에이전트의 수명 주기 동안 반복되는 세 가지 관행입니다. 전제 조건은 (P1) Substrate(기반), 즉 프롬프트 캐싱(prompt-caching) 하의 메시지, 시스템, 도구로 프레임화된 소프트웨어 구성요소로서의 LLM(대규모 언어 모델); 그리고 (P2) Building blocks(구성 요소): 함수 호출(function calling), MCP, CLI 오케스트레이션(orchestration), 라이트셸(liteshell) 패턴, 에이전트 루프(agent loop), 스킬(skills), 캐릭터(characters), 훅(hooks), 스캐폴딩(scaffolding)입니다. 관행은 (P3) 범용 에이전트로 프로토타입 제작; (P4) 결과를 수집(harvest), 통합(fold), CLI로 배포하는 터틀(Turtle) 패턴; 그리고 (P5) agent-tests-agent로, 여기서 범용 에이전트가 행동 시나리오를 통해 이를 구동하며, 이는 고전적인 테스트의 보완제이지 대체재가 아닙니다. 작업 루프는 P3에서 P4, P5로 다시 돌아가는 것이며, 하나의 부산물(corollary)이 자연스럽게 도출됩니다: 멀티 에이전트 오케스트레이션(multi-agent orchestration)은 단순한 CLI 구성(composition)입니다. 이 방법론은 구조적으로 프레임워크에 구애받지 않습니다(framework-free). 이는 오픈 소스 LAMB 플랫폼을 위한 커스텀 에이전트인 AAC에서 추출된 것으로, 한 개발자가 AI 페어 프로그래머와 함께 약 10일 만에 구축하여 현재 프로덕션 환경에서 운영 중입니다. 우리는 이를 어떤 언어나 프레임워크와도 독립적인 이식 가능한 관행으로 제시합니다.

원문 초록

Custom AI agents areagents that live inside their own application, talk to their own data and tools, enforce their own security boundaries, and carry their own brand and audit trail. What separates them from the general-purpose tier is fit, not capability: each is built for one job, by the engineer who will maintain it. No published practice sets out how to build one end to end. The pieces are everywhere (function-calling APIs, the Model Context Protocol, code agents to pair with), but the practice that chains them lives in podcasts, blogs, and leaked system prompts. This paper writes that practice down as a methodology, Agents All the Way Down: two preconditions crossed once and kept, then three practices repeated for the agent's life. The preconditions are (P1) Substrate, the LLM as a software component, framed as tools, then system, then messages under prompt-caching; and (P2) Building blocks: function calling, MCP, CLI orchestration, the liteshell pattern, the agent loop, skills, characters, hooks, and scaffolding. The practices are (P3) prototype with a general-purpose agent; (P4) harvest, fold, and ship the result as a CLI, the Turtle pattern; and (P5) agent-tests-agent, in which a general-purpose agent drives it through behavioural scenarios, a complement to classical testing, not a replacement. The working loop is P3 to P4 to P5 and back, and one corollary falls out for free: multi-agent orchestration is just CLI composition. The methodology is framework-free by construction. It was distilled from the AAC, a custom agent for the open-source LAMB platform, built in about ten days by one developer with an AI pair-programmer and in production . We present it as a transferable practice, independent of any language or framework.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.11869v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10633v1cs.SE공통 태그 software engineering

소프트웨어 공학 체계적 문헌고찰에서 LLM의 스크리닝 성능은 정체되었는가?

Has LLM Screening Performance Stalled in Software Engineering Systematic Reviews?

체계적 문헌고찰(SR)에서의 스크리닝(선별) 작업은 수작업으로 이루어지며 많은 시간이 소요됩니다. 이전 연구들에서는 이 단계를 자동화하기 위해 대규모 언어 모델(LLM)을 활용하는 방안을 탐색했으나, LLM이 빠르게 발전하고 있어 초기 성능에 대한 주장이 현재의 스크리닝 성능을 더 이상 정확하게 반영하지 못할 수 있습니다. 본 연구에서는 기존의 소프트웨어 공학 SR 스크리닝 벤치마크(SESR-Eval)를 데이터로 사용했습니다. 또한 더 낮은 비용으로 평가를 수행할 수 있도록 검정력 표본추출(power-sampled)을 적용한 더 작은 신규 데이터셋(SESR-Eval-Mini)을 구축했습니다. 이 데이터를 활용해 8개의 최신 LLM을 대상으로 스크리닝 성능을 평가했습니다. 아울러 다양한 프롬프트를 테스트하고, 스크리닝 결정 및 기준에 대한 LLM 간 일치도를 분석했으며, 포함 및 제외 기준의 세분화가 스크리닝 성능에 미치는 영향을 조사했습니다. 8개의 최신 LLM은 기존 7개 모델에 비해 미미하게 향상된 성능을 보였습니다(2차 연구 전반의 평균 MCC는 0.347에서 0.365로 상승). 2차 연구 간의 성능 차이는 여전히 LLM 간의 차이보다 컸습니다. 개별 기준 수준의 결정으로부터 전반적인 스크리닝 결정을 도출하는 방식은 스크리닝 성능을 아주 약간만 저하시켰습니다. LLM들은 해당하는 스크리닝 결정에서 전반적으로 서로 높은 일치도를 보였으나(평균 Gwet의 AC1 = 0.830), 특정 포함 및 제외 기준에서는 상대적으로 더 큰 불일치를 나타냈습니다. 포함 및 제외 기준을 구체화하자 재현율(recall)이 소폭 향상되고 일부 LLM의 결정이 더 용이해졌지만, 기준 세분화의 전반적인 영향은 크지 않았습니다. LLM은 아직 논문 스크리닝에서 인간을 대체할 준비가 되지 않았으며, 더 많은 비용이 드는 최신 모델이 가져다주는 이점 또한 매우 제한적인 것으로 보입니다. 에이전트 기반 접근법, 프롬프트 엔지니어링, 그리고 추가적인 기준 세분화가 잠재적인 세 가지 향후 연구 방향입니다.

arXiv:2602.00851v4cs.AI공통 태그 ai agents

설득 전파: 설득은 AI 에이전트의 행동을 변화시키는가?

Persuasion Propagation: Does Persuasion Change AI Agent Behavior?

AI 에이전트(agent)는 일상적인 대화와 자율적인 작업 수행을 결합하여, 이전의 맥락이 이후의 작업 수행 방식에 영향을 미치도록 합니다. 그러나 에이전트의 행동은 노이즈가 많고 재현 비용이 높으며, 관찰된 행동 변화를 일반적인 맥락 민감성과 구분하기 어렵기 때문에 이러한 가능성을 연구하는 것은 쉽지 않습니다. 본 연구에서는 먼저 작업과 무관한 설득이 에이전트의 행동 방식을 변화시키는지, 즉 우리가 '설득 전파(persuasion propagation)'라고 부르는 현상과 설득 감수성이 이러한 영향의 차이를 설명하는지 질문합니다. 연구 결과, 설득적 상호작용은 다운스트림 에이전트 실행에 측정 가능하고 작업에 의존적인 행동적 흔적을 남김을 보여줍니다. 웹 리서치 작업에서는 기준선(baseline) 대비 실행 시간이 56\% 증가하고 방문한 도메인 수가 16.3\% 증가한 반면, 코딩 작업에서는 더 큰 규모의 수정을 수반하면서도 실행 속도가 더 빨라졌습니다. 그러나 설득적 대화 맥락에 더 취약한 에이전트라 하더라도 다운스트림 행동 변화의 크기를 안정적으로 예측하지는 못했습니다. 이는 AI 에이전트에서 설득에 대한 행동 수준의 평가가 필요함을 시사합니다.

arXiv:2606.17454v3cs.AI공통 태그 ai agents

에이전트 궤적을 통한 모델 행동 분석

Dissecting model behavior through agent trajectories

AI 에이전트 성능은 단순한 모델링 문제에 그치지 않고 본질적으로 시스템적인 문제입니다. 모델의 고급 역량은 에이전트 하네스(harness)를 통해 구현됩니다. 따라서 모델의 가정과 하네스의 동작 사이의 간극은 모델의 온전한 역량이 에이전트 성능으로 이어지는 것을 쉽게 방해할 수 있습니다. 본 연구에서는 이를 모델이 의도하는 바와 하네스가 실행하는 것 사이(그리고 그 반대)의 불일치를 뜻하는 '의도-실행(intent-execution)' 간극으로 공식화합니다. 우리는 이러한 의도-실행 간극을 최소화하는 것이 도구 및 실행 루프와 같은 하네스 설계의 다른 측면만큼이나 중요하다고 주장합니다. 이러한 하네스-모델 정렬(alignment)의 영향을 보여주기 위해, 우리는 'Simple Strands Agent'(SSA)라는 단순하고 사용자 맞춤 설정이 가능한 하네스를 개발합니다. SSA는 소수의 모델별 선호도뿐만 아니라 다양한 모델 계열(Claude, Gemini, GPT, Grok, Qwen 등) 전반에 걸쳐 일반화되는 공통 패턴의 대부분을 찾는 것을 목표로 합니다. 본 논문의 기여는 두 가지입니다. (i) 널리 사용되는 에이전트 벤치마크(SWE-Pro, SWE-Verified, Terminal-Bench-2, Deep-SWE)에서 다양한 모델 제공사 계열이 보고한 pass@1 성능을 재현하거나 개선합니다. (ii) SSA가 생성한 154k개의 궤적 분석을 바탕으로, 프론티어 모델 전반에서 비교적 균등하게 나타나는 경향이 있는 pass@1 수치 그 너머를 살펴봅니다. 에이전트 궤적을 코드 상태 공간으로 표현함으로써, 해법 거리(solution distance)와 역추적(backtracking)을 계산하여 문제 해결 행동에서 모델 수준의 차이를 관찰합니다. 수정 빈도, 테스트 활동, 상태 전이와 같은 더 세분화된 지표는 개별 모델이 문제 해결의 여러 단계에 걸쳐 노력을 어떻게 배분하는지를 보여줍니다.

arXiv:2607.00711v2cs.SE공통 태그 software engineering

ClarifyCodeBench: 코드 생성을 위한 모호한 요구사항 명확화 능력에 대한 대규모 언어 모델(LLM) 평가

ClarifyCodeBench: Evaluating LLMs on Clarifying Ambiguous Requirements for Code Generation

대규모 언어 모델(LLM)이 프로그래밍 보조 도구로 부상했습니다. 그러나 코드 생성의 효용성은 입력 요구사항의 품질에 의해 제약을 받으며, 이러한 요구사항은 종종 모호하거나 불완전하거나 덜 명시적(underspecified)입니다. LLM은 원샷(one-shot) 코드 합성에는 뛰어나지만, 견고한 소프트웨어 공학에 필수적인 특성인 의도를 능동적으로 명확히 하는 능력은 여전히 충분히 탐구되지 않았습니다. 기존 벤치마크는 완벽하게 명시된 프롬프트를 가정하여 이러한 상호작용 병목 현상을 대체로 간과하고 있으며, 이는 요구사항 도출의 반복적인 특성을 반영하지 못합니다. 이러한 격차를 해소하기 위해, 본 연구에서는 요구사항의 모호성을 해결하는 LLM의 능력을 평가하는 새로운 상호작용형 벤치마크인 ClarifyCodeBench를 소개합니다. 실제 프로그래밍 작업으로부터 구축된 ClarifyCodeBench는 N개의 고유한 모호성 유형, 관련 명확화 질문 및 이에 해당하는 정답(ground-truth)을 포함한 고품질의 수동 주석을 특징으로 합니다. 또한 상호작용 품질을 평가하기 위한 두 가지 엄밀한 지표를 공식화합니다. 비효율적인 질문에 페널티를 부여하는 턴 할인 핵심 질문 비율(Turn-discounted Key Question Rate)과 도출 과정의 정밀도를 측정하는 최적 라운드 준수도(Optimal Round Adherence)입니다. 본 연구는 ClarifyCodeBench를 사용하여 6개의 최첨단 LLM에 대한 체계적인 평가를 수행했습니다. 실증적 결과는 세 가지 중요한 통찰을 제공합니다. 1) 역량의 분리(Capability Decoupling): 강력한 코드 생성 성능이 효과적인 요구사항 명확화 능력으로 직결되지는 않습니다. 2) 추론의 역설(Reasoning Paradox): 컴퓨팅 사고력이 향상되면 코드 정확도는 높아지지만 모호성을 식별하는 데에는 미미한 이점만을 제공합니다. 3) 다중 모호성의 한계(Multi-ambiguity Ceiling): 모호성의 밀도가 높아질수록 LLM의 명확화 성능이 급격히 저하되어 복잡한 실제 명세를 처리하는 데 상당한 병목 현상이 있음을 드러냅니다. 본 연구는 향후 AI4SE 연구가 정적 합성에서 상호작용적 도출로 전환되어야 할 필요성을 강조합니다.

arXiv:2610.03315v1cs.AI공통 태그 ai agents

프로덕션 AI 에이전트를 위한 경량 루브릭 기반 궤적 평가

Lightweight, Rubric-Guided Trajectory Evaluation for Production AI Agents

궤적 평가(trajectory evaluation)는 대규모 언어 모델(LLM) 기반 에이전트(agent)의 신뢰성을 향상시키는 데 필수적이지만, 프로덕션 환경에서 반복적으로 실행하기에는 비용이 많이 듭니다. 현대적인 에이전트는 도구 호출, 관측 결과, 재시도 및 외부 출력을 포함하는 긴 실행 추적(trace)을 생성하지만, 모든 원시 토큰(token)이 진단에 똑같이 유용한 것은 아닙니다. 본 논문에서는 예산이 제한된 궤적 평가를 위한 경량 아키텍처인 LiteTrajEval을 제시합니다. LiteTrajEval은 오프라인에서 도메인 특화 규칙 프로파일을 간결하게 도출한 후, 온라인에서 각 궤적을 전처리하고 휴리스틱 실패 신호를 표시하며, 고정된 글로벌 예산 내에서 이를 직렬화하고 단일 루브릭 기반 LLM 판정자(judge)를 호출하여 구조화된 진단 보고서를 생성합니다. 공개된 Magentic-One 스타일 및 $\tau$-bench 스타일 궤적 데이터셋(dataset)에서 평가한 결과, LiteTrajEval은 AgentRx와 비교하여 Magentic-One에서 약 20--35%p, $\tau$-retail에서 최대 23%p까지 인간 주석과의 실패 위치 식별(failure-localization) 일치도를 향상시키는 동시에 비용을 약 6배, 평가 시간을 8배 이상 절감했습니다. 이 솔루션은 당사의 엔터프라이즈 에이전트 플랫폼에도 배포되었습니다.

arXiv:2610.00015v1cs.AI공통 태그 ai agents

제안에서 검증된 효과까지: 거버넌스 기반 AI 에이전트 실행을 위한 증거 기반 하네스 Praxa

From Proposal to Verified Effect: Praxa, an Evidence-Bound Harness for Governed AI Agent Execution

대규모 언어 모델(LLM) 에이전트(agent)는 행동을 제안하고 실행할 수 있지만, 제안, 권한, 디스패치, 검증된 외부 효과, 서빙 승격은 서로 다른 주장입니다. 본 논문에서는 결정론적 승인, 중개 실행, 외부 리드백, 조정, 검토 기반 승격을 통해 이러한 상태들을 명시적으로 표현하는 에이전트 하네스인 Praxa를 제시합니다. 우리는 네 가지 증거 레인을 보고합니다. 첫째, 고정된 리비전에서 저자가 수행한 저장소 로컬 감사에서는 1,027/1,027개의 단위 테스트와 89/89개의 Workerd 테스트를 통과했고, 예상된 363개 소스 파일 전체를 계측했으며, 네 가지 커버리지 하한선을 충족했습니다. 다만 테스트별 원시 기록과 독립적인 재현 결과는 제공되지 않습니다. 둘째, 12개 선별된 태스크에 걸쳐 제공업체 지원 Terminal-Bench Core 0.1.1 파일럿에서 기준선(baseline)과 신뢰성 층(layer) 시험군은 엄격한 평가 36회 중 각각 17회를 통과했습니다. 신뢰성 층은 입력 토큰을 37.49%, 출력 토큰을 50.73% 더 많이 사용했으므로, 이 파일럿은 우월성을 뒷받침하지 않습니다. 셋째, 디버그 후 진행된 2차 조정 프록시 개발 비교에서 기준선과 소스 작성 후보는 각각 동일한 측정 정확도, 완전한 밀폐형 크래시 복구, 보호 위반 0건으로 180/180회의 시험을 완료했습니다. 해당 후보는 37.11% 적은 토큰, 33.84% 낮은 예상 엔드포인트 비용, 11.63% 적은 단계를 사용했으나, 이것이 향상된 품질, 지연 시간 또는 프로덕션 동작을 입증하지는 않습니다. 넷째, 배포된 소스/구성 증거는 경계가 지정된 반추, 재현율(recall) 회계, 메모리 컴파일, 도구 건전성 경로를 보여주지만 프로덕션 결과 향상은 보여주지 않습니다. Praxa가 뒷받침하는 기여는 권한에서 효과로의 전이를 명시적이고 테스트 가능하게 만드는 증거 기반 아키텍처입니다. 현재의 증거는 적대적 보안, 프로덕션 안전성, 일반적인 전문가 우월성, 자율적 재귀 최적화 또는 사용자 이점을 입증하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.