AI 에이전트(agent)는 일상적인 대화와 자율적인 작업 수행을 결합하여, 이전의 맥락이 이후의 작업 수행 방식에 영향을 미치도록 합니다. 그러나 에이전트의 행동은 노이즈가 많고 재현 비용이 높으며, 관찰된 행동 변화를 일반적인 맥락 민감성과 구분하기 어렵기 때문에 이러한 가능성을 연구하는 것은 쉽지 않습니다. 본 연구에서는 먼저 작업과 무관한 설득이 에이전트의 행동 방식을 변화시키는지, 즉 우리가 '설득 전파(persuasion propagation)'라고 부르는 현상과 설득 감수성이 이러한 영향의 차이를 설명하는지 질문합니다. 연구 결과, 설득적 상호작용은 다운스트림 에이전트 실행에 측정 가능하고 작업에 의존적인 행동적 흔적을 남김을 보여줍니다. 웹 리서치 작업에서는 기준선(baseline) 대비 실행 시간이 56\% 증가하고 방문한 도메인 수가 16.3\% 증가한 반면, 코딩 작업에서는 더 큰 규모의 수정을 수반하면서도 실행 속도가 더 빨라졌습니다. 그러나 설득적 대화 맥락에 더 취약한 에이전트라 하더라도 다운스트림 행동 변화의 크기를 안정적으로 예측하지는 못했습니다. 이는 AI 에이전트에서 설득에 대한 행동 수준의 평가가 필요함을 시사합니다.
궤적 평가(trajectory evaluation)는 대규모 언어 모델(LLM) 기반 에이전트(agent)의 신뢰성을 향상시키는 데 필수적이지만, 프로덕션 환경에서 반복적으로 실행하기에는 비용이 많이 듭니다. 현대적인 에이전트는 도구 호출, 관측 결과, 재시도 및 외부 출력을 포함하는 긴 실행 추적(trace)을 생성하지만, 모든 원시 토큰(token)이 진단에 똑같이 유용한 것은 아닙니다. 본 논문에서는 예산이 제한된 궤적 평가를 위한 경량 아키텍처인 LiteTrajEval을 제시합니다. LiteTrajEval은 오프라인에서 도메인 특화 규칙 프로파일을 간결하게 도출한 후, 온라인에서 각 궤적을 전처리하고 휴리스틱 실패 신호를 표시하며, 고정된 글로벌 예산 내에서 이를 직렬화하고 단일 루브릭 기반 LLM 판정자(judge)를 호출하여 구조화된 진단 보고서를 생성합니다. 공개된 Magentic-One 스타일 및 $\tau$-bench 스타일 궤적 데이터셋(dataset)에서 평가한 결과, LiteTrajEval은 AgentRx와 비교하여 Magentic-One에서 약 20--35%p, $\tau$-retail에서 최대 23%p까지 인간 주석과의 실패 위치 식별(failure-localization) 일치도를 향상시키는 동시에 비용을 약 6배, 평가 시간을 8배 이상 절감했습니다. 이 솔루션은 당사의 엔터프라이즈 에이전트 플랫폼에도 배포되었습니다.
AI 에이전트 성능은 단순한 모델링 문제에 그치지 않고 본질적으로 시스템적인 문제입니다. 모델의 고급 역량은 에이전트 하네스(harness)를 통해 구현됩니다. 따라서 모델의 가정과 하네스의 동작 사이의 간극은 모델의 온전한 역량이 에이전트 성능으로 이어지는 것을 쉽게 방해할 수 있습니다. 본 연구에서는 이를 모델이 의도하는 바와 하네스가 실행하는 것 사이(그리고 그 반대)의 불일치를 뜻하는 '의도-실행(intent-execution)' 간극으로 공식화합니다. 우리는 이러한 의도-실행 간극을 최소화하는 것이 도구 및 실행 루프와 같은 하네스 설계의 다른 측면만큼이나 중요하다고 주장합니다. 이러한 하네스-모델 정렬(alignment)의 영향을 보여주기 위해, 우리는 'Simple Strands Agent'(SSA)라는 단순하고 사용자 맞춤 설정이 가능한 하네스를 개발합니다. SSA는 소수의 모델별 선호도뿐만 아니라 다양한 모델 계열(Claude, Gemini, GPT, Grok, Qwen 등) 전반에 걸쳐 일반화되는 공통 패턴의 대부분을 찾는 것을 목표로 합니다. 본 논문의 기여는 두 가지입니다. (i) 널리 사용되는 에이전트 벤치마크(SWE-Pro, SWE-Verified, Terminal-Bench-2, Deep-SWE)에서 다양한 모델 제공사 계열이 보고한 pass@1 성능을 재현하거나 개선합니다. (ii) SSA가 생성한 154k개의 궤적 분석을 바탕으로, 프론티어 모델 전반에서 비교적 균등하게 나타나는 경향이 있는 pass@1 수치 그 너머를 살펴봅니다. 에이전트 궤적을 코드 상태 공간으로 표현함으로써, 해법 거리(solution distance)와 역추적(backtracking)을 계산하여 문제 해결 행동에서 모델 수준의 차이를 관찰합니다. 수정 빈도, 테스트 활동, 상태 전이와 같은 더 세분화된 지표는 개별 모델이 문제 해결의 여러 단계에 걸쳐 노력을 어떻게 배분하는지를 보여줍니다.
엔터프라이즈 AI 에이전트(agent) 스킬은 도구 API, 모델(model), 명세의 변화에 따라 진화하지만, 최종 출력 평가만으로는 프로세스 수준의 행동 드리프트(drift)를 놓칠 수 있다. 본 논문에서는 결과 수준 및 프로세스 수준 검사를 결합한 지속적 평가 프레임워크를 제안하며, 이를 엔터프라이즈 가치 인식 복원력(Value Aware Resiliency) 시스템 내 비즈니스 가치 결정(Business Value Determination) 스킬의 수익(Revenue) 및 생산성(Productivity) 변형에 적용한다. 이 프레임워크는 실행별 정답(ground truth)을 독립적으로 계산하고, 재사용 가능한 템플릿 테스트를 구체화하며, 프로그래밍 방식의 검사와 좁은 범위로 한정된 대규모 언어 모델(LLM) 심사위원을 통해 도구 선택, 인자, 실행 순서, 데이터베이스 무결성을 평가한다. 우리는 두 가지 스킬, 두 가지 명세 변형, 두 가지 에이전트 하네스, 세 가지 모델에 걸쳐 240회의 시도를 평가했다. 적용 가능한 모든 최종 수치 검사를 통과한 175회의 시도 중 162회(92.6%, 윌슨 95% 신뢰구간: 87.7-95.6%)에서 평가자가 감지한 또 다른 편차가 포함되어 있었다. 더 넓은 7가지 검사 기반의 최종 상태 정의 하에서도 통과된 164회 실행 중 151회(92.1%, 95% 신뢰구간: 86.9-95.3%)가 여전히 궤적 검사를 위반했다. 의존성 귀속(dependency attribution)을 통해 실행당 실패한 검사의 평균 수를 6.34개에서 근본 원인 2.65개로 감소시켰다. 명세 민감도는 모델과 하네스에 따라 달랐으며, 탐색적 부트스트랩 상호작용 구간은 세 가지 수익 비교 모두와 세 가지 생산성 비교 중 하나에서 0을 제외했다. 런타임 해석 템플릿은 평가된 구성 전반에 걸쳐 재사용 가능한 회귀 커버리지를 제공했으며, 실제 API 진화 환경에서의 종단적 검증(validation)은 향후 과제로 남겨둔다.
과학 연구 작업에서 AI 에이전트(agent)를 평가하는 것은 기반이 되는 실험이나 계산에 소요되는 시간과 자원의 제약을 받습니다. 계산재료과학 연구에서는 에이전트와 시도 전반에 걸쳐 비용이 많이 드는 동일한 시뮬레이션을 반복하는 것이 평가를 비현실적으로 만들 수 있습니다. 본 연구에서는 최근 발표된 계산재료과학 연구에서 도출된 94개의 작업으로 구성된 벤치마크인 CompMat-Bench를 소개하며, 각 작업은 에이전트가 연구의 과학적 목표를 달성하기 위한 한 단계를 완료하도록 요구합니다. 평가 과정에서 비용이 많이 드는 시뮬레이션을 피할 수 있도록 연구 단계를 미리 재현하고, 고비용 시뮬레이션을 위한 입력 준비 및 출력 분석 능력을 바탕으로 에이전트를 평가합니다. 재현된 입력과 결과는 LLM 심사위원 없이 고정된 규칙으로 에이전트를 채점하기 위한 정답(ground truth) 역할을 합니다. 이 벤치마크는 단일 작업 및 관련 작업으로 구성된 워크플로, 그리고 각각에 대해 방법론적 안내가 완전하거나 축소된 상태를 포함하는 네 가지 평가 조건을 지원합니다. 단일 작업에서 완전한 안내가 제공될 때, 세 가지 대규모 언어 모델(LLM) 기반의 에이전트는 94개 작업에서 66.0-90.4%의 통과율을 보이며 개별 재료 연구 단계를 완수할 수 있는 능력을 입증했습니다. 더 긴 워크플로와 축소된 안내는 모두 에이전트의 성능을 제한할 수 있지만, 에이전트마다 서로 다른 방식으로 작용합니다. 즉, 약한 에이전트의 통과율은 낮아지는 반면, 가장 강력한 에이전트는 긴 워크플로와 축소된 안내가 결합될 때만 성능 저하를 보였습니다. 실패 분석 결과 대부분의 실패는 소프트웨어 사용 오류보다는 과학적 오류에 기인하는 것으로 나타났습니다. CompMat-Bench는 실제 재료 연구 단계에서 에이전트를 비교하고 에이전트의 실패 모드를 분석할 수 있는 기반을 제공합니다.
대규모 언어 모델(LLM) 에이전트(agent)는 행동을 제안하고 실행할 수 있지만, 제안, 권한, 디스패치, 검증된 외부 효과, 서빙 승격은 서로 다른 주장입니다. 본 논문에서는 결정론적 승인, 중개 실행, 외부 리드백, 조정, 검토 기반 승격을 통해 이러한 상태들을 명시적으로 표현하는 에이전트 하네스인 Praxa를 제시합니다. 우리는 네 가지 증거 레인을 보고합니다. 첫째, 고정된 리비전에서 저자가 수행한 저장소 로컬 감사에서는 1,027/1,027개의 단위 테스트와 89/89개의 Workerd 테스트를 통과했고, 예상된 363개 소스 파일 전체를 계측했으며, 네 가지 커버리지 하한선을 충족했습니다. 다만 테스트별 원시 기록과 독립적인 재현 결과는 제공되지 않습니다. 둘째, 12개 선별된 태스크에 걸쳐 제공업체 지원 Terminal-Bench Core 0.1.1 파일럿에서 기준선(baseline)과 신뢰성 층(layer) 시험군은 엄격한 평가 36회 중 각각 17회를 통과했습니다. 신뢰성 층은 입력 토큰을 37.49%, 출력 토큰을 50.73% 더 많이 사용했으므로, 이 파일럿은 우월성을 뒷받침하지 않습니다. 셋째, 디버그 후 진행된 2차 조정 프록시 개발 비교에서 기준선과 소스 작성 후보는 각각 동일한 측정 정확도, 완전한 밀폐형 크래시 복구, 보호 위반 0건으로 180/180회의 시험을 완료했습니다. 해당 후보는 37.11% 적은 토큰, 33.84% 낮은 예상 엔드포인트 비용, 11.63% 적은 단계를 사용했으나, 이것이 향상된 품질, 지연 시간 또는 프로덕션 동작을 입증하지는 않습니다. 넷째, 배포된 소스/구성 증거는 경계가 지정된 반추, 재현율(recall) 회계, 메모리 컴파일, 도구 건전성 경로를 보여주지만 프로덕션 결과 향상은 보여주지 않습니다. Praxa가 뒷받침하는 기여는 권한에서 효과로의 전이를 명시적이고 테스트 가능하게 만드는 증거 기반 아키텍처입니다. 현재의 증거는 적대적 보안, 프로덕션 안전성, 일반적인 전문가 우월성, 자율적 재귀 최적화 또는 사용자 이점을 입증하지 않습니다.
인공지능(AI) 모델을 자동으로 구축하는 자율 에이전트(agent)는 과학 및 공학 전반에서 AI에 대한 접근성을 넓힐 수 있습니다. 이러한 계열의 대표적인 에이전트들은 모델 구축을 코드 탐색 문제로 정의하고 이를 트리 탐색으로 해결합니다. 이 방식에서 각 노드(node)는 후보 프로그램이며 부모로부터 자식 프로그램을 생성하면서 트리가 확장되고, 이제 이러한 에이전트들은 현실적인 벤치마크(benchmark)에서 숙련된 AI 엔지니어의 능력에 근접하고 있습니다. 그러나 이러한 에이전트들은 아직 완전히 해결되지 않은 세 가지 효율성 측면의 약점을 지니고 있습니다. 첫째, 현실적인 예산 내에서는 적은 수의 후보만 실행할 수 있으므로, 몬테카를로 방식의 트리 탐색과 같이 실행된 보상으로 노드의 순위를 매기는 탐색 규칙은 소수의 노이즈가 있는 점수에 의존하게 되어 탐색할 다음 노드를 덜 효과적으로 선택하게 됩니다. 둘째, 학습(training) 작업을 스케줄링하는 데 자원 인식(resource-aware) 전략이 사용되지 않아 하드웨어 활용도와 학습 효율성이 떨어질 수 있습니다. 셋째, 모든 에이전트 호출이 단일 고성능 모델에 의해 처리되어 추론(inference) 비용이 증가합니다. 본 연구에서는 대규모 언어 모델(LLM) 에이전트로 트리 탐색을 수행하고 앞서 언급한 세 가지 문제를 각각 해결하는 에이전틱 시스템인 AIBuildAI-2.5를 소개합니다. AIBuildAI-2.5는 새로운 LLM 유도 트리 탐색을 제안하며, 여기서 평가자(judge)는 예상 개선도, 그라운딩(grounding), 실현 가능성을 기준으로 각 후보를 평가하고, 선택기(selector)는 이러한 점수와 탐색 상태를 바탕으로 후보 풀의 순위를 결정합니다. 또한 AIBuildAI-2.5는 현재 하드웨어 자원 상태를 고려하여 학습 작업을 실행하는 스케줄러와, 덜 까다로운 작업에는 더 저렴한 LLM을 할당하면서 가장 까다로운 하위 작업에는 가장 유능한 LLM을 배치하는 라우터로 구성되어 있습니다. AIBuildAI-2.5는 MLE-Bench에서 73.3%의 메달 획득률로 1위를 기록했으며, AIRS-Bench의 6개 자율 AI 연구 과제에서 강력한 기준선(baseline)을 능가했습니다.
개인 AI 에이전트(personal AI agent)는 항공권 구매, 건강보험 선택, 대학원 프로그램 선정 등 고위험 경제적 상황에서 사용자를 대신해 추천을 제공하고 행동을 수행한다. 이 에이전트는 사용자에게 최적화된 개인화 결정을 내릴 목적으로 이메일 수신함이나 개인 속성에 대한 구조화된 프로필 등 사용자의 개인 맥락(personal context)에 접근할 수 있다. 우리는 이러한 개인 맥락을 제공하는 것만으로도 에이전트가 명시적인 지시 없이 추론된 부(wealth)에 따라 추천을 유도한다는 것을 보여준다. 항공권, 건강보험, 대학원 프로그램이라는 세 가지 유형의 경제적 결정에 걸쳐 13개 에이전트를 대상으로 32만 5천 건의 실험을 수행한 결과, 동일한 요청에 대해 8개 모델이 더 부유한 사용자에게 체계적으로 더 비싼 옵션을 선택한다는 것을 확인했다. 이러한 유도는 사용자가 명시한 목표와 직접 상충하는 경우에도 계속된다. 즉, 가장 저렴한 옵션을 찾도록 명시적으로 지시받은 경우에도 일부 에이전트는 자신이 추론한 부 프로필에 따라 행동한다. 이는 과제와 무관한 이메일과 같은 주변 데이터(ambient data)로부터 부가 추론되는 경우에도 나타난다. 또한 특정 속성을 차단하는 개인정보 보호 제어 하에서도 지속된다. 재무 관련 속성을 차단하면 격차가 대체로 사라지지만, 다른 속성을 차단하면 격차는 그대로 유지되거나 보험의 경우 최대 40%까지 증가할 수 있는데, 이는 에이전트가 남은 신호에 의존해 부를 추론하기 때문이다. 더 크고 성능이 뛰어난 모델이라고 해서 더 낫지 않으며, Claude Opus 4.8이 가장 큰 효과를 보인다. 우리는 이러한 정렬 오류(misalignment)를 "적대적 위임(adversarial delegation)"이라고 명명한다. 이는 개인 AI 에이전트를 유용하게 만드는 바로 그 조건, 즉 개인 정보에 대한 접근이 오히려 사용자의 이익에 반해 행동하도록 만드는 것을 뜻한다.
AI 에이전트가 빠르게 배포되면서 AI 특화 공격과 그에 따른 사고도 늘고 있다. 사고 보고가 법적 준수, 거버넌스, 책임성, 보안 측면에서 점점 더 중요해지므로, 현행 프레임워크는 AI 에이전트의 고유한 특성에 맞게 조정되어야 한다. 본 논문에서 두 명의 편집 저자는 AI 시스템과 AI 에이전트를 비교하고, 학계 및 산업계 23명의 전문가 의견을 바탕으로 AI 에이전트 보안이 침해된 사고를 보고할 때 필요한 정보를 밝힌다. 잠재적 보고 요소로는 예를 들어 에이전트 메모리 및 메모리 접근, 실제 및 잠재적 자율성 수준, 도구 사용 등이 포함된다. 이러한 결과를 바탕으로 사고를 효율적으로 기록하는 방법과 취약점 및 사고가 일반화되는지 판단하는 방법 등 여러 미해결 연구 질문을 제시한다. 전문가 피드백은 또한 데이터 유출 위험과 보고 인프라 자체를 겨냥한 공격과 같은 잠재적 보고 취약점을 강조하여 추가 연구 필요성을 드러냈다. 마지막으로 개인정보 요구사항을 요약하고 AI 에이전트의 안전하고 신뢰할 수 있는 배포를 위한 연구 방향을 개괄한다.
자율 AI 에이전트가 외부 및 분산 지식 소스에 점점 더 의존하면서, 탈중앙화 정보 마켓플레이스에는 근본적인 난제가 생긴다. 검색 에이전트는 구매 전에 데이터의 품질과 관련성을 평가해야 하지만, 데이터 제공자는 보장된 보상이 이루어지기 전에는 가치 있는 정보를 노출하지 않아야 한다. 이 역설은 중앙화된 중개자가 당사자 간 공정성을 강제할 수 없는 신뢰 불필요(trustless) 다중 에이전트 환경에서 특히 중요해진다. 본 논문에서는 자율 에이전트 네트워크에서 분산 정보 검색 및 증강을 위한 공정 보상 프로토콜을 제안한다. 우리 프레임워크는 검색 에이전트가 후보 문서의 평문 내용을 알지 못한 채 안전하게 평가하고 순위를 매길 수 있게 하며, 데이터 제공자는 유효한 정보가 성공적으로 전달된 경우에만 보상받도록 보장한다. 또한 악의적 적대자에 대한 프로토콜의 보안 특성을 분석하고, 구현을 통해 실용적 타당성을 평가한다. 실험 결과는 제안 설계가 기밀성, 정확성, 무결성, 공정성을 유지하면서 현재 암호학 인프라에서 실용적임을 보여준다. 이러한 메커니즘이 미래 AI 에이전트 생태계를 위한 신뢰할 수 있고 경제적으로 지속 가능한 탈중앙화 지식 마켓플레이스의 중요한 암호학적 기반을 제공한다고 본다.
이미지 기반 전자상거래 AI 어시스턴트의 다양한 사용자 의도를 처리하기 위해 스킬 생성, 라우팅 정렬, 반복적 정제를 통해 스킬 생애 주기를 자동화하는 SkillChain을 제안한다. 이 방식은 응답 품질을 크게 향상시키며 온라인 A/B 테스트에서 사용자 참여도와 유지율을 유의미하게 개선하였다.
수명이 긴 AI 에이전트는 배포 이후 경험을 유지하고, 기술과 도구를 습득하며, 워크플로를 수정하고, 작업을 위임하고, 과제 단계를 넘나들면서 점점 더 진화하고 있다. 이는 적응력을 높이지만, 별도의 승인(authorization) 문제를 야기한다. 도구를 사용할 수 있는 에이전트는 모델 오류와 프롬프트 주입(prompt injection)을 중대한 외부 행동으로 전환할 수 있다. 유효한 권한 부여(grant) 하에서 진화가 일어날 때, 그 권한을 행사하는 주체(subject)나 행동 맥락(context)이 사용자가 평가했던 것과 더 이상 일치하지 않을 수 있다. 진화는 기존 권한 부여 하에서 도달 가능한 효과(effects)와 과제에 필요한 권한(authority) 모두를 바꿀 수 있으며, 이는 증가하거나 감소하거나 비교 불가능해질 수 있다. 기존 도구 정책은 행동을 제한하지만, 권한 부여가 이러한 변화를 견뎌낼 때를 결정하지는 않는다. 우리는 승인 연속성(authorization continuity)을 공식화한다: 기존 권한 부여는 언제 유효하게 남는가, 활성 권한은 어떻게 변할 수 있는가, 그리고 결코 이동해서는 안 되는 경계는 무엇인가. 우리의 상태 경계(state-bound) 모델은 권한 부여 시점에 전이 포락(transition envelope)과 불변 효과 상한(immutable effect ceiling)을 고정한다. 포락은 권한 부여가 돌연변이(mutation)를 견뎌내는지를 결정한다. 상한 이하에서는 권한이 자유롭게 축소될 수 있고, 지정된 증거 조건 하에서만 확장될 수 있다. 우리는 요청된 효과와 실현된 효과를 구분하고, 완전 중재(complete mediation), 건전한 효과 추상화(sound effect abstraction), 감쇠 위임(attenuating delegation), 모니터 무결성(monitor integrity) 하에서, 돌연변이가 보호된 효과를 사용자가 발급한 상한을 넘어 증폭할 수 없음을 증명한다. 에이전트가 생성한 증거는 상한 이하에서 권한을 할당할 수 있지만 상한을 높일 수는 없다. 마지막으로, 여섯 가지 돌연변이 클래스를 각각의 승인 결과에 대응시킨다.
AI 에이전트는 실행하는 모든 에피소드에서 학습 기회를 맞이하지만, 그 대부분을 버린다. 배포 시점에 기저 모델의 가중치가 고정되어 있기 때문에, 오늘 어려운 요청을 해결한 에이전트도 내일 같은 요청이 다시 발생하면 처음부터 시작한다. 그러나 일상적인 운영만으로도 결과 판정(outcome verdict)과 사후 수정 형태의 피드백이 이미 생성된다. 우리는 고정된 모델이 각 에피소드를 검색 가능한 자연어 규칙으로 증류하는 외부 메모리와 결합될 때, 이 피드백이 지속 학습(continual learning)을 위한 충분한 신호임을 보인다. $τ$-bench의 뱅킹 도메인에서, 전체 정책 말뭉치(policy corpus)를 검색하는 정적 RAG(static-RAG) 기준선 대비, 1비트 결과 판정으로부터 학습하면 단일 시도(single-trial) 성공률이 기준선의 1.6$\times$로 상승하고, 수정으로부터 학습하면 2.6$\times$로 상승하며, 기준선이 전혀 해결하지 못한 84개 과제 중 22개를 해결한다. 이 결과는 배포 스펙트럼 전반에 걸쳐 나타난다. 데이터 주권(data sovereignty) 요건이 있는 기관이 자체 호스팅할 수 있는 오픈 가중치 모델 Mistral Large에서 측정했으며, 최신 프론티어 모델 Claude Sonnet 5에서도 재현했다. 누적된 메모리는 전이(transfer)되기도 한다. 각 모델이 다른 모델이 구축한 저장소를 읽으면, 자신의 메모리 없는 기준선보다 성능이 향상된다. 하네스(harness), 프로토콜, 데이터를 공개한다.
대규모 언어 모델(LLM)과 에이전트는 이제 코드 개발에서 널리 사용되는 도구이며, 데이터는 일반적으로 서드파티 클라우드 기반 모델로 전송된다. 개인 데이터를 사용하는 연구에서의 채택은 외부 서비스로의 데이터 전송을 일반적으로 금지하는 거버넌스 요구사항에 의해 제약받는다. 로컬에 배포 가능한 오픈 가중치 모델은 민감한 데이터가 로컬 환경을 벗어나지 않기 때문에 대안을 제공한다. 우리는 종단 인구 연구에서 가장 지속적인 병목 현상 중 하나인 데이터 준비에 대해, 오픈 가중치 LLM으로 구동되는 AI 에이전트의 효과를 평가하기 위한 오픈소스 프레임워크를 제안한다. 이 프레임워크는 다음으로 구성된다: 큐레이션된 그라운드 트루스(ground-truth) 데이터셋(영국 코호트 연구의 6회 조사(sweep) 데이터를 준비하는 클리닝 스크립트), 범주 조화(category harmonization) 및 다중 파형 병합(multi-wave merging)과 같은 작업을 포함하는 작업 정의, 그리고 LLM이 생성한 R 코드와 출력 데이터를 평가하는 자동화 루틴. 우리는 (소비자급) 배포 스펙트럼 전반에 걸쳐 LLM을 벤치마킹하여 20개의 데이터 준비 작업(102개 변수 생성)에서의 효과를 평가한다. 현재 최첨단 31-35B 매개변수 모델은 우리 벤치마크를 거의 포화시켰다('평균 작업 완료율' 최대 87.9%). 소비자급 하드웨어에서 실행되는 오픈 가중치 LLM의 성능은 거버넌스 제약이 있는 연구 환경에서 AI 지원 데이터 준비로 향하는 실행 가능한 경로의 가능성을 보여준다. 우리 프레임워크는 https://github.com/UCL-ARC/RRBench 에서 공개적으로 이용할 수 있다.
금융 AI 에이전트는 동일한 결정을 반복하면서도, 그 결정에 이르기 위해 사용한 도구, 순서, 또는 기록된 인자와 결과를 바꿀 수 있다. 결과만 평가하는 방식은 재현과 변경 통제에 중요한 경우에도 이러한 변동을 놓친다. DFAH-Bench는 결정론-충실성 보증 하네스(Determinism-Faithfulness Assurance Harness, DFAH)를 구현하며, 여기서 충실성(faithfulness)은 답의 정확성이 아니라 재현 시 관측 가능한 실행의 충실도를 의미한다. 이 프로토콜은 비교 가능하고 충분히 관측된 재현을 적격 기준에 따라 선별하고, 동일한 적격 그룹에 대해 결정 일치도(DAR)와 도구 경로 일치도(TAR)를 측정한다. 관측된 도구 사용이 있는 구성에서 719개의 합성 규정 준수 및 금융 DataOps 그룹에 걸친 4,157개의 후향적 에피소드를 분석하고, 190개 그룹에 걸친 570개의 적격 에피소드로 구성된 인자 인식(argument-aware) 전향적 확장도 함께 분석한다. 해당 확장에서 결정은 94.2–95.1% 일치하는 반면, 정확한 도구명 경로는 66.9–69.4%만 일치하여 25.8–27.3%p의 격차가 발생한다. 인자 및 결과 궤적 일치도는 45.0–51.5%까지 떨어진다. 만장일치 결정 그룹에서도 작업 가중치 하에서 경로는 66.7–68.9%에서 달라진다. DFAH-Bench는 안정적인 결정 뒤에 있는 실행을 재현, 조사, 변경 검토를 위해 가시화한다.
조직 내에서 비엔지니어 사용자들이 로우코드, 노코드, 대화형 개발 환경을 통해 AI 에이전트를 점점 더 많이 만들고 있다. 이러한 민주화는 빠른 현지 혁신을 가능하게 하지만, 신뢰성 격차(reliability gap)도 만든다. 사용자에게 단순한 생산성 도구처럼 보이는 에이전트가 변화하는 모델, 도구, 검색 소스, 권한, 프롬프트, 스케줄, 외부 서비스에 의존할 수 있기 때문이다. 이러한 의존성은 배포 후 오랜 시간이 지난 뒤에도, 사용자가 에이전트를 직접 수정하지 않더라도 조용한 성능 저하(silent degradation)를 일으킬 수 있다. 본 논문은 민주화된 AI 에이전트 생성이 야기하는 신뢰성 과제를 규명하고, 시민 개발자가 만든 조직 내 에이전트를 위한 경량 지속적 보증(continuous assurance) 프레임워크를 제안한다. 이 프레임워크는 의존성 매핑, 준비 상태 계약(readiness contracts), 예약 점검, 진단, 생명주기 거버넌스를 결합하여 에이전트가 예상 조건 하에서 운영상 준비 상태를 유지하는지 평가한다. 또한 제안된 분류 체계가 실용적인 점검과 실행 가능한 개선(remediation) 지침으로 어떻게 구체화될 수 있는지를 보여주는 초기 프로토타입 감사 도구(auditor)와 시나리오 기반 평가를 제시한다.
기존 에이전트 개발은 프롬프트 템플릿, 도구 스키마, 콜백 코드, 워크플로 그래프에 걸쳐 분산되어 있다. 우리는 신뢰할 수 있는 AI 에이전트를 구축하기 위한 모델 불문 Python 프레임워크인 NVIDIA Object-Oriented Agents(NOOA)를 제안한다. NOOA는 더 단순한 접근을 취한다: 에이전트는 Python 객체이다. 메서드는 모델이 수행할 수 있는 행동이고, 필드는 상태이며, docstring은 프롬프트이고, 타입 어노테이션은 계약이다. 코드 본문이 "..."로 구성된 메서드는 LLM 구동 에이전트 루프에 의해 런타임에 완성되며, 일반 본문을 가진 메서드는 표준적인 결정론적 Python으로 유지된다. 이는 개발자와 에이전트에게 동일한 인터페이스를 제공하므로, 에이전트 동작을 다른 소프트웨어와 마찬가지로 테스트, 추적, 리팩터링, 개선할 수 있다.
본 논문은 세 가지 기여를 한다. (1) Python 객체로서의 에이전트 프로그래밍 모델과 그 설계 원칙을 제시한다. Python에 기존 추상화가 있는 곳에서는 이를 직접 채택한다. 에이전트 특화 기능—컨텍스트, 이벤트, 상태 렌더링, 장기 기억, 검증된 LLM 루프—는 단순한 Pythonic API를 통해 노출되므로, 개발자와 에이전트 모두 하나의 익숙한 프로그래밍 모델을 공유한다. (2) 우리가 아는 한 NOOA가 단일 표면에서 처음으로 결합한 여섯 가지 모델 대면 아이디어를 식별한다: 타입이 지정된 입출력, 활 객체에 대한 참조 전달(pass-by-reference), 코드를 행동으로(code as action), 프로그래밍 가능한 루프 엔지니어링, 명시적 객체 상태, 컨텍스트와 이벤트를 위한 모델 호출 가능 하네스 API. 커뮤니티가 이미 여러 아이디어—종종 실험적이거나 부분적인 기능으로—수렴하고 있음을 발견하고, 추가 채택을 장려하기 위해 비교를 제시한다. (3) SWE-bench Verified, Terminal-Bench 2.0, ARC-AGI-3와 같은 에이전틱 및 추론 벤치마크와 목표 지향 역량 테스트 모두에서 현재 모델이 이 인터페이스를 효과적으로 사용함을 보여준다.
AI 에이전트는 연구 개발 작업 자동화에 점점 더 많이 사용되고 있지만, 기존 벤치마크는 일반적으로 정해진 워크플로 또는 좁은 행동 공간에서 이를 평가한다. 명목상 개방형(open-ended) 작업이라도 잘 알려진 레시피를 검색하고 몇 가지 하이퍼파라미터를 조정하는 것만으로 해결되는 경우가 많아, 우수한 결과가 진정한 최적화를 반영하는지 아니면 암기된 해법을 반영하는지 불분명하다. 우리는 에이전트가 OpenAI 호환 추론 서버를 배포하고 LLM 추론 속도를 최적화해야 하는 InferenceBench를 제안한다. 각 에이전트는 대상 LLM, H100 GPU 1대, 최적화 시나리오, 그리고 2시간의 실제 시간(wall-clock time) 예산을 받는다. 세 가지 최적화 시나리오는 추론의 서로 다른 병목(prefill 지연, decode 지연, 동시 요청 처리량)을 분리하고, 네 번째 시나리오는 세 가지를 동시에 균형 있게 다룬다. 15개의 최신 에이전트 구성에 걸쳐, 에이전트는 단순한 PyTorch 기준선 대비 안정적으로 개선(최대 $8.08\times$)하며 기본 설정의 서빙 엔진과 동등하거나 그 이상(vLLM에서 $4.05\times$)인 경우가 많지만, 동일한 시간 예산 하의 단순 하이퍼파라미터 탐색(최대 $11.53\times$)에는 여전히 미치지 못한다. 에이전트 궤적에 대한 정성적 분석은 에이전트가 관련 최적화 기법을 많이 열거하지만, 압도적으로 단일 추론 프레임워크로 수렴함을 보여준다. 이들은 소수의 서로 다른 구성만 시험하고, 남은 예산을 근본적으로 다른 전략을 탐색하기보다 재측정, 수정, 또는 하이퍼파라미터 최적화에 소비한다. 이는 병목이 도메인 지식이 아니라 다양한 구성을 제안하고, 체계적으로 평가하며, 식별된 최적 해법을 제출하는 능력에 있음을 시사한다. 전반적으로 InferenceBench는 암기된 해법이 제한적인 개선으로 이어지는 개방형 AI 엔지니어링 환경에서 에이전트가 작동하는 능력을 반영한다.
자기 개선(self-improvement) AI 시스템은 일반적으로 프롬프트, 워크플로, 하네스(harness), 또는 에이전트 자체의 코드를 최적화함으로써 에이전트를 개선 대상으로 취급한다. 이러한 에이전트 중심(agent-centric) 관점은 이득이 특정 에이전트 설계, 작업 분포, 또는 적응(adaptation) 실행에 묶이기 때문에 개선을 유지하기 비용이 많이 들고 전이하기 어렵게 만들 수 있다. 우리는 상호 보완적인 패러다임인 지식 중심(knowledge-centric) 자기 개선을 연구한다. 이 패러다임에서는 에이전트는 범용적이고 일회용으로 유지되는 반면, 지속적인 객체는 에이전트가 향후 작업에 활용할 수 있는 큐레이션된 지식 베이스(knowledge base)이다. 우리는 간단한 프로토콜을 통해 이 아이디어를 구체화하기 위해 통제된 사례 연구를 수행한다. 에이전트는 하나의 작업을 시도한 다음, 작업 수준 및 교차 작업 포럼을 통해 공유 지식 베이스에 증거 기반(evidence-grounded) 통찰을 기여하고, 이어서 지식 증류를 수행한다. 자기 개선이 에이전트가 아닌 지식에 담겨 있기 때문에, 개선은 더 검사 가능하고, 전이 가능하며, 이식 가능할 수 있다. 추상적 추론, 코딩, 터미널 벤치마크 전반에 걸쳐, 이 프로토콜은 에이전트 중심 기준선(baseline) 대비 달러 비용을 줄이면서 해결률(solve rate)을 향상시킨다. 그 결과로 얻어진 증류된 지식은 또한 홀드아웃(held-out) 작업 및 대규모 언어 모델(LLM) 계열 간에도 전이되어, 개선이 단순히 특정 LLM이나 실행(run)에 국한된 행동이 아님을 시사한다. 이 결과는 자기 개선 에이전트(agentic) 시스템에 대한 새로운 관점을 뒷받침한다: 진보는 주로 큐레이션된 지속적 지식에 의해 추동될 수 있다. 코드는 https://github.com/recursive-knowledge/KSI 에서 이용할 수 있다.
인공지능에서 상태 비저장(stateless) 생성 모델에서 상태 저장(stateful) 자율 에이전트로의 전환은, 장기 계획 수립 능력과 기업 워크플로 자동화라는 역량을 제공하는 동시에 Chronos 취약점이라는 새로운 형태의 보안 위협을 도입하는 아키텍처적 진화를 나타낸다. Chronos 취약점은 메모리 주입 공격(MINJA)과 잠복 에이전트(sleeper agent) 등 메모리 기반 공격의 위협을 나타내며, 이 공격들에서는 자율 에이전트의 내부 신념 체계가 손상되어 공격 벡터가 최종적 치명적 사건과 효과적으로 분리된다. 본 연구는 지속성 기반 공격에 대한 위협 모델과 World of Workflows 벤치마크 맥락에서의 Dynamics Blindness 위협을 형식화하고, 기존 엔드포인트 콘텐츠 필터가 현재의 상태 저장 아키텍처에 불충분함을 보여준다. 이에 따라 본 연구는 심층 방어(defense-in-depth) 환경을 종합하여, 진단적 궤적 가드레일(AgentDoG), 형식적 시간적 검증(Agent-C), 면역학적 메모리 합의(A-MemGuard), GPU 기반 신뢰 실행 환경(TEE) 및 Zero-Trust 메모리 아키텍처를 통한 하드웨어 기반 신뢰와 같은 신흥 프레임워크를 분류한다.