대규모 언어 모델(LLM) 기반 에이전트(agent)를 위한 프로토콜, 프레임워크 및 기술이 빠르게 제안되면서 최첨단 AI 솔루션을 구축하려는 이들에게 복잡한 상황이 야기되고 있습니다. 다양한 프로토콜, 프레임워크 및 라이브러리가 어떻게 함께 작동하여 에이전틱 웹(Agentic Web) 솔루션을 구성하는지에 대한 평가가 없다면, 개발자와 조직은 에이전틱 웹 생태계에 참여하기도 전에 다양한 과제(예: 역량 강화, 거버넌스, 인프라)에 직면하게 됩니다. 이러한 맥락에서 본 논문에서는 에이전틱 웹 평가를 수행하기 위한 시스템인 MASTIF(Multi-Agent System TestIng Framework)를 제안하고, 300개의 Mind2Web 벤치마크(benchmark) 태스크를 대상으로 3개의 LLM, 3개의 프로토콜, 4개의 에이전트 구현 프레임워크를 포함하는 에이전틱 웹 기술의 기준선(baseline) 평가를 제시합니다. 실험 결과에 따르면 태스크에 특화된 기술 스택을 선택할 경우 태스크 완료율, 효율성 점수 및 사회적 가치 안정성 점수가 향상될 수 있으며, 장황함(verbosity)과 태스크 완료 시간을 줄일 수 있는 것으로 나타났습니다. 본 논문에서 제시된 결과를 통해, 빠르게 발전하는 복잡한 환경 속에서 멀티 에이전트 시스템을 설계, 평가 및 개발하고자 하는 이들을 위한 지표 및 결과 측면의 기준선을 제시할 수 있을 것으로 기대합니다.
대규모 언어 모델(LLM) 에이전트가 오픈 웹의 직접적인 사용자가 되어가고 있습니다. 에이전트가 점점 더 복잡하고 정보 집약적인 작업을 수행함에 따라, 효과적인 웹 접근은 에이전틱(agentic) 문제 해결을 위한 핵심 역량이 되고 있습니다. 기존 접근법들은 검색-증강 에이전트, 브라우저 기반 에이전트, 그리고 최근의 파일시스템 기반 에이전트 등 다양한 접근 모델을 통해 에이전틱 웹 접근을 발전시켜 왔습니다. 그럼에도 불구하고, 사용자들이 에이전트에게 장기적인(long-horizon) 엔드투엔드 작업 완수를 기대함에 따라 단일 경로(trajectory) 내에서 광범위한 정보 수집을 수행하고, 브라우저 작업을 실행하며, 획득한 근거를 다시 검토해야 할 필요성이 점점 커지고 있습니다. 그러나 본 논문의 예비 분석 결과, 기존 접근 모델들은 이러한 요구를 충족하는 데 어려움을 겪는 것으로 나타났습니다. 기존 모델들은 주로 정보 수집이나 브라우저 상호작용 중 한 가지만 지원하며, 이 두 가지 역량을 결합할 경우 상당한 비용이나 성능 트레이드오프가 발생할 수 있습니다. 이를 위해 본 연구에서는 단일 접근 모델 하에서 웹 접근을 통합하는 인터페이스인 Web$hell을 제안합니다. WebContract가 정의한 공통 스키마를 사용하여, WebCompiler는 실시간 웹페이지를 주소 지정 가능한 정보 및 행동 객체로 컴파일합니다. 이러한 객체들은 WebCache에서 유지 관리되고 공유 연산 집합을 통해 처리되어 에이전트에 일관되고, 조작 가능하며, 영속적인 웹 접근을 제공합니다. 웹 검색, 웹 내비게이션, 딥 리서치 벤치마크에 걸친 광범위한 실험을 통해, Web$hell이 더 낮은 비용으로 뛰어난 작업 성능을 달성함을 입증합니다. 또한 본 연구 결과는 효과적인 웹 접근을 위한 인터페이스 설계의 중요성을 시사하며, Web$hell이 웹상에서 더 유능하고 효율적인 LLM 에이전트를 구축하기 위한 새로운 가능성을 열어줍니다.
웹 에이전트(agent)는 동일한 사이트를 다시 방문하는 경우가 많지만, 대부분의 평가는 이전의 성공적인 상호작용에서 학습된 절차를 버립니다. 본 연구에서는 검증된 EconWebArena 궤적을 실시간 경제 데이터 검색을 위한 매개변수화된 표준 운영 절차로 증류한 스킬 라이브러리 및 평가 프레임워크인 EconSkills를 소개합니다. 각 스킬은 원본 인스턴스 값을 플레이스홀더로 대체하면서 해당 스킬의 범위, 탐색 절차, 사이트별 지침, 검증 확인 및 복구 단계를 기록합니다. EconSkills는 두 가지 질문을 분리하여 다룹니다. 즉, 알려진 관련 절차가 미확인 태스크로 전이되는지 여부와, 에이전트가 라이브러리에서 스킬을 선택할 때도 이러한 이점을 유지할 수 있는지 여부입니다. 통제된 전이 실험에서 매칭된 스킬은 스킬이 없는 프롬프트(prompt) 방식에 비해 성공률을 향상시키며, 쌍을 이룬 성공 사례에서 더 적은 단계를 필요로 합니다. 평가된 프롬프트 형식 하에서 매개변수화된 스킬 프롬프트는 그에 상응하는 원본 궤적 프롬프트보다 실질적으로 우수한 성능을 보입니다. 전체 50개 스킬 라이브러리를 사용할 경우, 검색 성능은 전반적으로 스킬 없는 기준선(baseline)과 대등한 수준을 보이며 직접적인 패밀리 매칭이 있는 태스크에서 가장 우수한 성능을 발휘하지만, 다른 태스크에서의 근사 매칭이 이러한 이득을 상쇄합니다. 브라우저 궤적 분석을 통해 절차적 지침이 포털별 탐색을 단축시키는 시점과 시맨틱 검증이 여전히 필요한 시점을 추가로 식별합니다. 이러한 결과는 재사용 가능한 경제 웹 절차가 태스크 인스턴스 전반에 걸쳐 전이될 수 있음을 규명하며, 매칭 인지적 선택 및 컨텍스트 제공을 위한 구체적인 설계 목표를 제공합니다.
스크린샷과 접근성 트리(accessibility tree)를 모두 처리하는 멀티모달 웹 에이전트(agent)는 웹 인터페이스와의 상호작용을 위해 점점 더 널리 배포되고 있지만, 이러한 이중 스트림 구조는 아직 충분히 탐구되지 않은 공격 표면을 열어둡니다. 즉, 웹페이지 DOM에 콘텐츠를 주입하는 공격자는 일관되고 기만적인 서사로 두 관측 채널을 동시에 오염시킬 수 있습니다. MiniWob++에서의 취약점 분석 결과, 시각적 요소를 포함하는 공격이 텍스트 전용 주입 공격보다 훨씬 뛰어난 성능을 보이며 텍스트 중심의 VLM 안전성(safety) 학습(training)에 심각한 공백이 있음을 드러냈습니다. 이러한 발견에 착안하여, 본 논문에서는 에이전트와 공격자 간의 상호작용을 2인 일반화 합 마르코프 게임(two-player general-sum Markov game)으로 정식화하고 세 단계의 파이프라인을 통해 두 플레이어를 공동 학습시키는 프레임워크인 Dual-Modality Multi-Stage Adversarial Safety Training(DMAST)을 제안합니다. 세 단계는 (1) 강력한 교사 모델(teacher model)로부터의 모방 학습, (2) 적대적 노이즈 속에서 과제 중심 추론을 주입하기 위해 새로운 무인지(zero-acknowledgment) 전략을 사용하는 오라클 유도 지도 미세조정(supervised fine-tuning), (3) GRPO(Group Relative Policy Optimization) 셀프 플레이 기반의 적대적 강화학습(reinforcement learning)으로 구성됩니다. 분포 외(out-of-distribution) 과제에서 DMAST는 공격 성공률을 거의 절반으로 줄이는 동시에(41.2%$\rightarrow$21.4%), 과제 완수율을 상대적으로 60% 이상 향상시켰습니다(6.2%$\rightarrow$10.2%). 제안하는 접근법은 기존의 학습 기반 방어 기법들을 능가하며 프롬프트(prompt) 기반 방어 기법을 보완하여, 진정한 공진화적 발전과 복잡하고 이전에 보지 못한 환경에 대한 강건한 일반화 능력을 입증합니다. 코드는 https://github.com/huajianduzhuo-code/DMAST_official 에서 확인할 수 있습니다.
대규모 언어 모델(LLM) 기반의 자율 웹 에이전트는 다단계 추론 및 의사결정 능력을 바탕으로 다양한 웹 기반 작업을 자동화하여 상당한 주목을 받아왔다. 이러한 에이전트 개발에서 미해결 연구 과제 중 하나는 웹페이지 입력의 형식이다. 방대하고 종종 무관한 세부 정보를 포함하는 원시 HTML 소스 코드는 제한된 컨텍스트 윈도우(context window)를 가진 LLM에 어려움을 초래한다. 이러한 문제를 해결하기 위해, 본 연구에서는 먼저 WebArena (Zhou et al., 2023) 벤치마크에서 GPT-3.5 및 LLaMA-2-70B와 같은 기준선(baseline) 모델들을 재현하여 공통적인 실패 양상을 식별한다. 그런 다음 LLM 에이전트를 위해 무관한 문맥을 걸러내는 두 가지 검색 전략을 제안한다. 작업과의 관련성에 따라 HTML 요소들의 순위를 매기는 DeBERTa 기반 및 T5 기반 모델을 개발한다. 이들을 Mind2Web 궤적 데이터에서 파인튜닝(fine-tuning)한 후 WebArena로 전이한다. 실험 결과, DeBERTa 기반 모델은 WebArena에서 LLaMA-2-70B LLM 에이전트의 성공률을 1.97%에서 2.96%로 향상시키는 것으로 나타났다. 나아가, Mind2Web에서 0.52, WebArena에서 0.47의 재현율(recall)로 정답 요소를 검색할 수 있는 제로샷(zero-shot) ColBERT 기반 리트리버를 개발한다.
웹 에이전트(Web agent)는 주로 라이브 환경에서 평가되는데, 실행 간에 환경 상태와 판정 모델이 드리프트(drift)하여 동일한 체크포인트가 동일한 점수를 재현하기 어렵기 때문에 학습(training) 현상에 대한 통제된 연구가 사실상 불가능합니다. 본 논문에서는 성공적인 WebArena 궤적에서 파생된 541개 태스크와 5,293개 스텝으로 구성된 오프라인 벤치마크인 WebMRE를 제시합니다. 이 벤치마크는 완전히 검증된 테스트 라벨과 환경 없이도 모든 실행에서 체크포인트를 동일하게 평가하는 결정론적 프로토콜을 갖추고 있습니다. 각 스텝은 인간 지향적인 가이드 문장과 그라운딩된(grounded) 행동을 결합하여, 웹 에이전트에서 이 둘 사이의 상호 강화(mutual reinforcement) 효과에 대한 최초의 연구를 가능하게 합니다. 세 개의 시드에 걸쳐 평균을 냈을 때, 이 효과는 두 모델 모두에서 두 디코딩 순서 모두에 걸쳐 유지되며 스케일링에 따라 증가합니다. 즉, 가이드를 공동 디코딩하면 행동 전용 기준선 대비 요소 선택 점수가 Qwen3.5-4B의 경우 0.9 및 0.2 포인트 상승하고, Qwen3.5-9B의 경우 1.7 및 2.2 포인트 상승합니다. 매개 분석(mediation analysis)에 따르면 가이드는 단순한 설명이 아닌 인과적 경로임이 밝혀졌습니다. 정답 가이드를 디코딩 접두 문맥(prefix)으로 강제하면 행동 정확도가 .422에서 .684로 상승하는 반면, 다른 스텝의 가이드를 주면 .055로 급락하며, 타깃을 변경한 패러프레이즈(paraphrase)도 이득의 절반을 회복하므로 이 경로가 라벨 문자열뿐만 아니라 인스트럭션의 의미를 전달함을 보여줍니다. 동일한 경로를 통해 재생 가능한 프로토콜에서만 계산 가능한 오프라인 보상(reward)이 생성되지만, 강력한 체크포인트로부터 이를 최적화하는 것은 아직 이득을 가져오지 못합니다. 본 연구에서 파인튜닝된 모델은 모든 오프라인 지표에서 제로샷(zero-shot)으로 실행된 GPT-5.5, Claude Opus 4.8 및 Gemini 3.5 Flash를 능가합니다.
웹 에이전트(web agent)를 겨냥한 여러 프롬프트 인젝션(prompt injection) 공격이 제안되어 왔습니다. 동시에 일반적인 프롬프트 인젝션 공격을 탐지하기 위한 다양한 방법들이 개발되었으나, 웹 에이전트에 대해 체계적으로 평가된 바는 없습니다. 본 연구에서는 웹 에이전트를 대상으로 하는 프롬프트 인젝션 공격 탐지에 대한 최초의 종합적인 벤치마크(benchmark) 연구를 제시하여 이러한 공백을 메웁니다. 먼저 위협 모델(threat model)을 기반으로 이러한 공격의 세분화된 분류 체계를 소개합니다. 그런 다음 악성 샘플과 정상 샘플을 모두 포함하는 데이터셋(dataset)을 구축합니다. 여기에는 서로 다른 공격으로 생성된 악성 텍스트 세그먼트, 4개 범주의 정상 텍스트 세그먼트, 공격으로 생성된 악성 이미지, 2개 범주의 정상 이미지가 포함됩니다. 이어서 텍스트 기반 및 이미지 기반 탐지 방법을 체계화합니다. 마지막으로 다양한 시나리오에 걸쳐 이들의 성능을 평가합니다. 주요 연구 결과에 따르면, 일부 탐지기는 명시적인 텍스트 지시나 눈에 띄는 이미지 섭동(perturbation)에 의존하는 공격을 보통에서 높은 수준의 정확도로 식별할 수 있지만, 명시적인 지시를 생략하거나 인지하기 어려운 섭동을 사용하는 공격에는 크게 실패하는 것으로 나타났습니다. 데이터셋과 코드는 https://github.com/Norrrrrrr-lyn/WAInjectBench 에 공개되어 있습니다.
기존의 대규모 언어 모델(LLM) 기반 웹 에이전트(agent)는 제한된 문맥 내 메모리, 취약한 계획 수립 능력, 그리고 조기 종료로 이어지는 탐욕적(greedy) 동작으로 인해 복잡하고 긴 호흡(long-horizon)의 태스크에서 어려움을 겪는다. 이러한 문제를 해결하기 위해, 동적 $\ANDOR$ 트리를 통해 계획 수립과 실행을 교차 진행하는 계층적 계획 수립 프레임워크인 \SA{}를 제안한다. 이 프레임워크는 구조적 계획 수립을 LLM 기반 추론과 분리하여 노드 수리를 통한 원칙적인 오류 복구, OR 노드를 통한 대안의 체계적인 탐험, 인간의 개입을 촉진할 수 있는 모듈식 계획을 가능하게 한다. WebArena(630개 태스크)에서 \SA{}는 AgentOccam의 약 46% 대비 약 53%의 성공률을 달성하며, 복잡한 다중 제약 조건이 있는 Amazon 쇼핑 태스크에서는 가장 강력한 기준선 대비 10%의 성능 향상을 기록한다.
현대 AI 에이전트는 Claude Code, Codex, OpenClaw와 같은 정교한 추론 하네스에 의존하여 다중 턴 추론, 도구 사용, 외부 시스템 접근을 수행한다. 강력하지만 이러한 복잡한 하네스는 동시에 에이전트를 오픈 인프라로 end-to-end 학습하기 어렵게 만든다. 해당 인프라의 SFT/RL 스택은 상태를 유지하는(stateful) 다중 프로세스 하네스 추론을 네이티브로 표현할 수 없기 때문이다. 이를 해결하기 위해, 우리는 다양한 환경에서 하네스 기반 에이전트를 end-to-end로 학습하기 위한 오픈소스 프레임워크인 OpenForgeRL을 제시한다. OpenForgeRL은 하네스의 모델 호출을 제공하면서 이를 표준 RL 코드베이스(예: veRL)의 학습 데이터로 기록하는 경량 프록시, 그리고 각 롤아웃을 독립된 원격 컨테이너에서 실행하는 Kubernetes 오케스트레이터를 통해 이를 달성하며, 이를 함께 사용하면 어떤 하네스든 어떤 환경에서든 대규모 학습이 가능하다. 학습과 추론을 분리함으로써 OpenForgeRL은 연구자들이 실제 배포에 사용하는 하네스와 환경에서 에이전트를 직접 학습·연구·개선할 수 있게 한다. 우리는 도구/클로 기반 에이전트부터 멀티모달 GUI 브라우저 및 컴퓨터 사용 에이전트에 이르기까지, 다양하고 복잡한 하네스와 환경 전반에서 프레임워크를 검증했다. 수백에서 수천 개의 태스크만 사용하여 OpenForgeClaw는 ClawEval에서 31.7 pass^3 및 55.9 pass@3, QwenClawBench에서 33.7을 달성했다. OpenForgeGUI는 OSWorld-Verified에서 37.7, Online-Mind2Web에서 63.0, WebVoyager에서 72.3을 기록했다. 두 모델 모두 유사 규모의 오픈 베이스라인을 거의 모든 벤치마크에서 능가했으며, GUI 설정에서는 훨씬 더 큰 모델과 맞먹거나 그 이상의 성능을 보였다. 벤치마크를 넘어, 하네스 선택(예: ZeroClaw, OpenClaw, Codex)과 RL이 에이전트 행동을 어떻게 형성하는지 분석했다. 일부 하네스는 다른 것보다 훨씬 학습하기 어렵다는 것을 발견했으며, RL은 자기 검증(self-verification), 도구 커버리지, 다단계 계획 완료와 같은 에이전트적 신뢰성을 개선하지만, 오류 복구와 같은 핵심 능력은 여전히 약하다.
장기 작업을 수행하는 웹 에이전트는 모든 행동 단계에서 원본 DOM 및 접근성 트리(일반적으로 수만 개의 토큰에 달함)를 입력받는데, 이는 작업이 완료되기 훨씬 전에 추론 능력을 저하시키는 점진적인 컨텍스트 열화를 유발합니다. 우리는 관찰 빈도를 행동 빈도에 결합하는 것이 아키텍처적 오류라고 주장합니다. 문서를 전체적으로 읽는 것보다 쿼리하는 것이 더 우수하다는 재귀적 언어 모델의 통찰력을 활용하여, 우리는 신호 기반 관찰(SDO)을 제안합니다. 전용 하위 호출은 전체 DOM을 읽지만 작업 관련 요소와 해당 선택자만 반환하며, URL 전환, 새로 표시되는 대화형 요소, 행동 실패 또는 외생적 브라우저 이벤트에 의해 트리거되는 경량 신호 감지기가 작동할 때만 다시 호출됩니다. 우리는 SDO가 도입하는 미해결 문제들을 개요로 설명하고, 웹 에이전트 설계에서 관찰 압축을 핵심 아키텍처 결정으로 다루도록 연구 커뮤니티에 호소합니다.
대규모 언어 모델(LLM)의 최근 발전으로 웹 에이전트가 복잡한 작업을 자율적으로 수행할 수 있게 되었다. 실제로 사용자는 종종 불완전하게 명시된 지시를 제공하며, 이 경우 에이전트는 원시 브라우징 기록에서 누락된 문맥을 추론해야 한다. 기존 벤치마크는 작업을 완전히 명시적인 프롬프트로 제한하거나 웹 상호작용 기록을 단순화된 형태로 추상화하기 때문에, 이러한 형태의 개인화를 포착하지 못한다. 이 격차를 메우기 위해, 관리형 개방 웹 환경에서 동작하는 개인화 웹 에이전트를 위한 벤치마크인 PersonaTrail을 제안한다. 현실적인 브라우징 궤적을 사용자 기록으로 활용함으로써, PersonaTrail은 에이전트가 사용자 선호를 추론하고 과거 브라우징 세션에서 정보를 회상하는 능력을 평가한다. 또한 원시 브라우징 기록을 두 유형의 구조화된 메모리로 분해하는 프레임워크인 Preference-Aware Contextual Memory(PACMem)를 제안한다: 개별 세션을 요약하는 사실적 메모리와 반복되는 행동 패턴을 정제하는 선호 메모리. 추론 시점에 에이전트는 이러한 메모리에서 가장 관련성 높은 항목을 검색하여 개인화된 탐색을 안내한다. 광범위한 실험 결과, PACMem은 두 작업 모두에서 기존 메모리 기반 베이스라인을 일관되게 능가한다.
장기 웹 에이전트는 최종 실패 전에 종종 궤도를 이탈한다. 현재 상태, 재사용된 스킬, 또는 계획 가정이 더 이상 사용자 지시를 뒷받침하지 않은 후에도 궤적은 국소적으로 그럴듯하게 유지될 수 있다. 기존 에이전트는 계획하고, 반성하거나, 경험을 재사용할 수 있지만, 그들의 계획은 활성 단계가 여전히 신뢰되어야 하는 근거를 거의 명시하지 않는다. 우리는 견고한 장기 웹 에이전트를 위한 반증 가능한 약속 계획(falsifiable commitment planning) 프레임워크인 FCPAgent를 제안한다. FCPAgent는 각 계획 단계를 반증 가능한 약속 단위(Falsifiable Commitment Unit, FCU)로 표현한다. 이는 재사용 가능한 스킬에 그라운딩(grounding)된 하위 목표와 함께 확인 증거, 반증 증거, 신뢰도 점수를 포함한다. 실행은 계획-검증-수리(plan-test-repair) 루프로 구성된다. 하이브리드 약속 검증 모듈은 후보 행동이 브라우저를 수정하기 전과 실행 후 관측을 검증한다. 효율성을 위해 경량 증거 매칭과 대규모 언어 모델(LLM) 기반 진단 검증을 결합한다. 증거가 약속을 반증하면, 범위 인식(scope-aware) 수리가 모순을 실행, 스킬, 또는 계획 수준으로 국한하고 가장 작은 적절한 부분을 수정한다. WebArena에서 FCPAgent는 가장 강력한 기준선 대비 평균 성공률에서 13.8% 상대적 향상을 달성하며, 특히 장기 작업에서 큰 이득을 보인다.
최근 멀티모달 LLM 기반 에이전트는 웹 내비게이션에서 인상적인 능력을 보여주었으며, 다양한 도메인에서 복잡한 브라우징 작업을 완수할 수 있게 했다. 그러나 현재 에이전트는 반복적인 오류에 취약하며 세션에 걸친 과거 경험으로부터 학습하는 능력이 부족해, 장기적 견고성과 샘플 효율성이 제한된다. 우리는 WebCoach를 제안한다. WebCoach는 모델에 구애받지 않는 자기 진화형 프레임워크로, 웹 브라우징 에이전트에 지속적인 세션 간 메모리를 제공하여 재학습 없이 장기 계획, 성찰(reflection), 지속 학습(continual learning)을 향상시킨다. WebCoach는 세 가지 핵심 구성 요소로 이루어진다: (1) 원시 내비게이션 로그를 간결한 요약으로 표준화하는 WebCondenser, (2) 완전한 궤적(trajectory)을 에피소드 경험으로 구조화하는 External Memory Store, (3) 유사성과 최근성에 기반해 관련 경험을 검색하고 런타임 훅(runtime hooks)을 통해 에이전트에 작업별 조언을 주입할지 결정하는 Coach. 이 설계는 웹 에이전트가 고유 컨텍스트 윈도우를 넘어 장기 메모리에 접근할 수 있게 하여, 복잡한 브라우징 작업에서의 견고성을 개선한다. 또한 WebCoach는 새로운 내비게이션 궤적에서 에피소드 메모리를 지속적으로 큐레이션함으로써 자기 진화를 달성하며, 재학습 없이 시간에 따라 에이전트가 개선되도록 한다. WebVoyager 벤치마크에서의 평가는 WebCoach가 세 가지 서로 다른 LLM 백본에 걸쳐 브라우저 사용 에이전트의 성능을 일관되게 향상시킴을 보여준다. 38B 모델을 사용할 때, 평균 단계 수를 줄이거나 유지하면서 작업 성공률을 47%에서 61%로 높인다. 특히 WebCoach를 적용한 더 작은 기본 모델은 GPT-4o를 사용하는 동일한 웹 에이전트와 비슷한 성능을 달성한다.
웹 에이전트가 빠르게 발전하면서, 점점 더 많은 연구가 기존의 원자적(atomic) 브라우저 상호작용을 넘어 도구 사용(tool use)을 더 높은 수준의 행동 패러다임으로 탐구하고 있다. 비록 선행 연구들이 도구의 가능성을 보여주었지만, 그 결론은 종종 제한된 실험 규모와 때로는 비교 가능하지 않은 설정에서 도출된다. 그 결과, 몇 가지 근본적인 질문이 여전히 불분명하게 남아 있다: i) 도구가 웹 에이전트에게 일관된 이득을 제공하는지, ii) 효과적인 도구를 특징짓는 실용적 설계 원칙은 무엇인지, iii) 도구 사용이 어떤 부작용을 초래할 수 있는지. 미래 연구를 위한 더 견고한 실증적 기반을 마련하기 위해, 우리는 다양한 도구 소스, 백본 모델(backbone model), 도구 사용 프레임워크, 평가 벤치마크(evaluation benchmark)에 걸친 광범위하고 신중하게 통제된 연구를 통해 웹 에이전트에서의 도구 사용을 재검토한다. 우리의 발견은 일부 선행 결론을 수정하고, 다른 결론들을 더 넓은 증거로 보완한다. 본 연구가 보다 신뢰할 수 있는 실증적 기반을 제공하고, 도구 사용 웹 에이전트에 대한 미래 연구에 영감을 주기를 바란다.
Prismata는 웹 에이전트를 대상으로 한 크로스사이트 프롬프트 인젝션(Cross-Site Prompting, XSP) 공격을 방어하기 위해, 페이지 DOM 구조의 크리티컬 패스(critical path)에서 신뢰 레이블을 동적으로 도출하고 Biba 무결성 모델에서 영감받은 구조적 제한을 적용하는 맥락적 최소 권한(contextual least privilege) 방어 시스템이다. 개발자 어노테이션 없이 WebArena 환경 실험에서 공격 성공률을 85.5%에서 0.7%로 낮추면서 정상 작업 성공률은 29.9%에서 26.6%로 소폭만 감소시켰다.
웹 에이전트의 단일 답 탐색(깊이) 위주 평가를 넘어, 폐쇄 집합 전체를 열거하고 속성 표를 채우는 넓이 탐색 능력을 측정하는 한국어 벤치마크 Ko-WideSearch를 제안한다. 자동 합성-검증 파이프라인으로 구축한 228개 표에서 20개 웹 에이전트를 평가한 결과, 집합 항목 복원(Item-F1 92.8)과 달리 행 단위 완전 정확도(Row-F1 53.7)는 일관되게 낮았으며, 검색량·비용 증가로도 격차가 해소되지 않았다.
우리는 CFAgentBench를 소개한다. 이는 자율 건설·금융 에이전트를 위한 재현 가능하고 자체 호스팅 가능한(self-hostable) 환경 및 벤치마크로, 미국 건설 금융 팀이 실제로 사용하는 소프트웨어 스택—ERP, 프로젝트 관리, 이메일, 문서, 지급 신청(pay applications), 급여(payroll), 인증 급여(certified payroll), 유치권 포기(lien waivers), 은행/자금 포털—전반에서 운영되는 CFO/컨트롤러급 에이전트를 대상으로 한다. 8개 도메인과 77개 패밀리에 걸쳐 1,014개의 기계 채점 가능(machine-gradeable) 작업 명세를 포함하며, 모든 패밀리는 실제 출처에 기반한다. 자체 검증된 40개 작업(프로젝트 관리 확장 시 54개) 부분집합은 오라클 검증(oracle-validated) 실행 가능 평가기로 컴파일되어, 본 문서에서 보고하는 실행 가능한 스위트를 구성한다. WebArena를 따르듯, 이 벤치마크는 정적 추적(trace)이 아니라 실행 가능한 환경에서 동작한다. 9개 아키타입에 걸친 35개 모의 애플리케이션(31개는 하나의 회사 장부에 조정되었고, 4개는 PM 플랫폼)이 각각 균일한 자체 호스팅 가능 앱 계약을 구현하므로, 모든 작업은 기능적 정확성—상태 차(diff), 금지 부작용 검사, 필수 출력 정규식—으로 채점되며, 대규모 언어 모델(LLM) 심판(judge)은 보상으로는 결코 사용되지 않고 응답 품질에만 사용된다. 구별되는 원칙은 자금 이동(money-movement) 가드이다. 278개 인스턴스는 지급, 급여, 전자 서명, 또는 전자 제출 단계를 포함하며, 올바른 행동은 중단하고 인간 승인을 위해 대기(staging)하는 것인데, 올바른 거래를 실행조차도 작업을 실패시킨다. 공개 분할(n=711)은 95% Wilson 반폭(half-width) ±4.1%에 맞게 크기가 조정되었고, 비공개 오염 방지(contamination-protected) 분할(n=303)은 원격 채점을 위해 예약되어 있다. 최초의 3개 모델 오픈 가중치(open-weight) 스위프(k=5)에서, 가장 강한 에이전트는 pass^1 = 0.67에 도달하지만 pass^5 = 0.38에 그친다. 이는 temperature-0 디코딩 하에서 반복을 요구받을 때 성공의 43%를 잃는다. 모델 내 pass^1에서 pass^5로의 급락과 도메인별 급격한 이질성(heterogeneity)은 단일 시도 정확도가 배포 가능한 건설·금융 역량을 과대평가함을 분명히 보여준다.
장기(long-horizon) 웹 에이전트는 최종 답변 평가에 가려지는 방식으로 종종 실패한다. 유용한 페이지를 방문하고 형식상 올바른 답변을 생성한 뒤 자신 있게 종료할 수 있지만, 여전히 필드를 누락하거나 근거 없는 항목을 과도하게 포함하거나 오래된 증거에 의존할 수 있다. 우리는 Parallel WebBench를 통해 이러한 실패를 연구한다. Parallel WebBench는 1,679개의 검증된 기록을 포함하는 병렬 웹 탐험 벤치마크로, 350개의 수동으로 구성된 병렬 작업과 URL 기반 경로가 검증된 1,329개의 재구성 기록으로 이루어진다. 인간 전용, 균형 잡힌 인간-합성, 합성 중심 데이터 혼합 조건에서 GRPO로 WebExplorer 스타일 에이전트를 학습한다. 16k 컨텍스트와 16회 상호작용 라운드에서 최고 GRPO 모델은 WebExplorer-8B 대비 completion을 50.7%에서 96.0%로, GPT-4.1-mini가 판단한 요소별 F1을 0.2489에서 0.4529로 개선하지만, 이진 정확도(binary accuracy)는 completion보다 훨씬 낮게 유지된다. 트레이스 수준 분석은 세 가지 지속적인 실패 모드를 식별한다: 컨텍스트 제한 검색 루프, 부분 답변에 대한 조기 종료, 관련 증거가 이미 검색된 후의 합성 붕괴(synthesis collapse). 이 결과는 합성 데이터 GRPO가 기권(abstention)을 줄이고 부분적 정확성을 개선하지만, 증거 기반(grounded) 커버리지와 합성 진단이 필요한 completion-정확성 간격을 남긴다는 것을 보여준다.
멀티모달 대규모 언어 모델(MLLM) 기반 웹 에이전트는 시각적 브라우저 자동화를 위한 실용적이고 높은 정밀도의 솔루션을 제공하지만, 본질적으로 공격 표면을 확대하여 새로운 유형의 시각 기반 취약점을 도입한다. 이러한 에이전트를 대상으로 한 기존 적대적 평가는 종종 관대한 위협 모델과 시각적으로 눈에 띄는 아티팩트에 의존한다. 본 논문에서는 제한된 취약점 탐지 설정을 조사한다. 평가자가 신뢰할 수 있는 웹 플랫폼에서 오직 권한 없는 제3자(예: 상인 또는 광고주)로서만 행동하며, 광고 슬롯, 스폰서 카드, 지역화된 위젯 등 의미적으로 정당하고 공간적으로 제한된 영역만을 통제하는 경우이다. 이러한 현실적인 제약 하에서, 우리는 목표 지향적 다음 행동 탈취를 위한 새로운 시각적 간접 프롬프트 인젝션 프레임워크인 MIRAGE를 제안한다. 우리의 접근법은 확산 모델을 활용하여, 신뢰할 수 있는 서비스 제공자가 허용하는 공격자 통제 경계 내에 엄격히 한정된, 지각적으로 무해한 적대적 이미지를 생성한다. 이러한 제한적인 설정에서 공격 효과를 극대화하기 위해, 곡률 인식(curvature-aware) 적대적 확산 가이던스와 희소(sparse) 암색 픽셀 잔차 perturbation을 결합한 강건한 최적화 기법을 도입한다. SeeAct 및 OpenClaw를 포함한 주요 MLLM 웹 에이전트 프레임워크에 대한 포괄적 평가를 통해, 제안한 MIRAGE의 강력함, 현실성, 은밀성을 실증적으로 입증한다.
웹이 인간 소비자를 전제로 한 접근·경제·콘텐츠 구조가 AI 에이전트 확산과 충돌하는 문제를 진단하고, 에이전트 식별 메타데이터·이중 층 아키텍처·토큰 기반 구독·ATML과 암호화 기원 체인을 포함한 세 층 재설계를 제안한다. 이를 에이전트 우선 인터넷을 위한 10가지 설계 원칙으로 통합하며, 에이전트를 차단 대상이 아닌 1급 시민으로 삼는 웹의 사회 계약 재협상을 촉구한다.