대규모 언어 모델(LLM)으로 구동되는 자율 웹 에이전트는 정보 검색, 보고서 생성, 온라인 거래와 같은 목표 지향 작업을 수행할 수 있는 강력한 잠재력을 보여줍니다. 이러한 에이전트는 개방형 웹 환경에서 실용적인 구현된 추론(embodied reasoning)을 향한 중요한 단계를 나타냅니다. 그러나 기존 접근 방식은 여전히 추론 깊이와 효율성 면에서 제한적입니다. 기본 선형 방법은 다단계 추론에서 실패하고 효과적인 백트래킹(backtracking)이 부족한 반면, 다른 검색 전략은 거친 입자도의(coarse-grained) 것이며 계산 비용이 높습니다. 우리는 구조화된 추론-행동, 맥락 메모리, 효율적인 실행을 통합하는 세밀한(fine-grained) 웹 에이전트 프레임워크인 Branch-and-Browse를 소개합니다. 이는 (i) 제어 가능한 다분기 추론을 위해 트리 구조 탐험과 함께 명시적 하위 작업 관리를 사용하고, (ii) 백그라운드 추론을 통한 효율적인 웹 상태 재생을 통해 탐험을 부트스트랩하며, (iii) 세션 내 및 세션 간에 탐험된 액션을 공유하기 위해 페이지 액션 메모리를 활용합니다. WebArena 벤치마크에서 Branch-and-Browse는 35.8%의 작업 성공률을 달성했으며, 최첨단 방법에 비해 실행 시간을 최대 40.4% 단축했습니다. 이러한 결과는 Branch-and-Browse가 LLM 기반 웹 에이전트를 위한 신뢰할 수 있고 효율적인 프레임워크임을 입증합니다.
대규모 언어 모델(LLM) 웹 에이전트는 주로 툴 호출기(tool caller)로 배포됩니다: 매 턴마다 모델은 새로운 페이지 관찰 결과를 읽고 하나의 구조화된 툴 액션을 생성합니다. 모든 액션이 저수준 프리미티브(primitive)인 경우, 시계(horizon)는 빠르게 길어지고 정책 결정을 위한 LLM 완료 작업도 증가하여 Mind2Web 및 WebArena와 같은 벤치마크에서 지연 시간과 비용을 주도하게 됩니다. 따라서 최근 시스템들은 반복되는 상호작용 조각을 웹 스킬로 래핑합니다: 성공적인 궤적이나 도출된 프로그램에서 빌드된 호출 가능한 툴로서, 하나의 호출이 여러 프리미티브를 대체할 수 있습니다. 그러나 기존 스킬 라이브러리는 여전히 주로 명령어 유사도나 대략적인 사이트 메타데이터에 의해 트리거되므로, 홀드아웃 사이트에서 낮은 스킬 재사용율을 보이며 잠재적인 단계 및 토큰 감소 효과를 충분히 활용하지 못합니다. 우리는 레이아웃 구조를 특정 요소 참조가 아닌 매칭하여 사이트 간에 재사용 가능한 웹 스킬을 학습하고 전이하는 에이전트인 SkillMigrator를 제안합니다. 각 도출된 스킬은 전이 가능한 상호작용 패턴(TIP)으로 저장됩니다: 도출 시점의 스냅샷에 대한 구조적 스케치와 짝을 이룬 스킬입니다. 테스트 시점에 SkillMigrator는 레이아웃 유사도로 TIP를 검색하고 라이브 페이지에서 해당 참조를 그라운딩합니다. 나머지 스택은 표준적입니다: 안정적인 참조가 포함된 접근성 스냅샷 관찰, 그리고 프리미티브와 스킬 호출에 대한 고정된 툴 호출입니다. 최신 방법론들과 비교했을 때, SkillMigrator는 동일한 성공률에서 WebArena와 Mind2Web 모두에 걸쳐 성공적인 궤적의 평균 LLM 액션 수를 8-10% 감소시킵니다.
대규모 언어 모델(LLM) 기반 웹 에이전트의 프롬프트 인젝션 취약성을 평가하기 위해 피해 대상별로 위험을 체계적으로 분류하는 이해관계자 중심 벤치마크를 제안합니다. 기존 평가 방식이 놓치는 은밀한 기생이나 정렬 불일치 등 질적으로 다양한 실패 모드를 확인하여 실제 배포 환경에서의 보안 평가 필요성을 강조합니다.
AI 에이전트는 분, 시간, 또는 그보다 더 긴 기간에 걸치는 작업을 수행하도록 점점 더 요구받고 있다. 그러나 에이전트 행동의 기본 모델은 지속적인 행동이다: 툴 호출, 페이지 새로고침, 대안 탐색, 또는 다른 방식으로 진행을 강제하려는 시도. 이는 많은 장시간 실행 작업에 잘못된 접근법이며, 이러한 작업에는 지속적 어텐션 전략이 더 적합하다. 대신 에이전트는 환경을 모니터링하고, 외부 이벤트가 진행 가능하게 만들 때 이를 인지한 뒤, 대기하는 동안 자원을 낭비하지 않으면서 신속하게 대응해야 한다.
이러한 작업 유형의 진행 상황을 측정하기 위해, 우리는 시간에 따라 변화하는 모니터링 작업을 위한 오픈 소스 벤치마크인 SentinelBench를 소개한다. SentinelBench는 이메일, 캘린더, 금융, 전문 네트워킹, 엔터테인먼트 등 10개의 합성 웹 환경에 걸쳐 100개의 작업을 포함한다. 각 환경은 라이브 웹 인터페이스를 제공하고 스크립트화된 이벤트 시퀀스를 재생하며, 에이전트가 그 발밑에서 상태가 변하는 웹 페이지를 탐색하고 추론하도록 요구한다.
SentinelBench는 작업 완료, 반응 시간, 자원 사용을 측정하여 응답성과 비용 사이의 트레이드오프를 드러낸다. 우리는 세 가지 모델과 두 가지 브라우저 에이전트 하네스에 걸친 결과를 보고하여 향후 비교를 위한 성능 기준선을 확립하고, 에이전트 설계 선택이 핵심 지표에 어떻게 극적으로 영향을 미칠 수 있는지 보여준다. 종합하면, 이러한 결과는 SentinelBench가 에이전트 행동의 의미 있는 차이를 구별할 수 있음을 보여준다.