FronTalk은 텍스트와 시각적 지시가 결합된 멀티턴 대화형 프론트엔드 코드 생성을 평가하기 위해 실제 웹사이트 데이터를 기반으로 구축된 벤치마크이자 웹 에이전트 기반의 평가 프레임워크이다. 20개 모델 평가를 통해 기능 구현 누락과 시각적 피드백 해석의 어려움을 확인하고, AceCoder 방법을 적용하여 누락 문제를 해결함으로써 성능을 최대 9.3% 향상시켰다.
디지털 도입 플랫폼(DAP)은 웹 시스템에 내장된 오버레이로, 사용자가 페이지 내 작업을 수행할 수 있도록 안내하여 익숙하지 않은 인터페이스를 빠르게 익힐 수 있게 돕는다. 그러나 실제 작업을 완료하는 것은 단일 페이지에서 버튼 몇 개를 클릭하는 수준에 그치지 않으며, 변화하는 페이지 상태에 걸쳐 펼쳐지는 일련의 액션을 필요로 한다. 기존 연구들은 자동화된 웹 에이전트 액션과 가이드 텍스트 생성을 별개의 문제로 다루어 왔으며, 대부분 인간이 실제로 조작하는 렌더링된 화면 대신 DOM이나 접근성 트리와 같은 텍스트 기반 페이지 표현을 모델에 제공한다. 본 연구에서는 작업 실행과 가이드 작성을 단일 멀티모달 액션 및 가이드 태스크로 통합한 최초의 벤치마크 MAG를 소개하며, 스크린샷에 대한 두 가지 그라운딩 방식인 Set-of-Mark 요소 선택과 원시 픽셀 좌표를 지원한다. 또한 이 복합 태스크를 위한 완전한 하네스를 구축하여, LLM 지원 어노테이션 및 인간 검증, 학습, 실제 환경에서의 평가, 그리고 액션과 가이드를 위한 통합 지표를 포함한다. 이 하네스를 통해 최신 API 모델과 오픈 멀티모달 모델을 평가하고 세부 분석 결과를 보고한다. 마지막으로, 전문가 궤적으로 보강된 GRPO 학습 방법을 설계하여, 지도학습 기반 9B 에이전트의 성공률을 거의 두 배(6.9%에서 13.2%)로 끌어올리는 동시에 가이드 품질도 향상시킨다. 가장 강력한 모델조차 전체 태스크의 40% 미만을 완료하여, 향후 연구를 위한 충분한 개선 여지가 남아 있다.
웹 에이전트 평가를 위한 대규모 벤치마크 WebRetriever는 800개 웹사이트와 1,550개 작업을 아우르며 소비자·전문가·기업 도메인을 포괄한다. 스크린샷을 넘어 다중 모달 상호작용 정보를 활용하는 LLM-as-Judge 평가 프레임워크 NavEval을 통해 인간 판단과 90% 이상의 일치율을 달성했으며, 탐색 성공만으로는 실제 배포 성능을 충분히 예측할 수 없음을 실험으로 입증한다.
멀티모달 대규모 모델은 웹 에이전트의 발전을 크게 촉진하여, 인간 인지와 유사한 방식으로 디지털 환경을 인식하고 상호작용할 수 있게 했습니다. 본 논문에서 우리는 웹 에이전트가 인지 추론에 효과적으로 참여하기 위해 먼저 충분한 지식을 획득해야 한다고 주장합니다. 이에 따라 웹 에이전트의 역량을 두 가지 핵심 단계인 지식 콘텐츠 학습(knowledge content learning)과 인지 프로세스(cognitive processes)로 분해합니다. 이를 형식화하기 위해 Web-CogKnowledge Framework를 제안하며, 지식을 사실적(Factual), 개념적(Conceptual), 절차적(Procedural) 유형으로 분류합니다. 이 프레임워크에서 지식 콘텐츠 학습은 에이전트의 암기(Memorizing) 및 이해(Understanding) 프로세스에 해당하며, 앞의 두 지식 유형에 의존하여 학습의 "무엇(what)"을 나타냅니다. 반대로 인지 프로세스는 절차적 지식에 기반한 탐색(Exploring)에 해당하며, 추론과 행동의 "방법(how)"을 정의합니다. 지식 획득을 촉진하기 위해 14개의 실제 웹사이트에서 수집한 구조화된 리소스인 Web-CogDataset을 구축하였으며, 이는 웹 에이전트에게 필요한 핵심 지식을 체계적으로 주입하도록 설계되었습니다. 이 데이터셋은 이해가 구축되는 "명사(nouns)"로서 에이전트의 개념적 그라운딩 역할을 하며, 추론 및 행동 방법 학습의 기반이 됩니다. 이 기반 위에서 우리는 새로운 지식 기반 사고의 연쇄(Chain-of-Thought, CoT) 추론 프레임워크를 통해 이러한 프로세스를 구현하고, 제안된 에이전트인 Web-CogReasoner를 개발 및 학습시킵니다. 광범위한 실험을 통해 기존 모델 대비 현저한 우월성이 드러났으며, 특히 구조화된 지식이 결정적인 역할을 하는 미지의 태스크에 대한 일반화에서 두드러집니다. 엄격한 평가를 가능하게 하기 위해, 정의된 지식 도메인과 인지 역량 전반에 걸쳐 에이전트 성능을 평가하고 비교하도록 설계된 종합 평가 스위트인 Web-CogBench를 도입합니다. 코드와 데이터는 https://github.com/Gnonymous/Web-CogReasoner 에서 오픈소스로 공개되어 있습니다.
Large language model (LLM)-based web agents reduce manual scripting for web data collection, yet on live websites, they often miss relevant pages, return incomplete multimodal outputs, or return media URLs that are not directly downloadable. We present BFS-and-Reflection Agent (BaRA), a framework for site-level collection under a fixed interaction budget. The framework combines bounded breadth-first search (BFS) traversal with history-based self-reflection. We evaluate BaRA on 50 synthetic websites with ground-truth reference sets. We additionally test on three public websites with cluttered or dynamic layouts. BaRA outperforms Pure LLM, SeeAct-Vision, and Browser-use on link discovery and downloadable multimodal extraction, with the largest gains in download-valid image and video recovery. Our code is available at https://github.com/MLAI-Yonsei/BaRA-Agent.
웹 에이전트의 모방 학습(imitation learning)에서 전문가 개입 시점 조절의 어려움을 해결하기 위해 Speculative Rollback Correction (SRC) 프레임워크를 제안한다. SRC는 고정된 수평 분기 검토를 통해 유용한 접두사를 보존하고 검증기를 통과한 다양한 궤적을 수집하여, WebArena-Infinity 벤치마크에서 효율적인 회복 대비 쿼리 트레이드오프를 달성했다.
심층 연구 에이전트(deep research agents)는 복잡한 정보 탐색 작업에서 뛰어난 능력을 보여주었지만, 이러한 성능은 막대한 계산 비용을 수반한다. 정확도 중심의 학습 패러다임에 의해 현재 모델들은 무차별적인 도구 의존과 형식적 추론(performative reasoning)이 특징인 무식한 전략을 채택하여, 이러한 작업을 해결하는 데 필요한 수준을 훨씬 넘어서는 길고 중복된 궤적을 생성하고, 이로 인해 불필요한 도구 호출과 과도한 토큰 소비가 발생한다. 이러한 효율성 함정을 극복하기 위해, 우리는 지도 미세조정(SFT)과 강화학습(RL) 모두에서 정확도와 계산 비용 사이의 파레토 프론티어를 밀어 올리는 원칙적 프레임워크인 SlimSearcher를 제안한다. SFT 단계에서 SlimSearcher는 성공적이면서도 경제적인 궤적을 증류하기 위해 파레토 효율적 필터링을 사용하여, 모델이 본질적으로 효율성을 인식하는 검색 행동을 향하도록 유도한다. 강화학습 과정에서는 샘플링된 코호트 내에서 상대적인 도구 및 토큰 효율성을 평가하는 동적 보상 형성 메커니즘인 Adaptive Reward Gating을 도입한다. 이러한 적응형 효율성 지표를 엄격한 정확성 게이트와 연쇄적으로 결합함으로써, 우리의 접근법은 절대적 페널티와 관련된 간결성 바이어스(brevity bias)를 효과적으로 피하고 보상 해킹(reward hacking)을 완화한다. GAIA, BrowseComp, XBenchDeepSearch를 포함한 장기 벤치마크에 대한 광범위한 실험은 SlimSearcher가 정확도를 유지하거나 개선하면서 평균 도구 호출 라운드를 17%-58% 줄인다는 것을 보여준다.