arXiv:2606.12485v1 cs.LG

품질 다양성 웹 에이전트 모방을 위한 투기적 롤백 교정

Speculative Rollback Correction for Quality-Diverse Web Agent Imitation

Longkun Hao, Hongyu Lin, Hao Li, Zhichao Yang, Haojie Hao, Dongshuo Huang, Haitao Yang, Hongyu Ge, Ming jie Xie, Yanjun Wu, Zi Hao Yin, Yan Bai, Yihang Lou

제출 2026-06-10

한국어 초록

전문가 궤적으로부터의 모방 학습을 통해 대화형 웹 에이전트를 학습시키는 방법이 매우 효과적인 접근법으로 부상하고 있다. 그러나 이 맥락에서 전문가 개입의 최적 시점을 결정하는 것은 핵심적인 과제를 제시한다. 개입이 늦어지면 초기 단계 오류가 누적되어 페이지 상태가 복구 불가능한 상태로 빠져들게 된다. 반대로, 너무 이르거나 과도한 개입은 에이전트가 전문가 정책에 지나치게 의존하게 만들어, 단일하고 경직된 궤적으로 특징지어지는 지역 최적해에 모델을 가두게 된다. 우리는 재설정 가능한 에이전트 환경을 위한 분기 수준 모방 프레임워크인 투기적 롤백 교정(Speculative Rollback Correction, SRC)을 제안한다. 매번 방문하는 상태마다 교사 레이블을 요청하거나 궤적 완료 후에만 교정하는 대신, SRC는 고정 수평 분기 검토를 사용한다. 즉, 학생이 짧은 투기적 세그먼트를 실행한 후 교사 검토를 받으며, 지역적 진행이 중단될 때만 교사가 첫 번째 유해한 이탈을 국소화한다. 롤백은 유용한 접두사를 보존하고, 성공적인 롤아웃은 하드 검증기로 필터링되어 경량 품질 다양성(quality-diversity) 아카이브에 보관된다. 결과 데이터는 국소화된 교정 및 검증기 통과 궤적 모두에 대한 다음 행동 지도 파인튜닝을 지원한다. WebArena-Infinity에서 SRC는 977개의 검증기 통과 궤적과 9,183개의 다음 행동 예시를 수집하며, 고정 수평 검토는 검증기 통과 솔루션 변형을 유지하면서 단계별 검토 대비 회복-대-쿼리 트레이드오프를 개선한다. 코드는 https://github.com/LongkunHao/SRC_gui_agent에서 이용 가능하다.

원문 초록

Training interactive web agents through imitation learning from expert trajectories has emerged as a highly effective approach. However, determining the optimal timing for expert intervention presents a critical challenge in this context. Delayed intervention often leads to the accumulation of early-stage errors, pushing the page state into an irrecoverable regime. Conversely, premature or excessive intervention causes the agent to become overly reliant on expert policies, trapping the model in local optima characterized by a single, rigid trajectory. We propose Speculative Rollback Correction (SRC), a branch-level imitation framework for resettable agent environments. Instead of requesting teacher labels at every visited state or correcting only after a completed trajectory, SRC uses fixed-horizon branch review: the student executes a short speculative segment before teacher review, and the teacher localizes the first harmful deviation only when local progress breaks. Rollback preserves useful prefixes, while successful rollouts are filtered by a hard verifier and retained in a lightweight quality-diversity archive. The resulting data supports next-action supervised fine-tuning on both localized corrections and verifier-passing trajectories. On WebArena-Infinity, SRC collects 977 verifier-passing trajectories and 9,183 next-action examples; fixed-horizon review improves the recovery-versus-query tradeoff over step-level review while retaining verifier-passing solution variants. Code is available at https://github.com/LongkunHao/SRC_gui_agent.

요약

웹 에이전트의 모방 학습(imitation learning)에서 전문가 개입 시점 조절의 어려움을 해결하기 위해 Speculative Rollback Correction (SRC) 프레임워크를 제안한다. SRC는 고정된 수평 분기 검토를 통해 유용한 접두사를 보존하고 검증기를 통과한 다양한 궤적을 수집하여, WebArena-Infinity 벤치마크에서 효율적인 회복 대비 쿼리 트레이드오프를 달성했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12485v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28247v1cs.RO공통 태그 Decision Making, Navigate, Diversity, Instruction Following

공간 트랜스포머로 추론 공간에서 AI 에이전트 집합체 제어

Controlling Collectives of AI Agents in Reasoning Space with Spatial Transformers

대규모 언어 모델(LLM)은 로보틱스에서 계획 및 내비게이션을 위한 흥미로운 새로운 패러다임을 제시하지만, 팀 규모가 커질수록 단순한 다로봇 과제에서도 실패한다. 본 논문은 추론 공간 피드백 제어로 대규모 에이전트형 로봇 집합체를 제어하기 위한 확장 가능하고 분산형 다로봇 아키텍처인 COMPASS를 제안한다. 피드백은 각 로봇에서 로컬로 생성되며, 공간 트랜스포머가 함대 전체의 다중 홉(multi-hop) 메시지를 집계하여 학습된 피드백 토큰으로 만든다. 실험 결과, 언어 모델 집합체는 입력 명령의 구조화된 다양성으로 성능 향상을 보이며, 이는 편향을 상쇄할 수 있다. 이 이점은 규모 전반에 걸쳐 유지된다. 중앙집중형 최신 LLM 정책 및 언어만 사용하는 통신 ablation과 비교했을 때, COMPASS의 결합 설계는 명령된 의도를 정확히 수행하는 응집력 있는 flocking formation을 결정적으로 생성함을 확인했다. 추론 피드백은 컴팩트한 학습된 토큰과 결합할 때 가장 잘 작동함을 보인다. ablation 실험은 원시 상태가 언어 채널에 나타나는 수작업 피드백이 응집력을 파괴함을 보여준다. COMPASS는 모호한 의미의 보지 못한 지시에 제로샷으로 일반화하며, 학습 규모의 최대 16배까지의 군집을 지휘하고, 자연어 명령 하에 최대 1024대의 로봇을 비행시킨다.

arXiv:2609.27353v1cs.CL공통 태그 Imitation Learning, Navigate, Instruction Following

행동을 유발하는 가이드: 멀티모달 웹 에이전트의 가이드-행동 상호 강화에 관한 오프라인 연구

Guides That Cause Actions: An Offline Study of Guide-Action Mutual Reinforcement in Multimodal Web Agents

웹 에이전트(Web agent)는 주로 라이브 환경에서 평가되는데, 실행 간에 환경 상태와 판정 모델이 드리프트(drift)하여 동일한 체크포인트가 동일한 점수를 재현하기 어렵기 때문에 학습(training) 현상에 대한 통제된 연구가 사실상 불가능합니다. 본 논문에서는 성공적인 WebArena 궤적에서 파생된 541개 태스크와 5,293개 스텝으로 구성된 오프라인 벤치마크인 WebMRE를 제시합니다. 이 벤치마크는 완전히 검증된 테스트 라벨과 환경 없이도 모든 실행에서 체크포인트를 동일하게 평가하는 결정론적 프로토콜을 갖추고 있습니다. 각 스텝은 인간 지향적인 가이드 문장과 그라운딩된(grounded) 행동을 결합하여, 웹 에이전트에서 이 둘 사이의 상호 강화(mutual reinforcement) 효과에 대한 최초의 연구를 가능하게 합니다. 세 개의 시드에 걸쳐 평균을 냈을 때, 이 효과는 두 모델 모두에서 두 디코딩 순서 모두에 걸쳐 유지되며 스케일링에 따라 증가합니다. 즉, 가이드를 공동 디코딩하면 행동 전용 기준선 대비 요소 선택 점수가 Qwen3.5-4B의 경우 0.9 및 0.2 포인트 상승하고, Qwen3.5-9B의 경우 1.7 및 2.2 포인트 상승합니다. 매개 분석(mediation analysis)에 따르면 가이드는 단순한 설명이 아닌 인과적 경로임이 밝혀졌습니다. 정답 가이드를 디코딩 접두 문맥(prefix)으로 강제하면 행동 정확도가 .422에서 .684로 상승하는 반면, 다른 스텝의 가이드를 주면 .055로 급락하며, 타깃을 변경한 패러프레이즈(paraphrase)도 이득의 절반을 회복하므로 이 경로가 라벨 문자열뿐만 아니라 인스트럭션의 의미를 전달함을 보여줍니다. 동일한 경로를 통해 재생 가능한 프로토콜에서만 계산 가능한 오프라인 보상(reward)이 생성되지만, 강력한 체크포인트로부터 이를 최적화하는 것은 아직 이득을 가져오지 못합니다. 본 연구에서 파인튜닝된 모델은 모든 오프라인 지표에서 제로샷(zero-shot)으로 실행된 GPT-5.5, Claude Opus 4.8 및 Gemini 3.5 Flash를 능가합니다.

arXiv:2609.27770v1cs.CL공통 태그 Decision Making, Navigate, Instruction Following

필터링을 통한 LLM 기반 자율 웹 에이전트 성능 향상

Improving LLM-based Autonomous Web Agents with Filtering

대규모 언어 모델(LLM) 기반의 자율 웹 에이전트는 다단계 추론 및 의사결정 능력을 바탕으로 다양한 웹 기반 작업을 자동화하여 상당한 주목을 받아왔다. 이러한 에이전트 개발에서 미해결 연구 과제 중 하나는 웹페이지 입력의 형식이다. 방대하고 종종 무관한 세부 정보를 포함하는 원시 HTML 소스 코드는 제한된 컨텍스트 윈도우(context window)를 가진 LLM에 어려움을 초래한다. 이러한 문제를 해결하기 위해, 본 연구에서는 먼저 WebArena (Zhou et al., 2023) 벤치마크에서 GPT-3.5 및 LLaMA-2-70B와 같은 기준선(baseline) 모델들을 재현하여 공통적인 실패 양상을 식별한다. 그런 다음 LLM 에이전트를 위해 무관한 문맥을 걸러내는 두 가지 검색 전략을 제안한다. 작업과의 관련성에 따라 HTML 요소들의 순위를 매기는 DeBERTa 기반 및 T5 기반 모델을 개발한다. 이들을 Mind2Web 궤적 데이터에서 파인튜닝(fine-tuning)한 후 WebArena로 전이한다. 실험 결과, DeBERTa 기반 모델은 WebArena에서 LLaMA-2-70B LLM 에이전트의 성공률을 1.97%에서 2.96%로 향상시키는 것으로 나타났다. 나아가, Mind2Web에서 0.52, WebArena에서 0.47의 재현율(recall)로 정답 요소를 검색할 수 있는 제로샷(zero-shot) ColBERT 기반 리트리버를 개발한다.

arXiv:2610.15782v1cs.CV공통 태그 Navigate, Instruction Following

정책 동기화 언어-행동 이중 부트스트래핑을 통한 내비게이션용 데이터 중심 재귀적 자기 개선

Data-Centric Recursive Self-Improvement for Navigation via Policy-Synchronized Language-Action Dual Bootstrapping

비전-언어 내비게이션은 에이전트(agent)가 자연어 지시를 따라 목표 위치에 도달해야 하므로, 고품질 언어 지도(supervision)가 필수적입니다. 인간의 어노테이션은 비용이 많이 들기 때문에, 기존 연구에서는 확장 가능한 데이터 합성 방법을 탐색해 왔습니다. 그러나 기존 방법들은 일반적으로 내비게이션과 지시문 생성을 위해 별도의 모델(model)을 사용하거나 특정 작업 전용 컴포넌트를 통해 두 작업을 결합하며, 대부분은 업데이트 전에 고정된 모델로 전체 궤적 코퍼스를 어노테이션하므로 생성된 지도 신호가 발전하는 정책보다 뒤처질 수 있습니다. 이에 따라, 본 연구에서는 공유 모델 내에서 비전-언어-행동 지시 추종과 비전-행동-언어 지시 생성을 통합하는, 정책 동기화 언어-행동 이중 부트스트래핑 기반 내비게이션용 데이터 중심 재귀적 자기 개선 프레임워크인 RSI-Nav를 제안합니다. 구체적으로, 지도 미세조정(supervised fine-tuning)을 통해 기본 역량을 확립한 후, RSI-Nav는 라벨이 없는 궤적을 작은 샤드(shard) 단위로 점진적으로 처리합니다. 현재 모델은 이러한 궤적에 대한 지시문을 생성하고, 이를 실행하여 목표 완료율과 경로 효율성을 평가하며, 조건을 충족하는 샘플을 유지한 뒤 다음 샤드를 처리하기 전에 즉시 모델 자체를 업데이트합니다. 이러한 샤드 단위 업데이트는 새로 생성되는 지도 신호가 진화하는 정책과 계속 일치하도록 유지합니다. 또한, 더 강력한 공간 추론이 내비게이션에 도움이 되므로 공간 이해 데이터도 통합합니다. 광범위한 실험을 통해 RSI-Nav가 R2R-CE에서 68.6% SR, RxR-CE에서 72.4% SR을 달성하는 동시에, 재귀적 진화 후 더 강력한 지시 생성 효용과 완만한 수준의 공간 이해 개선을 제공함을 입증합니다.

arXiv:2610.10635v1cs.AI공통 태그 Navigate, Instruction Following

내비게이터의 언어로 말하기: 동결된 항공 VLN 에이전트를 위한 궤적 기반 지시 번역

Speaking the Navigator's Language: Trajectory-Grounded Instruction Translation for Frozen Aerial VLN Agents

항공 비전-언어 내비게이션(VLN) 에이전트는 일반적으로 세부 사항이 풍부하고 궤적에 정렬된 명령으로 학습되는 반면, 사용자는 짧고 의도 중심적인 지시를 내립니다. 동결된(frozen) OpenFly 내비게이터에서 이러한 지시 간극(\emph{instruction gap})은 성공률(SR)을 $31.03\%$에서 $11.33\%$로 떨어뜨립니다. 번역기 학습을 확장하기 위해, 우리는 사람이 작성한 스타일 예시로 언어 모델에 프롬프트를 제공하여 원래 명령을 쌍을 이루는 의도 중심의 약한(Weak) 명령으로 변환하며, 이는 $15.27\%$의 SR을 산출합니다. 우리는 내비게이터를 동결된 상태로 유지하고 궤적 결과로부터 학습함으로써 약한 입력을 에이전트가 실행 가능한 명령으로 번역하는 프런트엔드인 궤적 기반 지시 번역기(\textbf{Trajectory-Grounded Instruction Translator, TGIT})를 소개합니다. 결과적으로 약한 명령으로 학습된 번역기는 약한 입력의 SR을 $37.93\%$로 끌어올리고 실제 사람의 지시로 제로샷 전이($11.33\%{\rightarrow}32.51\%$)됩니다. 또한 배제된(held-out) OpenFly를 개선($4.95\%{\rightarrow}20.79\%$)하고 CityNav 및 AirVLN에서 성능 회복을 이끌어냅니다.

arXiv:2610.10787v1cs.RO공통 태그 Navigate, Instruction Following

NavGPT-3: 계층적 내비게이션 런타임에서 문맥 활용하기

NavGPT-3: Harnessing Context in a Hierarchical Navigation Runtime

장기적(long-horizon) 에이전트 강화학습(RL)으로 학습된 언어 모델은 추론을 통해 지식을 일반화하고, 정밀한 행동을 표현하며, 여러 단계에 걸쳐 목표를 추구할 수 있어 임바디드 에이전트(embodied agent)가 이해하고 결정할 수 있는 한계를 끌어올립니다. 그러나 물리적 상호작용은 조밀하고 지연 시간이 짧은 제어를 제공하는 행동 정책(action policy)의 영역으로 남아 있습니다. 본 논문에서는 두 모델을 연결하는 하네스(harness)이자 그 위에 구축된 OS 유사 런타임을 갖춘 NavGPT-3을 제시합니다. 추론, 행동 및 모니터링은 자체 문맥, 도구 및 권한을 가진 스레드로 실행되며, 런타임은 이를 스케줄링하고 로봇의 모션을 제어할 스레드를 결정하여 인터럽트 및 스레드 전환을 통해 로봇이 갑작스러운 현실 세계의 이벤트에 반응할 수 있도록 합니다. 그 아래에서 1,928만 개의 예제로 학습된 당사의 행동 정책인 NavGPT VLA는 코덱 할당을 사용하여 장면 변화에 비례하여 시각 토큰을 할당합니다. 8B 모델 단독으로도 R2R-CE에서 74.51 SR을 달성하고 RxR-CE에서 78.19 SR로 선두를 달립니다. 완전한 하네스를 갖춘 NavGPT-3은 R2R-CE에서 최고 성능(SOTA, 81.51 SR)을 기록하며 최초로 자율 에이전트를 인간 수준으로 끌어올렸습니다. 즉, RxR-CE에서 에피소드당 인간의 약 3분 대비 1분 22초 만에 성공률(90.43 대 90.4 SR)과 경로 충실도(78.47 대 77.7 nDTW) 모두 인간 팔로워와 일치하는 성능을 보였습니다. 본 연구는 하네스 설계와 두 모델 간의 상호작용을 포괄적으로 제거(ablation) 분석하여, 도구와 행동 정책이 언어 모델 추론에서 물리적 제어로 이어지는 경로를 어떻게 형성하는지 보여줍니다. NavGPT VLA가 경로를 실행할 때 추론 루프가 단축되고 시스템의 최소 반응 시간은 언어 모델 결정당 3~19초에서 행동 정책 단계당 0.5~1초(1~2 Hz)로 감소합니다. 이러한 결과는 이러한 임바디드 인터페이스 설계가 프론티어 언어 모델 지능과 저수준 물리적 제어를 연결하는 데 핵심적임을 보여줍니다. 모든 모델, 코드 및 평가 기록을 공개할 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.