arXiv:2606.32014v1 cs.CL

스킬 증류를 통한 브라우저에서의 확장 가능한 행동 복제

Scalable Behaviour Cloning on Browser Using via Skill Distillation

Kaisen Yang, Zheng Jiang, Yuzhao Peng, Houde Qian, Boshi Zhang, Youjie Zheng, Shijin Hong, Qingle Liu, Ruoyu Han, Bohan Lyu, Bingxiang He, Eren Cai, Calvin Xiao, Qinhuai Na

제출 2026-06-30

한국어 초록

인터넷 사용자들은 소프트웨어 개발 및 문서 편집부터 검색, 양식 작성, 기업 워크플로우에 이르기까지 웹 브라우저를 통해 광범위한 숙련된 작업을 공동으로 수행하며, 이는 인간의 브라우징을 재사용 가능한 브라우저 스킬의 확장성 높지만 충분히 활용되지 않은 원천으로 만든다. 우리는 브라우저 에이전트의 병목이 저수준 조작이 아닌 불완전한 정보 하에서의 의사결정에 있으며, 에이전트에게 부족한 사전 지식(prior)은 이미 인간 상호작용 궤적에 암묵적으로 내포되어 있다고 주장한다. 이에 따라 우리는 스킬 증류를 통한 브라우저 에이전트의 확장 가능한 행동 복제(behaviour cloning)를 연구하며, 사용자 상호작용 궤적을 에이전트가 직접 읽고, 검색하고, 재사용하고, 조합할 수 있는 간결한 자연어 스킬로 변환한다. 나아가 증류된 스킬을 스킬 그래프로 구성하여 성장이 무한한 누적이 아닌 통합을 통해 이루어지도록 한다. 이는 브라우저 에이전트의 확장성이 수동으로 설계된 태스크보다 인터넷 사용자들이 이미 표현한 집단적 스킬에서 더 많이 비롯될 수 있음을 시사한다. 프로젝트는 https://lab.einsia.ai/browserbc/ 에서 확인할 수 있다.

원문 초록

Internet users collectively perform an enormous range of skilled work through web browsers, from software development and document editing to search, forms, and enterprise workflows, making human browsing a highly scalable but under-exploited source of reusable browser skills. We argue that the bottleneck for browser agents is decision-making under incomplete information rather than low-level operation, and that the priors agents lack are already implicit in human interaction traces. We therefore study scalable behavior cloning for browser agents via skill distillation, converting user interaction trajectories into compact natural-language skills that agents can read, retrieve, reuse, and compose directly. We further organize the distilled skills into a skill graph so that growth proceeds through consolidation rather than unbounded accumulation. This suggests that the scalability of browser agents may come less from manually designed tasks and more from the collective skills already expressed by internet users. Our project is available at: https://lab.einsia.ai/browserbc/.

요약

브라우저 에이전트의 핵심 병목이 저수준 조작이 아닌 불완전한 정보 하에서의 의사결정임을 규명하고, 인간의 브라우징 궤적을 재사용 가능한 자연어 스킬로 증류하는 행동 복제(behaviour cloning) 프레임워크 BrowserBC를 제안한다. 증류된 스킬을 스킬 그래프로 구조화해 무한 누적 없이 확장 가능하도록 설계하였으며, WebArena-Hard 및 ClawBench 벤치마크에서 상호작용 효율성과 태스크 성공률 향상을 입증했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.32014v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13481v1cs.AI공통 태그 Decision Making, Knowledge Distillation

분기형 온-정책 증류

Branching On-Policy Distillation

온-정책 증류(OPD, On-policy distillation)는 학생 모델이 생성한 궤적에 대해 교사 모델의 지도를 제공하지만, 단일 궤적은 각 결정 시점에서 하나의 연속 생성만을 실현하므로 유한한 샘플링 예산 내에서 지도 범위를 제한합니다. 본 논문에서는 학생 모델의 불확실성과 교사-학생 간 불일치를 활용하여 유익한 결정 지점을 선택하고, 공유된 접두 문맥(prefix)으로부터 학생 정책의 연속 생성을 재샘플링하며, 메인 궤적과 분기 모두에 토큰(token) 수준의 교사 지도를 적용하는 BranchOPD(분기형 온-정책 증류)를 제안합니다. BranchOPD는 수학 분야에서는 토큰 수준 결정에서, 에이전트(agent) 과제에서는 턴 내부 결정에서 동작합니다. 공유된 접두 문맥 재사용은 7개의 독립적인 궤적과 비교했을 때 ALFWorld에서 약 19%, WebShop에서 약 31%만큼 학생이 생성하는 토큰 비용을 절감합니다. 또한 프로토콜 제약 조건 하에서 목표 지향적 지도를 활용하여 반복 및 낭비되는 생성을 완화하는 프로토콜 경계 복구(PBR, protocol-boundary repair)를 도입합니다. BranchOPD는 평가된 모든 벤치마크(benchmark)에서 바닐라 OPD 및 멀티 롤아웃(Multi-Rollout) OPD(n=7)보다 우수한 성능을 보였으며, 16개 샘플링 답변에 대한 평균 수학 정확도(avg@16)에서 18.55%p, 평균 ALFWorld ID/OOD 성공률에서 13.8%p의 성능 향상을 기록했습니다. 메커니즘 분석 및 선택 절제 연구(ablation study)에 따르면, 불확실한 결정 지점에서 분기하는 것이 후속 행동 범위를 확장하며 무작위 선택이나 턴 시작 분기보다 뛰어난 성능을 보임을 확인했습니다.

arXiv:2610.02670v1cs.LG공통 태그 Decision Making, Knowledge Distillation

LEAP: LLM 에이전트를 위한 효율적인 행동 제안 학습

LEAP: Learning Efficient Action Proposals For LLM Agents

대규모 언어 모델(LLM) 에이전트는 롤아웃(rollout) 과정이 느린 것으로 알려져 있습니다. 에이전트는 한 번에 한 단계씩 작업을 완료합니다. 각 단계에서 에이전트는 추론을 수행한 후 실행할 행동을 선택합니다. 다음 단계와 행동은 이전 단계가 끝날 때까지 시작될 수 없습니다. 추측 디코딩(speculative decoding)은 추론 토큰을 초안 작성(drafting)하고 검증함으로써 추론 단계에서의 롤아웃 속도를 가속합니다. 최근 연구들에서는 행동 단계에도 유사한 아이디어를 적용하기 시작했습니다. 이러한 연구들은 타깃 모델(target model)이 검증할 수 있도록 행동 제안 초안을 작성하기 위해 기존에 구축된 상용 모델(off-the-shelf model), 주로 대형 모델을 사용합니다. 대형 초안 모델은 타깃과 더 자주 일치하지만 제안을 작성하는 데 더 오랜 시간이 걸리는 반면, 소형 상용 모델은 빠르지만 타깃과 동일한 결정을 내리는 경우가 드뭅니다. 본 논문에서는 더 일반적인 질문을 던집니다. 행동 추측의 엔드투엔드(end-to-end) 가속을 결정하는 요인은 무엇인가? 이에 답하기 위해, 본 연구에서는 추측 라운드에 대한 지연 시간(latency) 프레임워크를 개발합니다. 이 프레임워크는 한 라운드에서 얻는 이득과 소요되는 비용을 비교합니다. 이득은 초안 모델이 타깃을 얼마나 잘 예측하는지, 그리고 작업이 종료되기까지 얼마나 많은 단계를 거칠 수 있는지에 따라 달라집니다. 비용은 초안 작성, 타깃의 검증 대기 시간, 도구 실행에서 발생합니다. 이 프레임워크를 바탕으로, 본 연구에서는 초안 모델의 크기를 작게 유지하면서 타깃의 행동 시퀀스로 학습(training)시켜 정확도를 높이는 LEAP(Learning Efficient Action Proposals)을 소개합니다. 0.6B 크기의 소형 모델을 사용하는 LEAP은 대부분의 결정에서 타깃과 일치하며, 작업 성공률의 체계적인 변화 없이 에이전트의 엔드투엔드 실제 소요 시간(wall clock time)을 최대 60% 단축합니다. 다양한 데이터셋, 타깃 모델 및 초안 모델에 걸쳐 본 프레임워크는 측정된 속도 향상의 대부분을 설명합니다. 또한 사전 트레이스 수집 없이도 초안 모델을 온라인 학습할 수 있으며 오프라인 학습의 성능과 일치함을 입증하여, LEAP이 실제 환경에 배포하기에 실용적임을 보여줍니다.

arXiv:2609.35835v2cs.MA공통 태그 Decision Making, Imitation Learning

Amadeus: 인간 모델들이 만날 때

Amadeus: When Models of People Meet

AI의 지속적인 발전 속에서, 인간을 본떠 에이전트(agent)를 모델링하고 이 에이전트들을 활용해 합성 상호작용(synthetic interaction)을 수행하는 가능성이 주목받고 있습니다. 이러한 모델은 실제 대응 인물 간의 상호작용이나 잠재적으로 더 큰 규모의 상호작용을 예측하는 데 사용될 수 있습니다. 본 논문에서는 체스를 통해 통제된 환경에서 이 질문을 검증합니다. 8명의 엘리트 체스 선수를 대상으로 직접적인 일대일 대국을 제외(seal)한 뒤, 서로 다른 방식을 사용하여 각 선수를 독립적으로 학습하고, 유보된 2인 대국(dyad)에서 결과 모델들을 결합합니다. 생성된 상호작용을 평가하기 위해 오프닝 계열(opening-family) 총변동거리(total variation distance)와 승-무-패(win-draw-loss, WDL) 총변동거리라는 두 가지 측정 지표를 사용합니다. M1은 주로 WDL 충실도를 향상시키는 반면 오프닝 계열 개선 폭은 작은 반면, M2는 WDL-TV에 거의 영향을 미치지 않으면서 훨씬 더 큰 오프닝 계열 개선을 이끌어냅니다. M2 환경의 오프닝 계열 행동에서, 학습된 8명의 선수 정체성을 올바르게 할당했을 때 가능한 모든 $8! = 40{,}320$개의 할당 중 가장 근접하게 일치했습니다. 이러한 결과는 이전에 본 적 없는 상호작용의 일부 특성을 독립적으로 학습된 개인들로부터 복원할 수 있음을 보여줍니다. 여기서 관찰된 부분적인 복원은 결합적 상호작용 복원의 근본적인 한계라기보다는 현재의 개별 모델링 방식이 지닌 한계를 반영한 것일 수 있습니다. 두 메커니즘을 결합한 추가적인 사후(post-hoc) 방법은 두 측정 지표를 모두 향상시켰으며, 이는 이러한 행동 특성에 걸친 복원이 반드시 상호 배타적인 것은 아님을 시사합니다.

arXiv:2609.40111v2cs.AI공통 태그 Decision Making, Imitation Learning

에이전트 오류 데이터셋: 실패 분석 및 오류 인식 사후 학습을 위한 50,000개 오류-진단 쌍 확장

Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training

실패한 대규모 언어 모델(LLM) 에이전트 롤아웃(rollout)은 최종 보상(reward) 이상의 정보, 즉 에이전트가 이용할 수 있었던 관찰값, 에이전트가 선택한 행동, 그리고 환경(environment)의 반응을 담고 있습니다. 이러한 경험을 학습(training)에 재사용하려면 수정해야 할 결정을 식별하고 구체적인 대안을 검증해야 합니다. 본 연구에서는 텍스트 기반 에이전트 시스템의 33개 환경, 19개 하네스 제품군, 23개 정책 모델에 걸친 9,961개 소스 작업에서 수집된 50,228개의 오류-진단 쌍으로 구성된 에이전트 오류 데이터셋(Agent Error Dataset, AED)을 소개합니다. 우리는 원래 롤아웃을 반복하지 않고도 다양한 설정 간 실패 분석 및 재진단을 지원할 수 있도록 소스 추적 기록과 실행 메타데이터를 보존합니다. 본 논문의 5단계 에이전틱 오류-학습(Agentic Error-to-Training, AET) 파이프라인은 자연스럽게 발생한 실패를 수집하고, 진단 및 제안된 수정 사항을 생성하며, 기록된 증거를 바탕으로 이를 검증합니다. 리플레이(replay)가 지원되는 환경에서는 일치하는 실행 설정 하에 동일한 체크포인트(checkpoint)로부터 원래 행동을 재시도한 결과와 수정 사항을 비교합니다. 그런 다음 진단 및 액터 복구를 위한 별도의 학습 뷰를 구성합니다. 3,062개의 매칭된 리플레이 쌍 전반에서 첫 번째로 제안된 수정 사항은 검증기 통과율을 18.4%에서 51.1%로 높여 32.7%p의 향상을 달성했습니다. 별도로 동결된 진단 릴리스를 사용하여 1,656개 소스 작업에 대해 전체 진단 미세조정(fine-tuning)을 수행한 결과, 943개 케이스의 홀드아웃(holdout)에서 3개 시드 평균으로 Qwen3-8B의 내부 교사 라벨과의 정확한 단계 일치율이 47.2%에서 63.6%로 향상되었습니다. 이 비교에서 가장 강력한 프롬프트 기반 참조 모델은 54.7%를 기록했으며, 4단계로 증가하는 학습 세트 크기마다 평균 일치율이 향상되었습니다. 액터 학습 레시피에 대한 단일 시드 비교에서, 행동 전용 복구 학습은 WebShop-lite에서 성공 전용 학습보다 6.67%p 더 높은 점수를 기록했습니다.

arXiv:2610.01278v1cs.AI공통 태그 Decision Making, Knowledge Distillation

SCOPE-AD: 진단 에이전트를 위한 에너지 기반 모델 기반 순차적 비용 인지 순서-신념 계획

SCOPE-AD: Sequential cost-aware ordinal-belief planning with energy-based models for diagnostic agents

알츠하이머병(AD) 진단은 서로 다른 검사 비용과 환자 부담 속에서 순차적인 증거 수집을 필요로 합니다. 고정된 양식(fixed-modality)을 사용하는 예측 모델은 어떤 검사를 수집해야 할지, 혹은 언제 확보된 증거가 진단에 충분한지를 함께 결정하지 못합니다. 본 논문에서는 인지 정상(CN), 경도 인지 장애(MCI), 알츠하이머병 사례의 비용 인지 분류를 위한 SCOPE-AD(Sequential Cost-Aware Ordinal-Belief Planning with Energy-Based Models for Diagnostic Agents)를 제안합니다. 마스크 인지 순서 모델은 순서화된 CN-MCI-AD 연속선 상의 불확실성을 표현합니다. 후향적 학습 기록은 에너지 기반 티처를 위한 표본화된 벨만 목표를 제공하며, 이 티처의 행동 분포는 Qwen 정책으로 증류됩니다. 실제 배포 환경에서 에이전트는 미수집된 값에 접근하지 않고 가용성 및 예산 제약 조건 하에서 수집 또는 진단 행동을 선택합니다. 각 수집 단계 후에는 다음 결정을 내리기 전에 증거와 순서-신념이 업데이트됩니다. ADNI 데이터셋에서 SCOPE-AD는 평균 수집 비용 $50.46로 77.70%의 Macro-F1을 달성하여, 평가된 가장 강력한 기준선보다 9.34%포인트 높은 성능을 기록했습니다. 모든 양식을 활용한 평가는 수집 비용을 116.7배 증가시키면서도 Macro-F1은 단 1.89%포인트 올리는 데 그쳤습니다. 이러한 결과는 비용 효율적인 진단을 위한 선택적 수집 전략을 뒷받침합니다.

arXiv:2609.40253v2cs.CV공통 태그 Decision Making, Knowledge Distillation

ComputerSD: 컴퓨터 사용 에이전트를 위한 실시간 피드백 기반 온라인 자기 증류

ComputerSD: Online Self-Distillation from Real-Time Feedback for Computer-Use Agents

온라인 학습(online training)은 컴퓨터 사용 에이전트(computer-use agent, CUA)가 실행 가능한 환경과의 상호작용을 통해 성능을 개선할 수 있게 한다. 그러나 기존 방법들은 주로 희소한 결과 보상(sparse outcome reward)에 의존하여 중간 행동에 대한 감독(supervision)을 제공하지 못한다. 온-정책 자기 증류(on-policy self-distillation, OPSD)는 특권적 재점수화(privileged rescoring)를 통해 토큰 수준의 학습 신호를 제공하지만, 이를 CUA 온라인 학습에 직접 적용하면 두 가지 문제가 발생한다: 고정된 가이던스(guidance)가 학생(student) 모델의 현재 상태와 어긋날 수 있다는 점, 그리고 가이던스로 인해 유발된 확률 변화가 단계 수준의 정확성(step-level correctness)과 충돌할 수 있다는 점이다. 본 논문에서는 실행된 GUI 전환으로부터의 실시간 피드백을 정책 학습을 위한 가이던스로 변환하는 CUA용 온라인 자기 증류 방법인 ComputerSD를 소개한다. 미세조정된(fine-tuned) GUI 분석기는 각 행동 이후 가이던스와 단계 수준의 가치 점수(value score)를 생성한다; 가이던스는 특권적 맥락(privileged context)을 제공하고, 점수는 그 결과로 생성되는 OPSD 신호를 조절한다. ComputerSD는 완전히 비동기적인(asynchronous) 학습 프레임워크에서 토큰 수준의 OPSD와 궤적(trajectory) 수준의 GRPO를 공동으로 최적화한다. OSWorld-Verified에서 ComputerSD는 범용 Qwen3-VL-8B-Thinking과 특화된 EvoCUA-8B 백본에서 각각 결과 전용(outcome-only) GRPO보다 1.9%p 및 4.1%p 더 높은 성능을 보인다. 분포 외(out-of-distribution) 환경에서의 평가는 ComputerSD의 일반화 가능성(generalizability)을 추가로 뒷받침한다. 이러한 결과는 CUA를 위한 온라인 자기 증류를 통한 실시간 피드백 학습의 효과를 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.