arXiv:2606.17645v1 cs.AI

도메인을 넘어: 전이 가능한 상호작용 패턴을 통한 웹 스킬 재사용

Beyond Domains: Reusing Web Skills via Transferable Interaction Patterns

Shiqi He, Yue Cui, Feijie Wu, Xinyu Ma, Jiaheng Lu, Yaliang Li, Bolin Ding, Mosharaf Chowdhury

제출 2026-06-16

한국어 초록

대규모 언어 모델(LLM) 웹 에이전트는 주로 툴 호출기(tool caller)로 배포됩니다: 매 턴마다 모델은 새로운 페이지 관찰 결과를 읽고 하나의 구조화된 툴 액션을 생성합니다. 모든 액션이 저수준 프리미티브(primitive)인 경우, 시계(horizon)는 빠르게 길어지고 정책 결정을 위한 LLM 완료 작업도 증가하여 Mind2Web 및 WebArena와 같은 벤치마크에서 지연 시간과 비용을 주도하게 됩니다. 따라서 최근 시스템들은 반복되는 상호작용 조각을 웹 스킬로 래핑합니다: 성공적인 궤적이나 도출된 프로그램에서 빌드된 호출 가능한 툴로서, 하나의 호출이 여러 프리미티브를 대체할 수 있습니다. 그러나 기존 스킬 라이브러리는 여전히 주로 명령어 유사도나 대략적인 사이트 메타데이터에 의해 트리거되므로, 홀드아웃 사이트에서 낮은 스킬 재사용율을 보이며 잠재적인 단계 및 토큰 감소 효과를 충분히 활용하지 못합니다. 우리는 레이아웃 구조를 특정 요소 참조가 아닌 매칭하여 사이트 간에 재사용 가능한 웹 스킬을 학습하고 전이하는 에이전트인 SkillMigrator를 제안합니다. 각 도출된 스킬은 전이 가능한 상호작용 패턴(TIP)으로 저장됩니다: 도출 시점의 스냅샷에 대한 구조적 스케치와 짝을 이룬 스킬입니다. 테스트 시점에 SkillMigrator는 레이아웃 유사도로 TIP를 검색하고 라이브 페이지에서 해당 참조를 그라운딩합니다. 나머지 스택은 표준적입니다: 안정적인 참조가 포함된 접근성 스냅샷 관찰, 그리고 프리미티브와 스킬 호출에 대한 고정된 툴 호출입니다. 최신 방법론들과 비교했을 때, SkillMigrator는 동일한 성공률에서 WebArena와 Mind2Web 모두에 걸쳐 성공적인 궤적의 평균 LLM 액션 수를 8-10% 감소시킵니다.

원문 초록

Large language model (LLM) web agents are usually deployed as tool callers: each turn, the model reads a fresh page observation and emits one structured tool action. When every action is a low-level primitive, horizons grow quickly and so do policy-facing LLM completions, dominating latency and cost on benchmarks such as Mind2Web and WebArena. Recent systems therefore wrap repeated interaction fragments as web skills: callable tools built from successful trajectories or induced programs, so one call can replace several primitives. However, prior skill libraries are still triggered mainly by instruction similarity or coarse site metadata, which yields low skill reuse on held-out sites and leaves much of the potential step and token reduction on the table. We present SkillMigrator, an agent that learns reusable web skills and transfers them across sites by matching layout structure rather than specific element references. Each induced skill is stored as a transferable interaction pattern (TIP): the skill paired with a structural sketch of the snapshot at induction time. At test time, SkillMigrator retrieves TIPs by layout similarity and grounds their references on the live page. The rest of the stack is standard: accessibility-snapshot observations with stable references, and fixed tool calling over primitives plus skill invocations. Compared with the state-of-the-art approaches, SkillMigrator reduces the average LLM-action count on successful trajectories by 8-10% across both WebArena and Mind2Web at matched success rate.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.17645v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10942v2cs.AI공통 태그 Decision Making, Benchmarking, Large Language Model

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

arXiv:2610.15710v1cs.AI공통 태그 Decision Making, Benchmarking, Large Language Model

제안된 것은 대체된 것이 아니다: 메모리 폐기(memory-retirement) 게이트로서의 시스템원(System One) 모델에 대한 사전등록 평가

Suggested Is Not Superseded: A Pre-Registered Evaluation of a System-One Model as a Memory-Retirement Gate

어시스턴트의 장기 기억(long-term memory)에는 새로운 발화(utterance)가 기존에 저장된 주장(claim)을 언제 폐기(retire)할지 결정하는 게이트(gate)가 필요하다. 이 단계에 대한 벤치마크 레이블은 쌍(pair)을 변경되었는지 아닌지로만 표시하므로, 확정된 변경(established change)에 따라 작동하는 게이트와 단서(hint)에 따라 작동하는 게이트를 구별하지 못한다. 우리는 이 둘을 구분하는 태스크 계약(task contract)을 작성하여(SUPERSEDED 대 NEEDS-CONFIRMATION 대 COMPATIBLE), STALE(변경 쌍과 동일 사용자 대조군으로 구성)로부터 만들어진 500개의 테스트 쌍에 대해 세 명의 LLM 주석자(annotator)와 두 명의 인간 심판자(저자 1명과 추가 주석자 1명; 출처(provenance)를 명시함)로 레이블을 부여하고, 사전등록된 가설(pre-registered hypotheses) 하에서 타입이 지정된(typed) "시스템원(System One)" 결정 모델인 Jev를 평가한다. STALE이 변경되었다고 표시한 179개의 테스트 쌍 중 72개가 계약에서 정한 확정된 변경의 기준을 충족한다. Jev는 동일 대화 내 변경되지 않은 141개의 사례에서 단 한 번도 주장을 폐기하지 않았다. Jev의 실패는 조기 폐기(premature retirement)이다: 이진 게이트(binary gate)는 변경이 단지 제안(suggested)된 것에 불과한 주장의 39.2%를 폐기한다. 삼항 결정(three-way decision)은 이를 15.3포인트(point)의 탐지 비용(detection cost)으로 15.5%까지 낮추는데, 이는 우리가 사전등록한 10포인트 예산(budget)을 초과하며, 이진 게이트 자체의 임계값 프런티어(threshold frontier) 위에 위치한다; 이러한 판정(verdict)은 골드 레이블(gold label)에 대한 세 가지 해석(readings) 모두에서 유지된다. 두 번째 주석자의 레이블을 기준으로 채점한 보류된(held-out) 볼트(vault)에서, 불확실한 사례를 추론 모델(reasoning model)로 에스컬레이션(escalate)하고 개발(development) 데이터에서 가장 우수했던 캐스케이드(cascade)는 단순히 임계값을 높이는 것과 구별되지 않았다(조기 폐기 비율 26.8% 대 개발 데이터에서의 6.5%). 이 격차(gap)의 일부는 골드 레이블에서 비롯된다: 해당 주석자의 해석에 비추어 볼 때, LLM 다수결(majority) 골드는 동일 계열(same-family)의 에스컬레이션 모델과 오류 대부분을 공유하며, 이진 레이블에 대한 한 아이덴티티(identity)는 이러한 공유된 오류가 얼마나 가려지는지를 보여준다. 나머지는 개발 데이터에서의 소규모 샘플 선택(small-sample selection)에 기인한다. 빌더(builder)들에게 이는 이진 점수(binary score)를 삭제(delete) 동작에 바로 연결해서는 안 된다는 것을 의미한다: 제안된 변경은 보류 중인 증거(pending evidence)로 라우팅(route)하고, 이 정도 규모의 개발 데이터에서 선택된 캐스케이드를 신뢰하지 말아야 한다.

arXiv:2610.15993v1cs.AI공통 태그 Decision Making, Benchmarking, Large Language Model

핸드오프 곡선: 멀티턴 LLM 라우팅에서의 초기 선택, 사후 핸드오프 및 지도 타깃

Handoff Curves: Initial Selection, Later Handoff, and Supervision Targets in Multi-turn LLM Routing

본 연구에서는 여러 턴(turn)에 걸친 대규모 언어 모델(LLM) 태스크에서 초기 모델(model) 선택, 사후 핸드오프(handoff), 그리고 학습(training) 타깃이 성공률과 비용에 미치는 영향을 연구합니다. 핸드오프 단계 변화에 따른 태스크 성공률과 비용을 기록하는 핸드오프 곡선을 활용하여 여러 라우터 아키텍처를 비교합니다. 연구진이 구축한 데이터셋(dataset)은 BFCL, MultiWOZ, $τ$-retail 전반에 걸친 3개 Qwen 모델의 34,204건의 완전한 실행 기록을 포함하며, 라우팅 결정을 위한 오프라인 지도 정보를 제공합니다. 주요 비교 분석에서 Qwen3.5 35B-A3B를 시작 모델로 사용했을 때, 사후 핸드오프를 허용하는 것은 BFCL 또는 MultiWOZ에서 초기 선택 대비 효용 개선을 보이지 못했으며 다양한 비용 가중치 범위에 걸쳐 BFCL에서 비용을 증가시켰습니다. 지도 타깃을 변경하면 자체 데이터셋과 TwinRouterBench 모두에서 라우터 성능이 향상됩니다. 자체 데이터셋의 경우 노이즈가 있는 학습 성공 곡선을 단조 적합(monotone fit)으로 대체함으로써 보고된 작동 지점 전반에 걸쳐 동일한 비용에서 성공률이 0.2~4.1%포인트 향상되었습니다. TwinRouterBench에서는 남은 작업 및 앞으로 닥칠 어려운 단계에 필요한 모델 성능을 기술하는 타깃을 구성했습니다. 벤치마크의 단계별 라벨로 학습하는 것과 비교하여, 이러한 타깃은 전체 정적 뱅크에서 궤적 통과 점수를 7.8%포인트, 비용 절감 효과를 6.3%포인트 높였습니다. 이 타깃으로 학습된 라우터의 실제 배포에서는 인스턴스당 0.59달러의 라우터 비용으로 100개 인스턴스 중 79개를 해결했습니다.

arXiv:2610.13570v1cs.AI공통 태그 Computational Efficiency, Benchmarking, Large Language Model

추론 모델의 오버씽킹에 대한 최적 추론 종료 기법의 파레토 프론티어 구축

Constructing Pareto Frontiers of Optimal Reasoning Termination Methods for Overthinking in Reasoning Models

추론 모델은 테스트 시간 스케일링(test-time scaling)의 이점을 얻을 수 있지만, 지속적인 추론은 비효율적이거나 오히려 해로울 수 있으며, 이를 오버씽킹(overthinking) 현상이라고 부릅니다. 전체 추론(full thinking)을 기준으로 한 평가는 정확도와 토큰 사용량을 비교하지만, 오버씽킹의 심각도 및 각 전략의 이론적 완화 잠재력에 대한 기준이 부족합니다. 모델-작업 수준에서 오버씽킹의 특성을 규명하기 위해, 본 연구에서는 먼저 고정된 샘플링 추론 궤적을 따라 보존된 여러 접두사(prefix)로부터 반복적으로 답변을 생성하는 단계별 절단 프로빙(Step-wise Truncation Probing, STP)을 도입합니다. 각 궤적에서 최대 실증적 정확도에 도달하는 가장 이른 측정 위치를 기준으로 삼아, 이후 생성된 추론 토큰의 비율을 오버씽킹 비율(Overthinking Ratio)로, 해당 기준점 대비 전체 추론까지의 정확도 하락을 정확도 저하(Accuracy Degradation)로 각각 정의합니다. 둘째로, 다양한 종료 전략의 이론적 완화 잠재력을 정량화하기 위해 동적 라우팅(dynamic routing), 고정 예산(fixed budgets), 동적 조기 종료(dynamic early exit)를 통합된 프레임워크 내에서 정식화합니다. 이 통합 프레임워크를 기반으로 완전한 STP 측정값을 활용하여 공통의 정규화된 추론 토큰 예산 하에서 각 전략에 대한 토큰-정확도 파레토 프론티어(Pareto frontier)를 구축합니다. 나아가 6개 모델과 4개 벤치마크 그룹에 걸쳐 705억 개의 추론 토큰 및 해당 프로빙 측정값을 생성한 STP 프로세스로부터 구축된 재사용 가능한 벤치마크인 OTBench를 개발합니다.

arXiv:2610.10608v1cs.CR공통 태그 Decision Making, Benchmarking, Large Language Model

조사 실패로부터 신뢰할 수 있는 SOC 에이전트로: LLM 기반 경보 분류의 이해와 개선

From Investigation Failures to Reliable SOC Agents: Understanding and Improving LLM-Based Alert Triage

보안관제센터(SOC)는 대량의 경보를 분류(triage)해야 하지만 이들 대부분은 무해하며, 그 과정에서 놓친 공격은 조사되지 않은 채 방치될 수 있습니다. 도구를 사용하는 대규모 언어 모델(LLM) 에이전트(agent)는 분류 중에 증거를 수집할 수 있지만, 추론 전략이 무엇을 수집할지 결정하는 방식과 경보를 종결하기에 조사가 충분한 시점을 결정하는 방식은 여전히 명확하지 않습니다. 본 연구에서는 단일 패스 도구 사용, 반복적 검색, 샘플링된 조사, 자체 검토, 명시적 검증에 걸친 다섯 가지 대표적인 접근 방식을 조사합니다. 이 연구를 지원하기 위해 실시간 SIEM을 통해 엔터프라이즈 텔레메트리를 재생하고 각 시스템이 증거를 검색하도록 요구하는 인터랙티브 벤치마크인 ALERT-BENCH를 구축했습니다. 다단계 공격 시나리오에서 발생한 1,247개의 경보 전반에서 모든 접근 방식은 공격 관련 경보의 최소 40.4%를 놓쳤습니다. 추적 분석 결과, 검색에서 레코드가 반환되지 않을 때 공격 경보가 기각될 가능성이 더 높고, 동일 컨텍스트 검토는 순 보정 효과가 음수(-)이며, 기각이 에스컬레이션보다 일관되게 더 강력한 조사를 거치지 않는 것으로 나타났습니다. 이러한 발견을 바탕으로, 독립적인 이의 제기 전에 명시적으로 제안된 결정을 요구하고 기각 전 더 엄격한 증거 요건을 요구하는 멀티 에이전트 프레임워크인 AIDA(Adversarial Investigation and Dialectical Analysis)를 설계했습니다. AIDA는 추가 전용 조사 원장(Investigation Ledger)에 조사 기록을 보존하고 이의 제기 과정을 별도의 추론 컨텍스트로 유지합니다. 별도의 판정관(Judge)은 제안된 결정과 이의 제기를 증거와 대조하여 판정하며, 경보를 해결하거나 증거가 누락된 경우 추가 라운드를 요청합니다. 동일한 경보에서 AIDA는 연구된 접근 방식들의 0.371~0.744와 비교하여 0.958의 F1 점수를 달성했으며, 경보의 18.4%를 분석가에게 에스컬레이션하면서도 위음성률(false-negative rate)을 40.4%에서 3.1%로 낮췄습니다. 이러한 결과는 증거 검색과 결정 검토를 구조화함으로써 에이전트 기반 SOC 분류를 실질적으로 개선할 수 있음을 보여줍니다.

arXiv:2610.10610v1cs.SE공통 태그 Benchmarking, Instruction Following, Large Language Model

코드 이해는 코딩 에이전트의 병목 현상이다

Code Understanding is a Bottleneck for Coding Agents

코딩 에이전트(coding agent)를 위한 저장소 벤치마크(예: SWE-bench)는 편집된 코드 라인 수가 작업 난이도를 예측할 수 있다고 가정하는 경우가 많지만, 이러한 데이터셋은 코드와 작업 유형에 대한 통제가 미흡하여 어떤 능력이 실제로 에이전트 오류를 유발하는지 파악하기 어렵게 만듭니다. 우리는 엄격한 에이전트 평가를 위한 코딩 능력 청사진인 CABRA(Coding Ability Blueprint for Rigorous Agent evaluation)를 제시합니다. CABRA는 작업을 호출 그래프(call graph) 변환 형태로 처음부터 구축하며, 함수 순회, 검색, 런타임 해석, 인스트럭션 추종의 네 가지 축에서 작업 크기 매개변수를 통해 난이도를 조절합니다. 우리는 6,840개의 CABRA 작업에서 8개의 대규모 언어 모델(LLM)과 6개의 코딩 에이전트를 실행하여 다음을 입증합니다. 1) 작업 크기가 커질수록 LLM의 정확도는 떨어지지만, 에이전트는 도구(예: grep)로 작업을 오프로딩하여 거의 완벽한 상태를 유지합니다. 2) 더 큰 CABRA 작업은 읽기 및 분석을 위한 도구 호출을 더 많이 유발하는 한편, SWE-bench Verified에 대한 별도 연구에서는 이러한 도구 호출 수가 편집된 코드 라인 수보다 에이전트의 정확도를 더 잘 예측함을 보여주며, 이는 에이전트의 작업 난이도가 단순히 편집을 수행하는 것만이 아니라 편집할 코드를 이해하는 데 있을 수 있음을 시사합니다. 3) 두 클래스에 걸쳐 분기되는 로직을 분석하는 심층적인 이해 작업으로 CABRA를 확장했을 때 에이전트 정확도가 마침내 떨어지면서 이러한 발견을 뒷받침합니다. 더 나아가, 우리는 도구에 의해 사소해진 LLM의 약점(예: needle-in-a-haystack)과 코딩 에이전트가 여전히 어려워하는 단순 편집 이상의 능력(예: 이해)을 드러내기 위해, SWE-bench 스타일의 작업과 통제된 진단을 결합하는 CABRA와 같은 합성 평가가 필요하다고 주장합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.