arXiv:2611.23917v1 cs.AI

Vanguard: 추측적 비전-언어 에이전트에서 초안을 신뢰할 시점 파악하기

Vanguard: Knowing When to Trust the Draft in Speculative Vision-Language Agents

Hanqi Mao, Jiajun Fan, Ruihan Guo, Shuaike Shen, Ziwen Wang, Hui Ren, Xianrui Zhong, Ge Liu

제출 2026-11-19

한국어 초록

웹사이트를 탐색하고, 휴대폰을 조작하고, 가정에서 행동하는 비전-언어 에이전트는 매 행동 전에 추론하므로 모든 단계가 대형 모델을 기다려야 하며, 이러한 지연과 비용은 배포의 걸림돌이 된다. 단계 수준 추측(step-level speculation)은 소형 모델이 각 단계를 초안으로 작성하고 거부된 초안에 대해서만 대형 모델을 호출하게 하지만, 그 결과는 판정자에 달려 있으며 단계의 텍스트만 읽는 판정자는 그 단계가 행동 대상 화면에 맞는지 알 수 없다. 우리는 소형 모델의 몇 개 샘플에 올바른 단계가 포함되는 빈도가 대형 모델이 그 단계를 맞히는 빈도와 비슷하며, 항상 같은 단계에서 그런 것은 아님을 발견했다. 화면과 대조하여 확인하면 소형 초안은 더 저렴할 뿐 아니라 더 나을 수도 있다. 우리는 초안 모델과 대상 모델을 변경하지 않는 학습 불필요 판정자 Vanguard를 제안한다. 범용 의사결정 모델이 스크린샷을 보면서 한 번의 순전파로 각 후보 단계가 옳을 확률을 부여하고, 최선의 후보가 임계값을 넘으면 유지하며, 그렇지 않으면 대형 모델이 해당 단계를 작성한다. 웹, 모바일, 임바디드 에이전트에서 Vanguard가 판정한 2B 초안은 8B 대상 모델과 최소한 동등한 정확도를 보였고 Mind2Web과 EB-ALFRED에서는 유의하게 더 정확했으며, 대상 모델이 작성하는 단계는 소수에 불과하다. 또한 훨씬 더 많은 폐루프 에피소드를 완료하며, 다른 계열의 27B 대상 모델과 함께 사용하면 더 빠르고 더 정확하다. Vanguard는 에이전트 과제에서 비교한 판정자 중 가장 정확하며, 웹과 모바일 과제에서는 스크린샷에 의존하고, 보정된 임계값은 보지 못한 웹사이트로 전이되며, 모델 계열 전반에서 대상 모델 대비 이득은 대상 모델의 정확도에 대한 초안의 pass@4가 커질수록 증가한다. Vanguard는 토큰 수준 추측 디코딩과 결합 가능하며 수학에서 학습된 프로세스 보상 모델과 대등한 성능을 보여, 추측을 대형 모델의 작업을 절약하는 방법에서 이를 개선할 수 있는 방법으로 전환한다.

원문 초록

Vision-language agents that browse websites, operate phones and act in homes reason before every action, so every step waits for a large model, a latency and cost that stand in the way of deployment. Step-level speculation lets a small model draft each step and calls the large model only on rejected drafts, but its outcome rests on the judge, and a judge that reads only a step's text cannot tell whether the step fits the screen it acts on. We find that a few samples of a small model can contain a correct step about as often as the large model gets the step right, and not always on the same steps: checked against the screen, small drafts can be not only cheaper but better. We present Vanguard, a training-free judge that leaves the draft and target models unchanged: a general decision model, with the screenshot in view, gives each candidate step a probability of being right in one forward pass; the best candidate is kept if it clears a threshold, and otherwise the large model writes the step. On web, mobile and embodied agents, a 2B draft judged by Vanguard is at least as accurate as its 8B target and significantly more accurate on Mind2Web and EB-ALFRED, while the target writes only a minority of the steps; it completes far more closed-loop episodes, and with a 27B target from another family it is both faster and more accurate. Vanguard is the most accurate judge we compare on the agent tasks; it relies on the screenshot on web and mobile tasks, its calibrated threshold transfers to unseen websites, and across model families its gain over the target grows with the draft's pass@4 relative to the target's accuracy. Vanguard composes with token-level speculative decoding and matches trained process reward models on mathematics, turning speculation from a way to save the large model's work into one that can improve on it.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23917v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.