DeskForge: 컴퓨터 사용 에이전트를 위한 데스크톱 환경 기반의 조밀한 지도
DeskForge: Dense Supervision from Desktop Environments for Computer-Use Agents
한국어 초록
컴퓨터 사용 에이전트(computer-use agent)는 여러 애플리케이션, 겹쳐진 창, 시각적으로 유사한 컨트롤들이 어텐션을 두고 경쟁하는 복잡한 데스크톱 장면에서 행동 대상을 안정적으로 그라운딩(grounding)해야 합니다. 기존 학습 데이터는 이러한 장면에 조밀한 어노테이션을 결합하거나 통제된 방식으로 변화를 주는 경우가 드뭅니다. 본 논문에서는 실제 애플리케이션을 구성하고 탐색하여 컴퓨터 사용 에이전트를 위한 대규모 지도(supervision) 정보를 생성하는 제어 가능한 데스크톱 환경인 DeskForge를 소개합니다. DeskForge는 애플리케이션 상태, 콘텐츠, 창 레이아웃, 외관, 해상도를 다양하게 변경하며, 스크린샷, 접근성 트리(accessibility tree), 창 지오메트리를 조밀한 요소 어노테이션으로 융합하는 동시에 실행된 각 행동의 결과를 기록합니다. 이 환경을 사용하여 1억 5,970만 개의 요소 인스턴스를 포함하는 120만 개의 주석 달린 데스크톱 관측 코퍼스인 DeskForge-1M을 구축했습니다. 연구진은 DeskForge-1M에서 추출한 20만 개의 그라운딩 예제로 4개의 비전-언어 모델을 파인튜닝했습니다. 4개 모델 모두 미학습(held-out) 데스크톱 조건과 5개 외부 GUI 그라운딩 벤치마크 전반에서 성능이 향상되었으며, Qwen3.5-4B의 경우 ScreenSpot-Pro에서 정확도가 11.51%p, OSWorld-G에서 10.11%p 증가했습니다. 이러한 성능 향상은 장기적인(long-horizon) 작업 완료로도 이어졌습니다. 고정된 플래너 환경에서 파인튜닝된 행동 모델은 더 많은 WebArena-Infinity 및 OpenApps 작업을 해결하여, Qwen3.5-4B는 각각 119개 작업 중 31개에서 50개로, 100개 작업 중 3개에서 15개로 해결 수가 증가했습니다. 이러한 결과는 실제 데스크톱 환경의 제어 가능한 구성이 GUI 그라운딩과 장기적 컴퓨터 사용을 모두 개선하기 위한 확장 가능한 지도 원천을 제공함을 보여줍니다. 프레임워크 코드, 데이터셋, 파인튜닝된 모델은 프로젝트 페이지(https://saidgurbuz.github.io/deskforge/)에서 확인할 수 있습니다.
원문 초록
Computer-use agents need to reliably ground action targets in complex desktop scenes, where multiple applications, overlapping windows, and visually similar controls compete for attention. Existing training data rarely pair such scenes with dense annotations or vary them in a controlled way. We introduce DeskForge, a controllable desktop environment that composes and explores real applications to generate large-scale supervision for computer-use agents. It varies application states, content, window layout, appearance, and resolution, and fuses screenshots, accessibility trees, and window geometry into dense element annotations while recording the outcome of each executed action. Using this environment, we construct DeskForge-1M, a corpus of 1.2M annotated desktop observations containing 159.7M element instances. We fine-tune four vision-language models on 200K grounding examples drawn from DeskForge-1M. All four improve across held-out desktop conditions and on all five external GUI grounding benchmarks; for Qwen3.5-4B, accuracy increases by 11.51 percentage points on ScreenSpot-Pro and 10.11 points on OSWorld-G. The gains also translate to long-horizon task completion: under a fixed planner, the fine-tuned action models solve more WebArena-Infinity and OpenApps tasks, with Qwen3.5-4B increasing from 31 to 50 of 119 tasks and from 3 to 15 of 100 tasks, respectively. These results show that controllable composition of real desktop environments provides a scalable source of supervision for improving both GUI grounding and long-horizon computer use. The framework code, the dataset, and the fine-tuned model are available from the project page: https://saidgurbuz.github.io/deskforge/
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Uncertainty Quantification for Computer-Use Agents: A Benchmark across Vision-Language Models and GUI Grounding Datasets
WinDOM: Self-Family Distillation for Small-Model GUI Grounding
올바른 교사를 신뢰하세요: GUI 그라운딩을 위한 품질 인식 자기 지식 증류
Trust the Right Teacher: Quality-Aware Self-Distillation for GUI Grounding
그래픽 사용자 인터페이스(GUI) 그라운딩은 비전-언어 모델(VLMs)이 고해상도 스크린샷 내 작은 대상 요소를 식별하고 정확한 화면 좌표를 예측해야 하는 작업입니다. 온-정책(on-policy) 자기 지식 증류(OPSD)는 하드 좌표 라벨 외에 밀집 토큰 수준의 교사 신호를 제공하므로, 이 좌표 민감형 작업에 대한 유망한 사후 학습 접근법입니다. 하지만 단순한 OPSD는 GUI 그라운딩에 잘 맞지 않습니다. OPSD는 학습자가 생성한 접두 문맥에서 교사를 평가하는데, 접두 문맥이 이미 대상 좌표에서 벗어난 경우 좌표 토큰 교사 신호의 품질이 저하되어 신뢰할 수 없는 교사 신호가 발생할 수 있습니다. 이를 해결하기 위해 우리는 VLM 기반 GUI 그라운딩을 위한 품질 인식 자기 지식 증류를 제안합니다. 이는 소프트 정확성 인식 게이팅과 교사 확률 스케일링을 통해 좌표 토큰 교사 신호의 품질을 개선합니다. 소프트 정확성 인식 게이트는 학습자가 생성한 접두 문맥 하에서 교사의 현재 좌표 토큰 예측이 여전히 정답 박스로 완성될 수 있는지 확인합니다. 불가능한 경우, 해당 교사 신호의 가중치는 낮아집니다. 이어서 교사 확률 스케일링은 교사의 신뢰도를 가벼운 요인으로 사용하여 게이팅된 지도의 강도를 추가로 보정합니다. 주요 실증적 발견은 두 구성 요소 중 하나만으로는 전체 성능이 향상되지 않지만, 이를 결합하면 성능이 일관되게 향상된다는 것입니다. 이는 두 메커니즘이 상호 보완적인 역할을 한다는 것을 시사합니다. 정확성 인식 게이팅은 신뢰할 수 없는 좌표 토큰 지도를 억제하고, 교사 확률 스케일링은 남은 신호의 강도를 보정합니다. 6개의 GUI 그라운딩 벤치마크에 대한 실험에서 우리의 방법은 기본 모델을 일관되게 향상시키고 강력한 기준선(baselines)을 능가하는 것으로 나타났습니다.
Breaking D\'ej\`a Vu: Independent Auditing of Visual Place Recognition through Vision-Language Reasoning
시각적 장소 인식(VPR)은 동시 위치추정 및 지도작성(SLAM)을 위한 루프 클로저 탐지와 같이 로봇 공학 응용에서 정확한 위치 추정과 장기 자율 주행을 가능하게 하는 핵심 기술이다. 그러나 실제 환경에서의 VPR 배포는 정밀도와 재현율의 균형을 맞추는 이미지 매칭 임계값 선택에 의존한다. 이러한 임계값은 일반적으로 라벨이 붙은 검증 데이터로 조정된 뒤 배포 시 고정되므로, 정답(ground truth)을 사용할 수 없는 환경 변화 하에서는 신뢰할 수 없다. 이는 거짓 루프 클로저를 수용하면 추정 궤적과 지도가 손상될 수 있는 안전이 중요한 로봇 공학에서 특히 문제가 된다. 본 연구에서는 쿼리 이미지와 후보 이미지에 대해 공동으로 추론하여 검색된 매칭을 평가하기 위해 비전-언어 모델(VLM)을 활용하는, 검색 후 독립 검증 프레임워크인 Visual Place Recognition Auditing을 제안한다. 기존 검증 방법과 달리, 본 접근법은 아키텍처별 신뢰도 측정, 데이터셋 의존적 임계값, 또는 배포 환경에 대한 사전 지식 없이 인스턴스 수준 검증을 수행한다. 우리는 5가지 최신 VPR 방법과 4개의 VLM을 사용하여 6개 벤치마크 데이터셋에서 방법을 평가했다. 결과는 VLM 기반 감사가 최신 방법 대비 평균 recall@1을 13.6% 향상시키면서 거짓 수용률을 12%로 낮추고, 정밀도 95% 이상과 커버리지 75% 이상을 유지함을 보여준다.
When Watermarks Turn Adversarial: Exposing Vulnerabilities in Document Understanding
TextGaze: 텍스트 장면 단서를 활용한 시선 목표 추정 프롬프팅
TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues
시선 목표 추정(gaze target estimation)은 장면 내에서 사람의 시선 위치를 추론하는 것을 목표로 한다. 주류 설계 방식에서, 다중 브랜치 방법은 추가적인 지도 학습과 어노테이션을 필요로 하는 반면, 간소화된 설계는 실제 시선 의도보다 저수준 시각적 현저성(visual saliency)을 우선시한다. 전자는 높은 어노테이션 부담과 도메인 전이의 어려움을 초래하고, 후자는 예측된 어텐션과 실제 시선 목표 간의 불일치를 야기한다. 이 문제를 해결하기 위해, 우리는 대규모 비전-언어 모델(LVLM)을 확장 가능한 의미론적 가이던스로 활용하여 두 설계 패러다임의 균형을 맞추는 통합 크로스모달 아키텍처인 TextGaze를 제안한다. 이 모델은 고정된 인코더에서 시각적 특징을 추출하고, LVLM을 활용하여 시선 정렬된 텍스트 단서를 획득한다. 우리는 태스크 의미론을 보존하기 위해 계층적 텍스트 지도 학습을 적용한 트랜스포머 기반 융합 모듈을 설계한다. 경량 디코딩 헤드는 시선 히트맵과 프레임 내/외 상태의 공동 예측을 가능하게 한다. 우리는 네 가지 주류 데이터셋에서 방법을 평가하였으며, 결과는 추가적인 미세조정 없이 강건한 크로스 데이터셋 일반화와 함께 주요 지표에서 경쟁력 있는 성능을 보여준다. 전반적으로, 우리는 전통적인 설계에 대한 간소화된 대안을 제공하고, 시선 추정을 위한 접근 가능한 보조 가이던스로서 LVLM의 잠재력을 제시한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
37 pages, 15 figures, 12 tables. Project page: https://saidgurbuz.github.io/deskforge/