PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02320v1cs.CV

DeskForge: 컴퓨터 사용 에이전트를 위한 데스크톱 환경 기반의 조밀한 지도

DeskForge: Dense Supervision from Desktop Environments for Computer-Use Agents

컴퓨터 사용 에이전트(computer-use agent)는 여러 애플리케이션, 겹쳐진 창, 시각적으로 유사한 컨트롤들이 어텐션을 두고 경쟁하는 복잡한 데스크톱 장면에서 행동 대상을 안정적으로 그라운딩(grounding)해야 합니다. 기존 학습 데이터는 이러한 장면에 조밀한 어노테이션을 결합하거나 통제된 방식으로 변화를 주는 경우가 드뭅니다. 본 논문에서는 실제 애플리케이션을 구성하고 탐색하여 컴퓨터 사용 에이전트를 위한 대규모 지도(supervision) 정보를 생성하는 제어 가능한 데스크톱 환경인 DeskForge를 소개합니다. DeskForge는 애플리케이션 상태, 콘텐츠, 창 레이아웃, 외관, 해상도를 다양하게 변경하며, 스크린샷, 접근성 트리(accessibility tree), 창 지오메트리를 조밀한 요소 어노테이션으로 융합하는 동시에 실행된 각 행동의 결과를 기록합니다. 이 환경을 사용하여 1억 5,970만 개의 요소 인스턴스를 포함하는 120만 개의 주석 달린 데스크톱 관측 코퍼스인 DeskForge-1M을 구축했습니다. 연구진은 DeskForge-1M에서 추출한 20만 개의 그라운딩 예제로 4개의 비전-언어 모델을 파인튜닝했습니다. 4개 모델 모두 미학습(held-out) 데스크톱 조건과 5개 외부 GUI 그라운딩 벤치마크 전반에서 성능이 향상되었으며, Qwen3.5-4B의 경우 ScreenSpot-Pro에서 정확도가 11.51%p, OSWorld-G에서 10.11%p 증가했습니다. 이러한 성능 향상은 장기적인(long-horizon) 작업 완료로도 이어졌습니다. 고정된 플래너 환경에서 파인튜닝된 행동 모델은 더 많은 WebArena-Infinity 및 OpenApps 작업을 해결하여, Qwen3.5-4B는 각각 119개 작업 중 31개에서 50개로, 100개 작업 중 3개에서 15개로 해결 수가 증가했습니다. 이러한 결과는 실제 데스크톱 환경의 제어 가능한 구성이 GUI 그라운딩과 장기적 컴퓨터 사용을 모두 개선하기 위한 확장 가능한 지도 원천을 제공함을 보여줍니다. 프레임워크 코드, 데이터셋, 파인튜닝된 모델은 프로젝트 페이지(https://saidgurbuz.github.io/deskforge/)에서 확인할 수 있습니다.

arXiv:2609.27307v1cs.AI

자신의 상호작용으로 행동을 학습하기: GUI 에이전트를 위한 온-정책 자기 증류

Learn How to Act from Your Own Interactions: On-Policy Self-Distillation for GUI Agents

그래픽 사용자 인터페이스(GUI) 에이전트는 소프트웨어 환경과의 다중 턴 상호작용을 통해 복잡한 사용자 지시를 수행할 수 있으며, 행동을 안내하기 위한 단계별 추론과 작업 관련 정보를 유지하기 위한 장기 기억(long-horizon memory)을 각각 필요로 한다. 최근 온-정책 자기 증류(on-policy self-distillation, OPSD) 방법은 특권(privilege) 조건 자기 교사(self-teacher)로부터의 밀집 토큰 수준 감독 덕분에 GUI 그라운딩이라는 GUI 에이전트의 기초 하위 과제에서 강한 성능을 달성했다. 그러나 기존 OPSD 방법을 다중 턴 GUI 에이전트로 확장하는 것은 자기 교사의 제한된 특권 준수(privilege-following) 능력과 불충분한 특권(privileged) 안내로 인해 어렵다. 본 논문에서는 GUI 그라운딩에서 다중 턴 GUI 상호작용으로 OPSD를 확장하고 2단계 학습 프레임워크를 통해 핵심 한계를 해결하는 GUI-SD의 차기 버전인 GUI-SD-v2를 제안한다. 구체적으로 GUI-SD-v2는 동일한 GUI 상태에서 특권 안내가 있는 롤아웃과 없는 롤아웃을 공동 최적화하여 특권 준수를 먼저 강화한다. 또한 특권 조건 자기 교사를 통해 단계별 추론과 기억 안내를 선택적으로 증류하여 행동 결정과 이후 상호작용을 위한 작업 관련 정보 유지를 지원한다. AndroidWorld와 MobileWorld라는 두 대표적인 GUI 에이전트 벤치마크에 대한 광범위한 실험에서 GUI-SD-v2는 기존 OPSD 기준선과 비교해 우수한 성능을 보이며, 평가한 최신(state-of-the-art) 방법들을 Pass@1 및 Pass@3 성공률 모두에서 일관되게 능가한다. 코드와 학습 데이터는 공개될 예정이다.

arXiv:2606.30084v1cs.CV

순전파 한 번으로 두 번을 넘다: 정확하고 효율적인 GUI 그라운딩을 위한 InnerZoom

One Forward Beats Two: InnerZoom for Accurate and Efficient GUI Grounding

MLLM 기반 GUI 그라운딩 방법은 일반적으로 목표 위치 파악을 자기회귀적 좌표 생성으로 정식화하여, 모델이 MLLM의 강력한 인스트럭션 수행 및 의미 이해 능력을 활용할 수 있도록 한다. 그러나 이 정식화는 GUI 클릭에서 요구되는 공간적 정밀도로 좌표 토큰을 디코딩하는 동시에, 모델이 영역 수준의 목표 증거를 유지해야 한다는 과제를 안고 있다. 진단 분석을 통해, 목표 영역 인식이 디코더 중간 층에서 나타나지만 최종 좌표 예측에 유지되거나 반영되지 않음을 확인하였다. 기존의 ZoomIn 방식 방법들은 외부 크롭 후 재실행(crop-and-rerun) 순전파를 통해 이 문제를 해결하는데, 이는 위치 파악 성능을 향상시키지만 엔드-투-엔드 지연 시간과 계산 비용을 증가시킨다. 이러한 추가 비용 없이 2회 줌인의 정확도 이점을 유지하기 위해, 우리는 층 간 증거 브리징을 위한 단일 순전파 프레임워크인 InnerZoom을 제안한다. InnerZoom은 원래 순전파에서 목표 관련 단서를 압축된 층 간 증거 상태로 변환한 후, 이 상태를 이후 디코딩 층 전반에 걸쳐 보존·정제·재주입하여 좌표 예측을 안내한다. 광범위한 실험 결과, InnerZoom-4B는 6개의 GUI 그라운딩 벤치마크 전체에서 최고 성능을 달성하였으며, OSWorld-G에서 64.7, UI-Vision에서 40.2, OSWorld-GR에서 73.1, MMBench-GUI에서 87.6을 기록하여 각각 이전 최고 결과를 4.1, 3.2, 2.9, 2.3포인트 상회하였다. 통제된 4B 설정에서 InnerZoom은 동일한 SFT+RL 기준선 대비 평균 5.3포인트 향상을 달성하고, 2회 순전파 ZoomIn보다 평균 1.3포인트 높은 성능을 보이면서, 엔드-투-엔드 지연 시간을 최대 31.8%, TFLOPs를 약 29% 감소시킨다. 코드와 모델은 공개될 예정이다.

arXiv:2606.25760v1cs.LG

Uncertainty Quantification for Computer-Use Agents: A Benchmark across Vision-Language Models and GUI Grounding Datasets

컴퓨터 사용 에이전트의 GUI 클릭 실행에는 신뢰할 수 있는 불확실성 정량화(UQ)가 필요하지만, 모델·벤치마크·관측 인터페이스별 UQ 평가가 분절되어 있어 Argus는 4개 VLM 에이전트와 4개 GUI 그라운딩 데이터셋에 27개 오픈웨이트 UQ 방법과 3개 폐쇄형 벤더의 8개 API 호환 방법을 교차 비교하는 단일 단계 실행형 GUI 그라운딩 벤치마크를 제시한다. 핵심 결과는 선택적 전이로, 동일 모델에서는 데이터셋 간 UQ 순위가 안정적(최대 Spearman ρ 0.969)이나 모델 클래스·인터페이스가 바뀌면 순위가 약화되고, 오픈웨이트에서는 히든 상태·밀도 기반 방법이 가장 안정적이며 폐쇄형으로의 교차 티어 전이는 평균 +0.08에 그쳐 대상 환경에서 UQ 방법을 재순위해야 한다.

arXiv:2606.25964v1cs.AI

WinDOM: Self-Family Distillation for Small-Model GUI Grounding

Small ($\sim$2B) GUI-grounding agents are attractive for on-device deployment, accessibility tooling, and low-cost iteration, but at this scale they face two open recipe questions: how to obtain bounding-box training data without expensive human annotation, and how to combine supervised fine-tuning with reinforcement learning. We address both, with the explicit goal of pushing small-model performance rather than scaling up. WinDOM is a $54{,}425$-record grounding corpus harvested by driving an open-source Windows 11 web reimplementation under headless Playwright, with bounding boxes read directly off the DOM and no OCR or human annotation. Self-Family Distillation (SFD) is a single rejection-sampling cold-start parameterised only by the teacher choice: either an EMA of the student (no external model) or a frozen larger same-family teacher. We then treat the saturation depth of the SFD cold-start as an explicit GRPO hyperparameter. On a Qwen3.5-2B student, the under-saturated cold-start is a better GRPO initialiser than the converged one: SFD-4B with Early-init RL gains $+5.4$ OOD-mean ($+3.5$ ScreenSpot-Pro, $+7.0$ OSWorld-G, $+5.8$ ScreenSpot-V2) over the base. The same-size EMA mode lands within roughly one OOD-mean point of the cross-size $4$B variant ($65.2$ vs $66.3$) without an external teacher.

arXiv:2606.18101v2cs.AI

올바른 교사를 신뢰하세요: GUI 그라운딩을 위한 품질 인식 자기 지식 증류

Trust the Right Teacher: Quality-Aware Self-Distillation for GUI Grounding

그래픽 사용자 인터페이스(GUI) 그라운딩은 비전-언어 모델(VLMs)이 고해상도 스크린샷 내 작은 대상 요소를 식별하고 정확한 화면 좌표를 예측해야 하는 작업입니다. 온-정책(on-policy) 자기 지식 증류(OPSD)는 하드 좌표 라벨 외에 밀집 토큰 수준의 교사 신호를 제공하므로, 이 좌표 민감형 작업에 대한 유망한 사후 학습 접근법입니다. 하지만 단순한 OPSD는 GUI 그라운딩에 잘 맞지 않습니다. OPSD는 학습자가 생성한 접두 문맥에서 교사를 평가하는데, 접두 문맥이 이미 대상 좌표에서 벗어난 경우 좌표 토큰 교사 신호의 품질이 저하되어 신뢰할 수 없는 교사 신호가 발생할 수 있습니다. 이를 해결하기 위해 우리는 VLM 기반 GUI 그라운딩을 위한 품질 인식 자기 지식 증류를 제안합니다. 이는 소프트 정확성 인식 게이팅과 교사 확률 스케일링을 통해 좌표 토큰 교사 신호의 품질을 개선합니다. 소프트 정확성 인식 게이트는 학습자가 생성한 접두 문맥 하에서 교사의 현재 좌표 토큰 예측이 여전히 정답 박스로 완성될 수 있는지 확인합니다. 불가능한 경우, 해당 교사 신호의 가중치는 낮아집니다. 이어서 교사 확률 스케일링은 교사의 신뢰도를 가벼운 요인으로 사용하여 게이팅된 지도의 강도를 추가로 보정합니다. 주요 실증적 발견은 두 구성 요소 중 하나만으로는 전체 성능이 향상되지 않지만, 이를 결합하면 성능이 일관되게 향상된다는 것입니다. 이는 두 메커니즘이 상호 보완적인 역할을 한다는 것을 시사합니다. 정확성 인식 게이팅은 신뢰할 수 없는 좌표 토큰 지도를 억제하고, 교사 확률 스케일링은 남은 신호의 강도를 보정합니다. 6개의 GUI 그라운딩 벤치마크에 대한 실험에서 우리의 방법은 기본 모델을 일관되게 향상시키고 강력한 기준선(baselines)을 능가하는 것으로 나타났습니다.

arXiv:2509.11548v2cs.CV

보조 추론이 비전-언어 모델(VLM)에서 GUI 그라운딩을 어떻게 해방시키는가

How Auxiliary Reasoning Unleashes GUI Grounding in VLMs

그래픽 사용자 인터페이스(GUI) 그라운딩은 GUI 에이전트를 구축하기 위한 기본적인 과제입니다. 그러나 일반적인 비전-언어 모델(VLM)은 특정 최적화가 부족하여 이 과제에 어려움을 겪습니다. 본 논문에서 우리는 핵심적인 격차를 확인했습니다. VLM은 Pointing Game으로 측정된 성능에서 보여주는 것처럼 상당한 잠재적 그라운딩 능력을 보이지만, 명시적인 좌표를 출력하는 과제에서는 성과가 저조합니다. 이러한 불일치를 해결하고 현재 미세조정(fine-tuning) 방식의 높은 데이터 및 주석 비용을 우회하기 위해, 우리는 세 가지 제로샷(zero-shot) 보조 추론 방법을 제안합니다. 축, 격자 및 레이블이 지정된 교차점과 같은 명시적인 공간적 단서를 입력 이미지의 일부로 제공함으로써, 이러한 방법들은 VLM이 자신의 암묵적인 공간 이해 능력을 더 잘 표현할 수 있게 합니다. 우리는 7개의 오픈 소스 및 독점 VLM에 걸쳐 4개의 GUI 그라운딩 벤치마크에서 이러한 방법들을 평가했습니다. 실험 결과, 보조 추론을 통해 상당한 성능 향상이 있음을 보여줍니다. Mark-Grid Scaffold는 직접 추론(direct inference) 시 11.72%였던 Gemini-3.1-Pro의 성능을 ScreenSpot-v2에서 95.20%로 끌어올렸으며, ScreenSpot에서 최첨단(SOTA) 성능을 달성하고 ScreenSpot-v2 및 UI-I2E-Bench에서 가장 강력한 미세조정된 방법들에 근접하는 성과를 보였습니다. 우리의 코드는 https://github.com/liweim/AuxiliaryReasoning에서 확인할 수 있습니다.