PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.06995v3cs.AI

스크린-투-액션에서 빠진 것은 무엇인가? 멀티모달 GUI 추론을 위한 UI-in-the-Loop 패러다임을 향하여

What's Missing in Screen-to-Action? Towards a UI-in-the-Loop Paradigm for Multimodal GUI Reasoning

기존의 그래픽 사용자 인터페이스(GUI) 추론 과제는 특히 UI 이해 측면에서 여전히 까다롭습니다. 기존 방법들은 대개 화면 기반의 직접적인 의사결정에 의존하므로 해석 가능성이 부족하고 UI 요소를 포괄적으로 이해하지 못해 궁극적으로 작업 실패로 이어집니다. UI 이해와 상호작용을 향상하기 위해, 저희는 UI-in-the-Loop(UILoop)라는 혁신적인 GUI 추론 패러다임을 제안합니다. 저희의 접근 방식은 GUI 추론 과제를 순환적인 '화면-UI 요소-행동(Screen-UI elements-Action)' 과정으로 다룹니다. 멀티모달 대규모 언어 모델(MLLM)이 주요 UI 요소의 위치 파악(localization), 의미론적 기능, 실제 사용법을 명시적으로 학습하도록 함으로써, UILoop는 정밀한 요소 발견을 달성하고 해석 가능한 추론을 수행합니다. 나아가, 저희는 세 가지 평가 지표를 바탕으로 UI 요소를 중심으로 하는 더욱 도전적인 UI 이해(UI Comprehension) 과제를 도입합니다. 이에 맞춰 기존 방법들의 UI 요소 숙달도를 종합적으로 평가할 수 있는 2만 6천 개의 샘플로 구성된 벤치마크(UI Comprehension-Bench)를 구축하여 기여합니다. 광범위한 실험을 통해 UILoop가 최고 수준(SOTA)의 UI 이해 성능을 달성하는 동시에 GUI 추론 과제에서도 우수한 결과를 거둠을 입증합니다.

arXiv:2607.14443v1cs.AI

Tactile: 컴퓨터 사용 에이전트에 손과 발을 제공

Tactile: Giving Computer-Using Agents Hands and Feet

컴퓨터 사용 에이전트는 유능한 소프트웨어 운영자가 되어가고 있지만, 데스크톱 애플리케이션과의 인터페이스는 여전히 취약한 동작 층인 경우가 많다. 스크린샷을 보고 좌표를 예측한 뒤 클릭하고, 보이는 상태가 의도한 대로 바뀌었기를 바란다. 이는 대상 그라운딩(grounding), 행동 실행, 결과 검증을 하나의 모호한 연산으로 축소한다. 우리는 Tactile을 제시한다. Tactile은 데스크톱 사용을 위해 에이전트에게 더 신뢰할 수 있는 "손과 발"을 제공하는 오픈소스 도구 층이다. Tactile은 이질적인 UI 증거—운영체제 접근성(accessibility) 의미론, OCR로 그라운딩된 텍스트, 시각적 폴백(fallback) 영역—를 행동 그라운딩된 인터페이스 상태로 변환한다. 여기에는 소스 레이블, 역할 또는 텍스트, 상태, 기하학, 실행 가능한 affordance, 검증 단서가 포함된 간결한 대상 후보가 있다. 에이전트는 관찰-그라운딩-행동-검증(observe-ground-act-verify) 루프를 통해 동작하며, 가능할 때는 네이티브 의미론적 행동을 선호하고, 보이는 텍스트가 최선의 증거일 때는 OCR로 그라운딩된 좌표로 폴백하며, 재생과 실패 귀속을 위해 전체 provenance를 유지한다. macOSWorld 스타일 태스크에서 Tactile을 추가하면 Codex Success@100이 전체적으로 41.1%에서 50.0%로, 접근성 적응(accessibility-adapted) 태스크에서는 45.2%에서 55.3%로 향상된다. 96개 태스크 교차-에이전트 부분집합은 Codex, Claude Code, OpenCode, Goose에서 일관된 향상을 보여준다. 이 결과는 신뢰할 수 있는 컴퓨터 사용이 더 강한 모델뿐 아니라, 익명의 화면 좌표가 아니라 소프트웨어 행동을 의미론적이고 검증 가능하며 감사 가능한 객체로 노출하는 재사용 가능한 실행 기질(substrate)도 필요함을 시사한다.