스크린-투-액션에서 빠진 것은 무엇인가? 멀티모달 GUI 추론을 위한 UI-in-the-Loop 패러다임을 향하여
What's Missing in Screen-to-Action? Towards a UI-in-the-Loop Paradigm for Multimodal GUI Reasoning
기존의 그래픽 사용자 인터페이스(GUI) 추론 과제는 특히 UI 이해 측면에서 여전히 까다롭습니다. 기존 방법들은 대개 화면 기반의 직접적인 의사결정에 의존하므로 해석 가능성이 부족하고 UI 요소를 포괄적으로 이해하지 못해 궁극적으로 작업 실패로 이어집니다. UI 이해와 상호작용을 향상하기 위해, 저희는 UI-in-the-Loop(UILoop)라는 혁신적인 GUI 추론 패러다임을 제안합니다. 저희의 접근 방식은 GUI 추론 과제를 순환적인 '화면-UI 요소-행동(Screen-UI elements-Action)' 과정으로 다룹니다. 멀티모달 대규모 언어 모델(MLLM)이 주요 UI 요소의 위치 파악(localization), 의미론적 기능, 실제 사용법을 명시적으로 학습하도록 함으로써, UILoop는 정밀한 요소 발견을 달성하고 해석 가능한 추론을 수행합니다. 나아가, 저희는 세 가지 평가 지표를 바탕으로 UI 요소를 중심으로 하는 더욱 도전적인 UI 이해(UI Comprehension) 과제를 도입합니다. 이에 맞춰 기존 방법들의 UI 요소 숙달도를 종합적으로 평가할 수 있는 2만 6천 개의 샘플로 구성된 벤치마크(UI Comprehension-Bench)를 구축하여 기여합니다. 광범위한 실험을 통해 UILoop가 최고 수준(SOTA)의 UI 이해 성능을 달성하는 동시에 GUI 추론 과제에서도 우수한 결과를 거둠을 입증합니다.