인터페이스가 말할 때: 능동적 상호작용을 위한 데이터 인식 생성형 UI 하네스
When Interfaces Speak: Data-Aware Generative UI Harness for Active Interaction
한국어 초록
오늘날 인간과 에이전트(agent) 간의 상호작용은 대부분 여전히 텍스트 기반으로 이루어집니다. 자연어는 복잡한 작업에서 인지적 과부하, 모호성, 정보 혼란, 느린 입력을 유발할 수 있는 반면, 일회성 생성형 UI는 구조화된 정보를 제시하고 사용자가 작업을 완수하도록 안내할 수 있습니다. 본 논문에서는 정보 검색 및 작업 수행을 담당하는 도구 에이전트와 모호성을 식별하고 구조화된 인터페이스용 프론트엔드 코드를 생성하는 GUI 코더 에이전트를 결합한 멀티 에이전트 하네스인 GenUI-Harness를 제안합니다. 상호작용형 UI 생성을 위해 검증 가능한 보상(reward)을 얻으려면 비용이 큰 실행이 수반되고, LLM-as-a-judge 보상은 보상 해킹(reward hacking)에 취약하기 때문에 강화학습(reinforcement learning)으로 코더를 학습(training)시키는 것은 어렵습니다. 본 연구에서는 단일 샌드박스 내에서 동적 상호작용과 보상 수집을 수행하는 경량 패키지인 Dynamic UX를 통해 첫 번째 문제를 해결하고, 보상 분포를 모니터링하며 진단 패턴을 공유 루브릭 및 채점 명세로 정제하는 메타 보상 메커니즘인 Reward Auditor를 통해 두 번째 문제를 해결합니다. 또한 공개 데이터 소스로 구축된 10개의 실제 도메인 데이터베이스를 기반으로 하고 Tau-Bench 도구 사용 설정을 차용한 생성형 UI 코드 기반 능동적 인간-에이전트 상호작용 벤치마크(benchmark)인 UI-TAU Bench를 소개하며, 이는 Lite(300개 작업) 및 Full(1,000개 작업) 분할로 구성됩니다. GenUI-Harness는 Lite에서 smolagents 대비 평균 Pass@3을 4.48%포인트 향상시켰습니다. GenUI-Harness를 통한 학습은 4B 백본의 Pass@3을 9.33%에서 58.00%로 향상시켜 Claude Opus 5(46.67%)와 같은 더 큰 프론티어 모델을 능가했습니다. 아울러 GenUI-Harness는 모호한 쿼리와 모호하지 않은 쿼리 모두에서 견고함을 유지합니다. 커뮤니케이션 채널을 비교한 검토자 설문조사에서 생성된 UI는 평균 대화 턴 수를 3.4회에서 1.2회로 단축했습니다. 이러한 결과는 데이터 인식 생성형 인터페이스가 평가된 데이터베이스 기반 워크플로에서 효과적인 작업 완료를 지원하고 대화 턴 수를 줄일 수 있음을 보여줍니다.
원문 초록
Most human-agent interaction today remains text-based. Natural language can impose cognitive overload, ambiguity, information chaos, and slow input for complex tasks; ephemeral generative UIs can present structured information and guide users toward task completion. We propose GenUI-Harness, a multi-agent harness pairing a Tool Agent for information retrieval and task execution with a GUI Coder Agent that identifies ambiguities and generates front-end code for structured interfaces. Training the coder with reinforcement learning is challenging: verifiable rewards for interactive UI generation require costly execution, while LLM-as-a-Judge rewards are prone to reward hacking. We address the first challenge with Dynamic UX, a lightweight package for dynamic interaction and reward collection in a single sandbox, and the second with Reward Auditor, a meta-reward mechanism that monitors reward distributions and distills diagnostic patterns into a shared rubric and scoring specification. We introduce UI-TAU Bench, a benchmark for active human-agent interaction through generated UI code, built on 10 real-world domain databases constructed from public data sources and based on Tau-Bench tool-use settings, with Lite (300 tasks) and Full (1,000 tasks) splits. GenUI-Harness achieves an average Pass@3 gain of 4.48 percentage points over smolagents on Lite. Training with GenUI-Harness improves a 4B backbone from 9.33% to 58.00% Pass@3, outperforming larger frontier models such as Claude Opus 5 (46.67%). GenUI-Harness also remains robust on ambiguous and non-ambiguous queries. In a reviewer survey comparing communication channels, generated UIs reduce average dialogue rounds from 3.4 to 1.2. These results show that data-aware generative interfaces can support effective task completion and reduce dialogue rounds in evaluated database-backed workflows.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
35 pages, 7 figures. Code: https://github.com/bird-bench/GenUI-Agent