arXiv:2610.11123v1 cs.AI

인터페이스가 말할 때: 능동적 상호작용을 위한 데이터 인식 생성형 UI 하네스

When Interfaces Speak: Data-Aware Generative UI Harness for Active Interaction

Xiaolong Li, Xiaohan Xu, Jinyang Li, Xinnuo Xu, Ge Qu, Nan Huo, Jack Williams, Reynold Cheng

제출 2026-10-08

저자 비고

arXiv Comments

35 pages, 7 figures. Code: https://github.com/bird-bench/GenUI-Agent

한국어 초록

오늘날 인간과 에이전트(agent) 간의 상호작용은 대부분 여전히 텍스트 기반으로 이루어집니다. 자연어는 복잡한 작업에서 인지적 과부하, 모호성, 정보 혼란, 느린 입력을 유발할 수 있는 반면, 일회성 생성형 UI는 구조화된 정보를 제시하고 사용자가 작업을 완수하도록 안내할 수 있습니다. 본 논문에서는 정보 검색 및 작업 수행을 담당하는 도구 에이전트와 모호성을 식별하고 구조화된 인터페이스용 프론트엔드 코드를 생성하는 GUI 코더 에이전트를 결합한 멀티 에이전트 하네스인 GenUI-Harness를 제안합니다. 상호작용형 UI 생성을 위해 검증 가능한 보상(reward)을 얻으려면 비용이 큰 실행이 수반되고, LLM-as-a-judge 보상은 보상 해킹(reward hacking)에 취약하기 때문에 강화학습(reinforcement learning)으로 코더를 학습(training)시키는 것은 어렵습니다. 본 연구에서는 단일 샌드박스 내에서 동적 상호작용과 보상 수집을 수행하는 경량 패키지인 Dynamic UX를 통해 첫 번째 문제를 해결하고, 보상 분포를 모니터링하며 진단 패턴을 공유 루브릭 및 채점 명세로 정제하는 메타 보상 메커니즘인 Reward Auditor를 통해 두 번째 문제를 해결합니다. 또한 공개 데이터 소스로 구축된 10개의 실제 도메인 데이터베이스를 기반으로 하고 Tau-Bench 도구 사용 설정을 차용한 생성형 UI 코드 기반 능동적 인간-에이전트 상호작용 벤치마크(benchmark)인 UI-TAU Bench를 소개하며, 이는 Lite(300개 작업) 및 Full(1,000개 작업) 분할로 구성됩니다. GenUI-Harness는 Lite에서 smolagents 대비 평균 Pass@3을 4.48%포인트 향상시켰습니다. GenUI-Harness를 통한 학습은 4B 백본의 Pass@3을 9.33%에서 58.00%로 향상시켜 Claude Opus 5(46.67%)와 같은 더 큰 프론티어 모델을 능가했습니다. 아울러 GenUI-Harness는 모호한 쿼리와 모호하지 않은 쿼리 모두에서 견고함을 유지합니다. 커뮤니케이션 채널을 비교한 검토자 설문조사에서 생성된 UI는 평균 대화 턴 수를 3.4회에서 1.2회로 단축했습니다. 이러한 결과는 데이터 인식 생성형 인터페이스가 평가된 데이터베이스 기반 워크플로에서 효과적인 작업 완료를 지원하고 대화 턴 수를 줄일 수 있음을 보여줍니다.

원문 초록

Most human-agent interaction today remains text-based. Natural language can impose cognitive overload, ambiguity, information chaos, and slow input for complex tasks; ephemeral generative UIs can present structured information and guide users toward task completion. We propose GenUI-Harness, a multi-agent harness pairing a Tool Agent for information retrieval and task execution with a GUI Coder Agent that identifies ambiguities and generates front-end code for structured interfaces. Training the coder with reinforcement learning is challenging: verifiable rewards for interactive UI generation require costly execution, while LLM-as-a-Judge rewards are prone to reward hacking. We address the first challenge with Dynamic UX, a lightweight package for dynamic interaction and reward collection in a single sandbox, and the second with Reward Auditor, a meta-reward mechanism that monitors reward distributions and distills diagnostic patterns into a shared rubric and scoring specification. We introduce UI-TAU Bench, a benchmark for active human-agent interaction through generated UI code, built on 10 real-world domain databases constructed from public data sources and based on Tau-Bench tool-use settings, with Lite (300 tasks) and Full (1,000 tasks) splits. GenUI-Harness achieves an average Pass@3 gain of 4.48 percentage points over smolagents on Lite. Training with GenUI-Harness improves a 4B backbone from 9.33% to 58.00% Pass@3, outperforming larger frontier models such as Claude Opus 5 (46.67%). GenUI-Harness also remains robust on ambiguous and non-ambiguous queries. In a reviewer survey comparing communication channels, generated UIs reduce average dialogue rounds from 3.4 to 1.2. These results show that data-aware generative interfaces can support effective task completion and reduce dialogue rounds in evaluated database-backed workflows.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.11123v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.