UI2App: 실행 가능한 웹 애플리케이션 생성에서 시각적 상호작용 추론 벤치마킹
UI2App: Benchmarking Visual Interaction Inference in Executable Web Application Generation
UI 스크린샷만을 입력으로 받아 실행 가능한 멀티페이지 웹 애플리케이션을 생성하는 과제에서 상호작용 추론(interaction inference) 능력을 체계적으로 평가하는 최초의 벤치마크 UI2App을 제안한다. 45개의 상태 일관성 스크린샷 세트와 4가지 평가 지표(실행 가능성, 내비게이션 도달성, 시각적 충실도, 상호작용 추론 점수 IIS)를 통해 6개의 프론티어 비전-언어 모델을 평가한 결과, 시각적 충실도 1위 모델의 IIS가 4위에 그치는 등 시각적 재구성 능력과 상호작용 실현 능력 사이의 뚜렷한 불일치가 확인되었다.