PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17727v1cs.AI

LongWebBench: 장기 호라이즌 설정에서 구조적·기능적 웹페이지 생성 평가

LongWebBench: Evaluating Structural and Functional Webpage Generation in Long-Horizon Settings

최근 비전-언어 모델(VLM)은 시각 입력으로부터 웹페이지를 생성하는 데 유망한 진전을 보였지만, 기존 평가는 주로 짧고 한 화면 분량이며 대체로 정적인 웹페이지에 초점을 맞추고 있다. 우리는 구조적·기능적 관점 모두에서 장기 호라이즌 웹페이지 생성을 평가하기 위한 벤치마크인 LongWebBench를 제안한다. LongWebBench는 구조적 충실도 평가를 위한 490개의 실제 장문 웹페이지와, 기능적 평가를 위해 129개 웹페이지에 걸친 507개의 목표 지향적 상호작용 과제를 포함한다. 장거리 구조적 일관성을 평가하기 위한 다차원 VLM 기반 지표와, 종단 간(end-to-end) 기능 검증을 위한 DOM-증강 에이전트 기반 파이프라인이라는 두 가지 보완적 프로토콜을 사용한다. 또한 인간 일치도 분석을 통해 자동 평가 프로토콜을 검토한다. 단일 이미지 및 다중 이미지 설정에서 최신 오픈소스 및 독점 VLM으로 실험한 결과, 웹페이지 길이가 증가할수록 구조적 충실도가 저하되며, 시각적으로 그럴듯한 생성물이 실행 가능한 다단계 상호작용을 지원하지 못하는 경우가 많음을 보여준다. 이러한 결과는 실행 가능한 상호작용을 핵심 기준으로 삼아, 시각적 유사성을 넘어 장문 웹페이지 생성을 평가할 필요성을 강조한다. 코드와 데이터는 https://github.com/zheny2751-dotcom/LongWebBench 에서 이용할 수 있다.