PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23417v1cs.SE

Omni2Web: 시청각 웹사이트 개발 벤치마크

Omni2Web: Benchmarking Audiovisual Website Development

화면 녹화 기반 웹 편집 요청에는 ‘this’와 ‘there’ 같은 약한 지시(deictic) 표현이 포함되며, 그 지시 대상(referent)은 음성, 커서 궤적, 페이지 상태, 편집 이력에 따라 달라진다. 이러한 요청은 기존의 많은 웹 편집 벤치마크가 가정하는 명시적 명세를 넘어서는 의도 복구(intent recovery)를 요구한다. 본 논문은 13,907개 편집 단계에 걸친 918개 인스턴스로 구성된 이중언어 벤치마크 Omni2Web을 제안한다. 세 가지 상보적 트랙을 정의한다. Direct Editing은 녹화로부터의 웹페이지 편집을 평가하고, Instruction Recovery는 명시적 의도 복구를 측정하며, Instruction Utility는 복구된 지시가 고정된 코드 실행기(fixed code executor)를 구동할 수 있는지 검증한다. 오픈소스 및 폐쇄형 모델 17개를 평가한 결과, 최고 성능 모델은 Direct Editing에서 Edit Fidelity Score(EFS) 51.17, Instruction Recovery Score(IRS) 49.14를 기록했다. 고정 실행기 하에서 가장 강한 복구 지시는 EFS 51.08에 도달하지만, 오라클(oracle) 지시로 얻은 89.69 EFS에는 한참 못 미친다. 단계 수준 분석에 따르면 올바른 그라운딩(grounding)이 성공적인 편집을 보장하지는 않으며, 일부 Omni 모델은 고정 코딩 모델이 직접 편집보다 실질적으로 더 잘 실행하는 지시를 복구한다. 통제된 ablation은 시간적으로 정렬된 시청각 증거의 가치를 추가로 보여 주며, 대안적 심사자(judge)를 사용해도 선두 모델과 전반적 순위는 유지된다. 종합하면, 이러한 결과는 멀티모달 의도 복구와 코드 실행에서 상당한 개선 여지(headroom)가 있음을 드러내고, Omni 재작성기(rewriter)와 코딩 모델을 결합할 가능성을 시사한다.