PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.15387v3cs.SE

WebCraftBench: 소프트웨어 테스팅 관점에서 웹 애플리케이션 생성을 평가하기

WebCraftBench: Evaluating Web Application Generation from a Software Testing Perspective

인간 평가는 대규모 언어 모델(LLM)이 생성한 웹 애플리케이션의 품질을 직접적으로 측정할 수 있는 방법을 제공합니다. 그러나 자동화된 평가를 통해 인간의 판단을 모사하는 것은 여전히 어려운 과제입니다. 정적 벤치마크는 소스 코드에는 존재하지만 런타임에는 도달할 수 없는 기능에 점수를 부여할 수 있습니다. 상호작용형 벤치마크는 애플리케이션을 직접 실행하지만, 불완전한 탐험으로 인해 구현된 기능을 놓치거나 애플리케이션 결함과 에이전트 실행 실패를 혼동할 수 있습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 소프트웨어 테스팅 관점에서 웹 애플리케이션 생성을 평가하는 상호작용형 벤치마크인 WebCraftBench를 제안합니다. WebCraftBench는 생성된 각 애플리케이션을 계측(instrumentation)하고 코드 커버리지를 활용하여 에이전트가 사용자 시뮬레이션 상호작용을 통해 기능을 탐험하도록 유도합니다. 그런 다음 상호작용 추적(trace)을 상태 전이 그래프로 추상화하고, 시각적 미학(visual aesthetics), 사용성(usability), 요구사항 정렬(requirement alignment)의 세 가지 차원에서 애플리케이션을 평가합니다. WebCraftBench는 탐험과 점수 매기기를 분리함으로써, 사전에 정의된 인수 기준(acceptance criteria)에 탐험을 제한하지 않고 런타임 근거를 수집합니다. WebCraftBench는 369개의 실제 사용자 요구사항과 5,088개의 인수 기준으로 구성됩니다. 17개의 최신 프론티어 LLM을 평가한 결과 세 차원에 걸쳐 뚜렷한 강점이 드러났으며, 모든 차원에서 우위를 점하는 모델은 없었습니다. 내부 아레나에서 샘플링된 197개의 검증된 세션에서 WebCraftBench는 인간 선호도와 85.3%의 일치도를 달성했으며, 쌍을 이룬 애플리케이션 간의 점수 차이가 커질수록 일치도가 전반적으로 증가했습니다. 추가 실험에 따르면 커버리지 유도(guidance)가 탐험 커버리지를 향상시키며, 판정 모델(judge model)을 교체하더라도 모델 순위가 안정적으로 유지됨을 보여줍니다.