WatchPoint: 실제 환경의 에이전트(agent) 기반 웹 개발을 위한 실행 가능한 사용자 피드백
WatchPoint: Executable User Feedback for Real-World Agentic Web Development
전문 웹 개발자의 코드가 테스트에 실패했을 때, 개발자는 단순히 스택 트레이스(stack trace)를 다시 읽는 데 그치지 않습니다. 브라우저에서 애플리케이션을 열고, 버튼을 클릭하고, 계산된 스타일(computed styles)을 검사하며, 진단 명령어를 실행하여 무엇이 잘못되었는지 파악합니다. 기존 코딩 에이전트(agent)용 피드백 메커니즘은 스크린샷, LLM-as-a-judge 점수 산정, 또는 자연어 수정에 의존하지만, 개발자가 하듯이 실제 실행 중인 애플리케이션과 상호작용하는 경우는 거의 없습니다. 본 논문에서는 실행 중인 애플리케이션을 대상으로 진단 스크립트를 생성 및 실행하여 코딩 모델의 재시도를 안내하는 구조화된 관찰 결과를 생성함으로써 실제 개발자의 행동을 모방하는 가상 사용자 시스템인 WatchPoint를 소개합니다. 단일 파일 수정만을 대상으로 하거나 실행 불가능한 지표로 평가했던 이전 접근법과 달리, 본 연구는 결정론적 엔드투엔드(end-to-end) 테스트로 검증된 순차적 의존 관계를 갖는 1,000개의 작업으로 구성된 50개의 다중 파일 웹 프로젝트 벤치마크인 Web-Bench에서 작동합니다. WatchPoint는 진단한 작업의 57.6%를 복구하며, 통제된 사용자 연구를 통해 시뮬레이션의 현실성을 확인했습니다. 즉, 인간 테스터가 이와 유사한 복구율(54.5%)을 달성하여 자동화된 진단 스크립트가 순차적 웹 개발 작업에서 대화형 인간 테스트를 대체할 수 있다는 증거를 제공합니다. 나아가 가상 사용자 피드백이 유용한 경우와 이를 보류해야 하는 경우를 결정짓는 역량 격차 패턴을 규명합니다.