StatePortal: 대화형 소프트웨어의 깊은 상태를 테스트하기 위한 에이전트 기반 체크포인트 합성
StatePortal: Agentic Checkpoint Synthesis for Testing Deep States in Interactive Software
한국어 초록
대규모 언어 모델은 그래픽 사용자 인터페이스(GUI)를 갖춘 대화형 소프트웨어의 코드를 생성하는 데 드는 노력을 줄였다. 이러한 소프트웨어에서 테스트의 핵심 병목은 긴 상호작용 이력을 요구하는 깊은 상태에 도달하는 것이다. 이에 도달하는 비용은 커밋마다 반복되며, 이를 분산시킬 수 있는 GUI 자동화는 자체 렌더링 엔진이 제공하지 않는 DOM이나 접근성 트리를 전제로 한다. 우리는 자연어 기능 테스트 케이스와 대상 소스 코드에 대한 읽기 전용 접근으로부터, 해당 상태를 복원하며 버전 관리와 재생이 가능한 산출물인 체크포인트를 합성하는 에이전트 StatePortal을 소개한다. 체크포인트는 온보딩 에이전트가 직접 작성한 훅 코드 없이 한 번 바인딩하거나 합성하는 애플리케이션별 훅을 통해 복원된다. 체크포인트는 상태 검사를 만족하면서도 잘못 렌더링될 수 있으므로, 프로그램적 상태와 시각 평가를 결합한 하이브리드 방식으로 점수를 매기며, 수락을 위해서는 프로그램적 상태 오라클과 시각 오라클이 모두 통과해야 한다. 시각 오라클은 블라인드 방식의 교차 VLM 기준에 대해 보정한다. 우리는 다섯 개 언어 계열과 여섯 개 렌더링 스택에 걸쳐 소스 규모가 874줄에서 720만 줄에 이르는 10개의 대화형 애플리케이션에서 가져온 61개의 깊은 상태 과제 DeepStateBench를 공개한다. 등록된 세 모델 전반에서, 합성된 체크포인트로 시드된 GUI 에이전트는 시행의 10.4%를 완료한 반면 동일한 픽셀 행동 공간에서 시드 없이는 0%였으며, 대상 행동도 훅을 통해 전달하는 StatePortal은 27.5%를 완료한다. 112개 체크포인트에 대한 1,361회의 재생에서 98.90%가 모델 호출 없이 원래의 판정을 재현하였고, 하이브리드 오라클은 프로그램적 상태 검사만으로는 보이지 않는 통제된 시각 결함의 96.25%(77/80)를 탐지한다. 코드는 https://github.com/pzy2000/State_Portal 에, 웹사이트는 https://stateportal.mineyosemite.chatgpt.site 에 오픈 소스로 공개한다.
원문 초록
Large language models have reduced the effort to generate code for interactive software with graphical user interfaces (GUIs). For such software, a key testing bottleneck is reaching a deep state, one that requires a long interaction history. The cost of reaching it recurs across commits, and the GUI automation that could amortize it assumes a DOM or accessibility tree that self-rendered engines do not expose. We introduce StatePortal, an agent that synthesizes a checkpoint, an artifact that restores that state and can be versioned and replayed, from a natural-language functional test case and read-only access to the target's source code. The checkpoint is restored through a per-application hook that an onboarding agent binds or synthesizes once without hand-written hook code. Because a checkpoint can satisfy state checks while rendering incorrectly, checkpoints are scored by hybrid programmatic-state and visual evaluation: acceptance requires both a programmatic-state oracle and a visual oracle to pass. We calibrate the visual oracle against a blinded cross-VLM reference. We release DeepStateBench, 61 deep-state tasks across 10 interactive applications that span five language families and six rendering stacks, with source sizes from 874 to 7.2M lines. Across three registered models, a GUI agent seeded with synthesized checkpoints completes 10.4% of trials, compared with 0% without seeding under the same pixel action space, while StatePortal, which also delivers the target action through the hook, completes 27.5%. Over 1,361 replays of 112 checkpoints, 98.90% reproduce the original verdict with zero model calls, and the hybrid oracle detects 96.25% (77/80) of controlled visual faults invisible to programmatic-state checks alone. We open-source our code at https://github.com/pzy2000/State_Portal and website at https://stateportal.mineyosemite.chatgpt.site
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23257v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.