PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.15387v3cs.SE

WebCraftBench: 소프트웨어 테스팅 관점에서 웹 애플리케이션 생성을 평가하기

WebCraftBench: Evaluating Web Application Generation from a Software Testing Perspective

인간 평가는 대규모 언어 모델(LLM)이 생성한 웹 애플리케이션의 품질을 직접적으로 측정할 수 있는 방법을 제공합니다. 그러나 자동화된 평가를 통해 인간의 판단을 모사하는 것은 여전히 어려운 과제입니다. 정적 벤치마크는 소스 코드에는 존재하지만 런타임에는 도달할 수 없는 기능에 점수를 부여할 수 있습니다. 상호작용형 벤치마크는 애플리케이션을 직접 실행하지만, 불완전한 탐험으로 인해 구현된 기능을 놓치거나 애플리케이션 결함과 에이전트 실행 실패를 혼동할 수 있습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 소프트웨어 테스팅 관점에서 웹 애플리케이션 생성을 평가하는 상호작용형 벤치마크인 WebCraftBench를 제안합니다. WebCraftBench는 생성된 각 애플리케이션을 계측(instrumentation)하고 코드 커버리지를 활용하여 에이전트가 사용자 시뮬레이션 상호작용을 통해 기능을 탐험하도록 유도합니다. 그런 다음 상호작용 추적(trace)을 상태 전이 그래프로 추상화하고, 시각적 미학(visual aesthetics), 사용성(usability), 요구사항 정렬(requirement alignment)의 세 가지 차원에서 애플리케이션을 평가합니다. WebCraftBench는 탐험과 점수 매기기를 분리함으로써, 사전에 정의된 인수 기준(acceptance criteria)에 탐험을 제한하지 않고 런타임 근거를 수집합니다. WebCraftBench는 369개의 실제 사용자 요구사항과 5,088개의 인수 기준으로 구성됩니다. 17개의 최신 프론티어 LLM을 평가한 결과 세 차원에 걸쳐 뚜렷한 강점이 드러났으며, 모든 차원에서 우위를 점하는 모델은 없었습니다. 내부 아레나에서 샘플링된 197개의 검증된 세션에서 WebCraftBench는 인간 선호도와 85.3%의 일치도를 달성했으며, 쌍을 이룬 애플리케이션 간의 점수 차이가 커질수록 일치도가 전반적으로 증가했습니다. 추가 실험에 따르면 커버리지 유도(guidance)가 탐험 커버리지를 향상시키며, 판정 모델(judge model)을 교체하더라도 모델 순위가 안정적으로 유지됨을 보여줍니다.

arXiv:2607.08983v1cs.SE

SCATE: 비용 효율적인 테스트 생성을 위한 코딩 에이전트 감독 학습

SCATE: Learning to Supervise Coding Agents for Cost-Effective Test Generation

자율 코딩 에이전트가 자동화된 테스트 생성을 크게 발전시켰음에도, 이들은 근본적으로 게으른 생성(lazy generation)이라는 현상에 의해 제한된다. 이는 에이전트가 작업을 조기에 종료하고 복잡한 프로그래밍 로직을 체계적으로 회피하여 불충분한 코드 커버리지를 초래하는 현상이다. 현재 이러한 조기 종료를 완화하려면 지속적인 인간-참여(human-in-the-loop) 감독이 필요하다. 인간의 직관에 대한 이러한 과도한 의존은 자동화 생성의 효율성 이점을 상쇄하는 병목 현상을 야기한다. 우리는 테스트 생성 과정에서 인간 개입을 대체하는 코딩 에이전트의 적응형 자동 감독 프레임워크인 SCATE를 제안한다. 감독을 문맥적 밴딧(contextual bandit) 문제로 공식화함으로써, SCATE는 현재 커버리지와 클래스 테스트 가능성 지표를 기반으로 가장 유망한 테스팅 행동을 선택하는 방법을 학습하여, 불필요한 생성 노력을 최소화하면서 커버리지 향상을 극대화한다. 우리의 실증적 평가는 SCATE가 다양한 코딩 에이전트와 원활하게 통합됨을 보여준다. GEMINI-CLI에 적용했을 때, 에이전트 단독 기준선 대비 라인 커버리지 32.3%, 브랜치 커버리지 30.9% 향상을 달성한다. CLAUDE CODE와의 비교는 프레임워크가 각 에이전트의 고유한 강점을 최적화하기 위해 정책을 동적으로 적응시킴을 확인한다. SCATE는 또한 모든 지표에서 최신 비에이전트 방식을 일관되게 능가한다.